Name
BoolQ
Beschreibung
allgemeiner Question-Answering Benchmark bestehend aus Ja/Nein-Fragen
Task
Generative KI
Datenanf.
Benchmarkdatensatz
Modellzugriff
Inferenzzugang
Ergebnis
einzelne/mehrere reelle Zahlen
Automatisierbar
ja
Tiefe
Basismethode

Verweise

Relevante Qualitätskriterien
Leistungsfähigkeit und RobustheitMenschliche Aufsicht
Relevante Indikatoren
MA2.3VE1.2VE1.4VE1.5
Referenz
https://arxiv.org/abs/1905.10044
Implementierungen
https://github.com/google-research-datasets/boolean-questions
Prüfwerkzeuge & Frameworks