Name
MATH
Beschreibung
Benchmark für mathematische Fähigkeiten von generativen Modellen
Task
Generative KI
Datenanf.
Benchmarkdatensatz
Modellzugriff
Inferenzzugang
Ergebnis
einzelne/mehrere reelle Zahlen
Automatisierbar
ja
Tiefe
Basismethode

Verweise

Relevante Qualitätskriterien
Leistungsfähigkeit und RobustheitMenschliche Aufsicht
Relevante Indikatoren
MA2.3VE1.2VE1.4VE1.5
Referenz

Implementierungen
https://github.com/hendrycks/math
Prüfwerkzeuge & Frameworks