Name
GSM8K
Beschreibung
Benchmark für mathematische Fähigkeiten von generativen Modellen
Task
Generative KI
Datenanf.
Benchmarkdatensatz
Modellzugriff
Inferenzzugang
Ergebnis
komplexe Ergebnisse
Automatisierbar
ja
Tiefe
Basismethode

Verweise

Relevante Qualitätskriterien
Leistungsfähigkeit und RobustheitMenschliche Aufsicht
Relevante Indikatoren
MA2.3VE1.2VE1.4VE1.5
Referenz

Implementierungen
https://huggingface.co/datasets/openai/gsm8k
Prüfwerkzeuge & Frameworks