Name
HumanEval
Beschreibung
Coding-Benchmark mit Metrik zur Evaluation (Pass@k)
Task
Generative KI
Datenanf.
Benchmarkdatensatz
Modellzugriff
Inferenzzugang
Ergebnis
komplexe Ergebnisse
Automatisierbar
ja
Tiefe
Basismethode

Verweise

Relevante Qualitätskriterien
Leistungsfähigkeit und RobustheitMenschliche Aufsicht
Relevante Indikatoren
MA2.3VE1.2VE1.4VE1.5
Referenz

Implementierungen
https://github.com/openai/human-eval
Prüfwerkzeuge & Frameworks