MISSION KI Portal

Name

MMLU

Beschreibung

Question-Answering Benchmark für akademische Fragen

Task

Generative KI

Datenanf.

Benchmarkdatensatz

Modellzugriff

Inferenzzugang

Ergebnis

einzelne/mehrere reelle Zahlen

Automatisierbar

Tiefe

Basismethode

Verweise

Relevante Qualitätskriterien

Leistungsfähigkeit und Robustheit Menschliche Aufsicht

Relevante Indikatoren

MA2.3 VE1.2 VE1.4 VE1.5

Referenz

https://en.wikipedia.org/wiki/MMLU

Implementierungen

https://github.com/hendrycks/test

Prüfwerkzeuge & Frameworks