Name
Calibration Error
Beschreibung
Unterschied zwischen errechneten Wahrscheinlichkeiten und Akkuranz
Task
agnostisch
Datenanf.
Modellausgaben mit Ground Truth
Modellzugriff
Modellausgaben auf Testdatensatz
Ergebnis
einzelne/mehrere reelle Zahlen
Automatisierbar
ja
Tiefe
Basismethode

Verweise

Relevante Qualitätskriterien
Leistungsfähigkeit und RobustheitMenschliche Aufsicht
Relevante Indikatoren
MA2.3VE1.2VE1.4VE1.5
Referenz
https://towardsdatascience.com/expected-calibration-error-ece-a-step-by-step-visual-explanation-with-python-code-c3e9aa12937d
Implementierungen
https://torchmetrics.readthedocs.io/en/v0.8.0/classification/calibration_error.html
Prüfwerkzeuge & Frameworks
Truera, Zeno, Der HELM Benchmark, IBM UQ360, Scikit-learn