Observablen
Qualitätslevels A bis D
Techn. Maßnahmen - Metriken & Schwellenwerte
Durch den Anwendungsbereich begründete Auswahl und Anzahl an Metriken und Tests, je nach Nutzen möglichst unterschiedlicher Kategorien. Dies schließt ein:
- Methoden, die die Verlässlichkeit der KI-Komponenten fördern/sicherstellen, z.B. gut gewählte Optimierungsmethode, Unsicherheitsbestimmungen (z.B. Konfidenzwerte)
- Detektionsmethoden und Abfangen von Fehlern in Checks auf Daten, Modellebene oder auf den Ausgaben einschließlich sinnvoller Schwellenwerte.
- Detektionsmethoden und Abfangen von Fehlern in Checks auf Systemebene einschließlich nicht KI-spezifischer Maßnahmen und sinnvoller Schwellenwerte
Die ausgewählten Metriken und Tests sollten mindestens die folgenden Merkmale aufweisen:
- wenn durch die Auswahl begründet, sollten die Metriken und Tests sowohl Basismethoden (simple Metrik) und einige fortgeschrittene Methoden (hinsichtlich Informationsgehalt, Aussagekräftigkeit, Implementierungsaufwand, z.B. umfangreiches Prüfwerkzeug - siehe zusätzliche Information) umfassen
- ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung des gesamten Systems) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks
Techn. Maßnahmen - Metriken & Schwellenwerte
Durch den Anwendungsbereich begründete Auswahl und Anzahl an Metriken und Tests, je nach Nutzen möglichst unterschiedlicher Kategorien. Dies schließt ein:
- Methoden, die die Verlässlichkeit der KI-Komponenten fördern/sicherstellen, z.B. gut gewählte Optimierungsmethode, Unsicherheitsbestimmung ((z.B. Konfidenzwerte)
- Detektionsmethoden und Abfangen von Fehlern in Checks auf Daten, Modellebene oder auf den Ausgaben einschließlich sinnvoller Schwellenwerte.
Die ausgewählten Metriken und Tests sollten möglichst die folgenden Merkmale aufweisen:
- wenn durch die Auswahl begründet, sollten die Metriken und Tests sowohl Basismethoden (simple Metrik) und einige fortgeschrittene Methoden (hinsichtlich Informationsgehalt, Aussagekräftigkeit, Implementierungsaufwand, z.B. umfangreiches Prüfwerkzeug - siehe zusätzliche Information) umfassen
- ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung des gesamten Systems) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks
Techn. Maßnahmen - Metriken & Schwellenwerte
Durch den Anwendungsbereich begründete Auswahl und Anzahl an Metriken und Tests. Dies schließt mindestens eine Methode ein aus:
- Methoden, die die Verlässlichkeit der KI-Komponenten fördern/sicherstellen, z.B. gut gewählte Optimierungsmethode, Unsicherheitsbestimmung (z.B. Konfidenzwerte)
- Detektionsmethoden und Abfangen von Fehlern in Checks auf Daten, Modellebene oder auf den Ausgaben einschließlich sinnvoller Schwellenwerte.
Die ausgewählten Metriken und Tests sollten möglichst die folgenden Merkmale aufweisen:
- es genügen Basismethoden (hinsichtlich Informationsgehalt, Aussagekräftigkeit, Implementierungsaufwand, z.B. eine simple Metrik - siehe zusätzliche Information)
- ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung des gesamten Systems) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks
Es wurden keine technischen Methoden oder Metriken implementiert um das Risiko von Fehlfunktionen und Ausfall zu mitigieren.