Indikator
VE1.1
Beschreibung
Risiken, die zu unzureichender Leistungsfähigkeit und Robustheit von KI-Komponenten des KI-Systems führen können, müssen unter Beachtung des Verwendungszwecks analysiert werden.
Qualitätsdimension
Verlässlichkeit
Kriterium
Leistungsfähigkeit und Robustheit
Typ
Analyse
Bezugsebene
Komponente
Zusätzliche Informationen
Bei Verwendung von Modellen externer Anbieter Dokumentationen und klare Begründungen zur Validierung bereitstellen Im Gegensatz zu VE2.1 geht es hier nicht um die Risiken die aus einem KI-System mit unzureichender Leistungsfähigkeit entstehen, sondern um die Risiken die zu unzureichender Leistungsfähigkeit selber führen und damit den Verwendungszweck gefährden können. Risiko = Gefährdung x Wahrscheinlichkeit des Eintritts.
Verknüpfung

Relevante technische Prüfmethoden

→ In Tabelle anzeigen

Observablen

Qualitätslevels A bis D

A

Analyse - Risiko Detaillierte Risikoanalyse einschließlich Quantifizierung von Eintrittswahrscheinlichkeiten und Risiken:

  • Identifikation der möglichen Risiken und ihrer Ursachen
  • Zuweisung der Risikoverantwortung
  • Schätzung der Eintrittswahrscheinlichkeit
  • Schätzung der Aufdeckungswahrscheinlichkeit
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Fehlerhaftes Modelltraining, die falsche Wahl des Modells oder ungeeignete Optimierungs- und Validierungsstrategien
  • schlecht gewählte Metriken und Tests
  • Limits im Modelltraining, z.B. durch zu schlechte oder zu wenige Trainings- oder Validierungs- oder Testdaten, Overfitting (direkte/indirekte Analyse)
  • Limitierungen durch Hardware bei Training und Inferenz
  • Auswirkung einer Änderung der Zusammensetzung des KI-Systems (Soft - und Hardwareebene), insbesondere Risiken durch Neutraining oder Online-Learning
B

Analyse - Risiko Limitierte Risikoanalyse mit Fokus auf den Schutzbedarf ohne Quantifizierung von Wahrscheinlichkeiten

  • Identifikation der möglichen Risiken
  • Zuweisung der Risikoverantwortung
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Fehlerhaftes Modelltraining, die falsche Wahl des Modells oder ungeeignete Optimierungs- und Validierungsstrategien
  • schlecht gewählte Metriken und Tests
  • Limits im Modelltraining, z.B. durch zu schlechte oder zu wenige Trainings- oder Validierungs- oder Testdaten, Overfitting
  • Limitierungen durch Hardware bei Training und Inferenz
  • Notwendigkeit einer gut kalibrierten Unsicherheitsabschätzung
  • Auswirkung einer Änderung der Zusammensetzung des KI-Systems (Soft - und Hardwareebene), insbesondere Risiken durch Neutraining oder Online-Learning
C

Analyse - Risiko Hauptsächlich qualitative Abschätzung der Gefährdungen ohne Wahrscheinlichkeiten

  • Identifikation der möglichen Gefährdungen:
  • Zuweisung der Risikoverantwortung
  • Qualitative Schätzung der Auswirkung
  • Qualitative Abstufung und Priorisierung der Gefährdungen

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Fehlerhaftes Modelltraining, die falsche Wahl des Modells oder ungeeignete Optimierungs- und Validierungsstrategien
  • schlecht gewählte Metriken und Tests
  • Limits im Modelltraining, z.B. durch zu schlechte oder zu wenige Trainings- oder Validierungs- oder Testdaten, Overfitting
  • Limitierungen durch Hardware bei Training und Inferenz
  • Notwendigkeit einer gut kalibrierten Unsicherheitsabschätzung
  • Auswirkung einer Änderung der Zusammensetzung des KI-Systems (Soft - und Hardwareebene), insbesondere Risiken durch Neutraining oder Online-Learning
D

Es wurde keine Risikoanalyse oder Gefährdungsabschätzung durchgeführt