Indikator
VE2.1
Beschreibung
Risiken für mögliche Folgen einer Fehlfunktion oder eines Ausfalls und für die funktionale Sicherheit des KI-System müssen unter Beachtung des Verwendungszwecks analysiert werden.
Qualitätsdimension
Verlässlichkeit
Kriterium
Rückfallpläne und funktionale Sicherheit
Typ
Analyse
Bezugsebene
System
Zusätzliche Informationen
Hier kann zusätzlich auf die Schutzbedarfsanalyse hingewiesen werden. Es sollte aber beachtet werden, dass hier nicht eine Risikoanalyse vollständig vom Prüfenden durchgeführt werden soll sondern die Existenz einer solchen und deren Umfang bewertet werden soll. Hier wäre es möglich auf gängige Standards, z.B. zu funktionalen Sicherheit und Safety hinzuweisen so wie ISO/IEC Guide 51 und das Durchführen einer FMEA (die falls vorhanden hier eigentlich angerechnet werden sollte) Mehr Details können im KI-Prüfkatalog des Fraunhofer IAIS Kapitel 8 gefunden werden. Klassische Referenz zu funktionaler KI-Sicherheit Amodei 2006.
Verknüpfung

Relevante technische Prüfmethoden

→ In Tabelle anzeigen

Observablen

Qualitätslevels A bis D

A

Analyse - Risiko Die Risikoanalyse zu möglichen Folgen eine (Teil-) Ausfalls des KI-Systems sowie für die funktionale Sicherheit soll sich mit durch das KI-System erzeugten Gefährdungen und schädlichen Auswirkungen für die Außenwelt durch Fehlfunktion oder Ausfall aufgrund unzureichender Leistungsfähigkeit oder Robustheit beschäftigen. Die Risikoanalyse sollte beinhalten:

Detaillierte Risikoanalyse einschließlich Quantifizierung von Eintrittswahrscheinlichkeiten und Risiken:

  • Identifikation der möglichen Risiken und ihrer Ursachen
  • Zuweisung der Risikoverantwortung
  • Schätzung der Eintrittswahrscheinlichkeit
  • Schätzung der Aufdeckungswahrscheinlichkeit
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • für den Verwendungszweck unzureichende Leistungsfähigkeit und Robustheit der KI-Komponenten des KI-Systems (siehe VE1)
  • Kritikalität des Verwendungszwecks und Anwendungsbereichs in Bezug auf mögliche Schäden und Folgen durch unzureichende Leistungsfähigkeit und Robustheit
  • mögliche funktionale Gründe für den Ausfall oder Teilausfall des KI-Systems mit deren Eintrittswahrscheinlichkeiten
  • fehlerhafter (systematisch und zufällig) oder missbräuchlicher Einsatz des KI-Systems außerhalb des Verwendungszwecks
  • Systemkomponenten mit unmittelbaren Schnittstellen mit dem KI-System (z.B. die Inputdaten liefern oder Outputdaten des KI-Systems verwenden)

Mögliche Folgen und Schäden die aus Unfallrisiken herrühren können, sollten mindestens berücksichtigt werden für:

  • Leib & Leben und die körperliche Gesundheit von Menschen
  • Grundrechte
  • Eigentum und Sachen
B

Analyse - Risiko Die Risikoanalyse zu möglichen Folgen eine (Teil-) Ausfalls des KI-Systems sowie für die funktionale Sicherheit soll sich mit durch das KI-System erzeugten Gefährdungen und schädlichen Auswirkungen für die Außenwelt durch Fehlfunktion oder Ausfall aufgrund unzureichender Leistungsfähigkeit oder Robustheit beschäftigen. Die Risikoanalyse sollte beinhalten:

Limitierte Risikoanalyse mit Fokus auf den Schutzbedarf ohne Quantifizierung von Wahrscheinlichkeiten

  • Identifikation der möglichen Risiken
  • Zuweisung der Risikoverantwortung
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • für den Verwendungszweck unzureichende Leistungsfähigkeit und Robustheit der KI-Komponenten des KI-Systems (siehe VE1) (siehe VE1)
  • Kritikalität des Verwendungszwecks und Anwendungsbereichs in Bezug auf mögliche Schäden und Folgen durch unzureichende Leistungsfähigkeit und Robustheit
  • mögliche funktionale Gründe für den Ausfall oder Teilausfall des KI-Systems mit deren Eintrittswahrscheinlichkeiten
  • fehlerhafter (systematisch und zufällig) oder missbräuchlicher Einsatz des KI-Systems außerhalb des Verwendungszwecks
  • Systemkomponenten mit unmittelbaren Schnittstellen mit dem KI-System (z.B. die Inputdaten liefern oder Outputdaten des KI-Systems verwenden)

Mögliche Folgen und Schäden die aus Unfallrisiken herrühren können, sollten mindestens berücksichtigt werden für:

  • Leib & Leben und die körperliche Gesundheit von Menschen
  • Grundrechte
  • Eigentum und Sachen
C

Analyse - Risiko Die Risikoanalyse zu möglichen Folgen eine (Teil-) Ausfalls des KI-Systems sowie für die funktionale Sicherheit soll sich mit durch das KI-System erzeugten Gefährdungen und schädlichen Auswirkungen für die Außenwelt durch Fehlfunktion oder Ausfall aufgrund unzureichender Leistungsfähigkeit oder Robustheit beschäftigen. Die Risikoanalyse sollte beinhalten:

Hauptsächlich qualitative Abschätzung ohne Wahrscheinlichkeiten

  • Identifikation der möglichen Gefährdungen
  • Zuweisung der Risikoverantwortung
  • Qualitative Schätzung der Auswirkung
  • Qualitative Abstufung und Priorisierung der Gefährdungen

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • für den Verwendungszweck unzureichende Leistungsfähigkeit und Robustheit der KI-Komponenten des KI-Systems (siehe VE1)
  • Kritikalität des Verwendungszwecks und Anwendungsbereichs in Bezug auf mögliche Schäden und Folgen durch unzureichende Leistungsfähigkeit und Robustheit
  • mögliche funktionale Gründe für den Ausfall oder Teilausfall des KI-Systems mit deren Eintrittswahrscheinlichkeiten
  • fehlerhafter (systematisch und zufällig) oder missbräuchlicher Einsatz des KI-Systems außerhalb des Verwendungszwecks
  • Systemkomponenten mit unmittelbaren Schnittstellen mit dem KI-System (z.B. die Inputdaten liefern oder Outputdaten des KI-Systems verwenden)

Mögliche Folgen und Schäden die aus Unfallrisiken herrühren können, sollten mindestens berücksichtigt werden für:

  • Leib & Leben und die körperliche Gesundheit von Menschen
  • Grundrechte
  • Eigentum und Sachen
D

Es wurde keine Risikoanalyse durchgeführt