Indikator
MA2.2
Beschreibung
Die Risiken, dass das KI-System ohne menschliche Aufsicht (und Kontrolle) zu Schäden führt, müssen analysiert werden
Qualitätsdimension
Menschliche Aufsicht und Kontrolle
Kriterium
Menschliche Aufsicht
Typ
Analyse
Bezugsebene
System
Zusätzliche Informationen

Verknüpfung

Relevante technische Prüfmethoden

→ In Tabelle anzeigen

Observablen

Qualitätslevels A bis D

A

Analyse-Risiko Detaillierte Risikoanalyse einschließlich Quantifizierung von Eintrittswahrscheinlichkeiten und Risiken:

  • Identifikation der möglichen Risiken und ihrer Ursachen
  • Zuweisung der Risikoverantwortung
  • Schätzung der Eintrittswahrscheinlichkeit
  • Schätzung der Aufdeckungswahrscheinlichkeit
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Implikationen (Teil-)autonomer Entscheidungen des Systems ohne Kontrolle, Eingriff oder Korrektur durch natürliche Personen
  • Ethische Dilemmata / Entscheidungsfindung
  • Mangelnde Nachvollziehbarkeit von Entscheidungen
  • Haftung für Entscheidungen des KI-Systems
  • Urheberschaft für Ausgaben des KI-Systems
  • Fehleranfälligkeit des KI-Systems ohne das dies durch Menschen erkannt wird
  • Fehlerhafte/unsachgemäße Nutzung (z.B. durch mangelnde Qualifikation)
B

Analyse-Risiko Limitierte Risikoanalyse mit Fokus auf den Schutzbedarf ohne Quantifizierung von Wahrscheinlichkeiten:

  • Identifikation der möglichen Risiken
  • Zuweisung der Risikoverantwortung
  • Schätzung der Auswirkung
  • Strukturierte Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Implikationen (Teil-)autonomer Entscheidungen des Systems ohne Kontrolle, Eingriff oder Korrektur durch natürliche Personen
  • Ethische Dilemmata / Entscheidungsfindung
  • Mangelnde Nachvollziehbarkeit von Entscheidungen
  • Haftung für Entscheidungen des KI-Systems
  • Urheberschaft für Ausgaben des KI-Systems
  • Fehleranfälligkeit des KI-Systems ohne das dies durch Menschen erkannt wird
  • Fehlerhafte/unsachgemäße Nutzung (z.B. durch mangelnde Qualifikation)
C

Analyse-Risiko Hauptsächlich qualitative Abschätzung ohne Wahrscheinlichkeiten:

  • Identifikation der möglichen Gefährdungen
  • Zuweisung der Risikoverantwortung
  • Qualitative Schätzung der Auswirkung
  • Qualitative Abstufung und Priorisierung der Risiken

Mindestens die folgenden Risikoquellen sind unter Beachtung des Verwendungszwecks (siehe TR1.1) zu berücksichtigen:

  • Implikationen (Teil-)autonomer Entscheidungen des Systems ohne Kontrolle, Eingriff oder Korrektur durch natürliche Personen
  • Ethische Dilemmata / Entscheidungsfindung
  • Mangelnde Nachvollziehbarkeit von Entscheidungen
  • Haftung für Entscheidungen des KI-Systems
  • Urheberschaft für Ausgaben des KI-Systems
  • Fehleranfälligkeit des KI-Systems ohne das dies durch Menschen erkannt wird
  • Fehlerhafte/unsachgemäße Nutzung (z.B. durch mangelnde Qualifikation)
D

Es wurde keine Risikoanalyse durchgeführt