Äquvialent zu MA2.3

Tech. Maßnahme - Betrieb Eine kontinuierliche Überwachung muss für die Implementierung des KI-Systems vorgesehen sein und auf Basis entsprechender Protokollierung (siehe TR1.7) umgesetzt werden können. Dies beinhaltet die Erprobung folgenden Möglichkeiten:

• Monitoring der Leistung inklusive einer Überwachung der Modelle und Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis)
• Monitoring von Verzerrungen inklusive einer Überwachung der Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis) im Kontext der Vermeidung von ungerechtfertigter Diskriminierung und Verzerrungen
• Durchführung von Tests (z.B. Sanity Checks), die im Rahmen des Monitorings eingesetzt werden, um etwa Model und Concept Drift oder auch schädliche Eingabedaten zu erkennen
• Falls anwendbar, Durchführung von Tests zur Erkennung von Missbrauch und schädlichen Eingabedaten
• Ggf. Qualitätsüberprüfung der sich erweiternden Trainingsdatenbasis

Organisatorische Maßnahme - Systemnahe Prozesse Zusätzlich zur technischen Ermöglichung des Monitorings sollten die folgenden Aspekte vorbereitet werden:

• Konzept zur (automatischen) Überwachung und -prüfung größerer Veränderungen am KI-System, inklusive bei Soft- und Hardware-Komponenten, aber insbesondere im Fall von Online Learning
• Empfohlene Tests müssen als Teil eines kontinuierlichen Testplans dokumentiert sein, insbesondere im Fall von Online Learning
• Falls möglich, Mechanismen in Form sinnvoller Definition von Schwellwerten bzw. Szenarien, bei denen (menschliche) Überprüfung und Mitigationsmaßnahmen eintreten sollten
• Mechanismen zum Teilen von neuen Informationen über mögliche sicherheitsrelevante Vorfälle und ihrer Vermeidung

Äquvialent zu MA2.3

Tech. Maßnahme - Betrieb Eine kontinuierliche Überwachung muss für die Implementierung des KI-Systems vorgesehen sein und auf Basis entsprechender Protokollierung (siehe TR1.7) umgesetzt werden können. Dies beinhaltet die folgenden Möglichkeiten:

• Monitoring der Leistung inklusive einer Überwachung der Modelle und Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis)
• Monitoring von Verzerrungen inklusive einer Überwachung der Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis) im Kontext der Vermeidung von ungerechtfertigter Diskriminierung und Verzerrungen
• Durchführung von Tests (z.B. Sanity Checks), die im Rahmen des Monitorings eingesetzt werden, um etwa Model und Concept Drift, oder auch schädliche Eingabedaten zu erkennen

Organisatorische Maßnahme - Systemnahe Prozesse Zusätzlich zur technischen Ermöglichung des Monitorings sollten die folgenden Aspekte vorbereitet werden:

• Konzept zur (automatischen) Überwachung und -prüfung größerer Veränderungen am KI-System, inklusive bei Soft- und Hardware-Komponenten, aber insbesondere im Fall von Online Learning
• Empfohlene Tests müssen als Teil eines kontinuierlichen Testplans dokumentiert sein, insbesondere im Fall von Online Learning

Äquvialent zu MA2.3

Orga. Maßnahmen - Benutzerinstruktion Bereitstellung von Instruktionen und Informationen mit mindestens den folgenden Inhalten:

• Kontaktinformationen
• Zweck des KI-Systems
• Vorgesehener Anwendungsbereich des KI-Systems
• Beschreibung über die Interpretation der Ausgaben des KI-Systems
• Notwendige(mögliche Maßnahmen zur menschlichen Aufsicht und Kontrolle über das System, wann diese angewendet werden sollen/können, und wie erkennbar wird, dass ein menschlicher Eingriff gefordert ist
• Notwendige Instandhaltungsmaßnahmen (inklusive Softwareupdates)

Äquvialent zu MA2.3

Es sind keine Materialien vorhanden, die die mit dem Betrieb und der Aufsicht betrauten Personen auf einen Umgang mit dem KI-System vorbereiten