Tech. Maßnahme - Betrieb Eine kontinuierliche Überwachung muss für die Implementierung des KI-Systems vorgesehen sein und auf Basis entsprechender Protokollierung (siehe TR1.7) umgesetzt werden können. Dies beinhaltet die Erprobung folgenden Möglichkeiten:

• Monitoring der Leistung inklusive einer Überwachung der Modelle und Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis)
• Monitoring von Verzerrungen inklusive einer Überwachung der Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis) im Kontext der Vermeidung von ungerechtfertigter Diskriminierung und Verzerrungen
• Durchführung von Tests (z.B. Sanity Checks), die im Rahmen des Monitorings eingesetzt werden, um etwa Model und Concept Drift oder auch schädliche Eingabedaten zu erkennen
• Falls anwendbar, Durchführung von Tests zur Erkennung von Missbrauch und schädlichen Eingabedaten
• Ggf. Qualitätsüberprüfung der sich erweiternden Trainingsdatenbasis

Organisatorische Maßnahme - Systemnahe Prozesse Zusätzlich zur technischen Ermöglichung des Monitorings sollten die folgenden Aspekte vorbereitet werden:

• Konzept zur (automatischen) Überwachung und -prüfung größerer Veränderungen am KI-System, inklusive bei Soft- und Hardware-Komponenten, aber insbesondere im Fall von Online Learning
• Empfohlene Tests müssen als Teil eines kontinuierlichen Testplans dokumentiert sein, insbesondere im Fall von Online Learning
• Falls möglich, Mechanismen in Form sinnvoller Definition von Schwellwerten bzw. Szenarien, bei denen (menschliche) Überprüfung und Mitigationsmaßnahmen eintreten sollten
• Mechanismen zum Teilen von neuen Informationen über mögliche sicherheitsrelevante Vorfälle und ihrer Vermeidung

Tech. Maßnahme - Betrieb Eine kontinuierliche Überwachung muss für die Implementierung des KI-Systems vorgesehen sein und auf Basis entsprechender Protokollierung (siehe TR1.7) umgesetzt werden können. Dies beinhaltet die folgenden Möglichkeiten:

• Monitoring der Leistung inklusive einer Überwachung der Modelle und Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis)
• Monitoring von Verzerrungen inklusive einer Überwachung der Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis) im Kontext der Vermeidung von ungerechtfertigter Diskriminierung und Verzerrungen
• Durchführung von Tests (z.B. Sanity Checks), die im Rahmen des Monitorings eingesetzt werden, um etwa Model und Concept Drift, oder auch schädliche Eingabedaten zu erkennen

Organisatorische Maßnahme - Systemnahe Prozesse Zusätzlich zur technischen Ermöglichung des Monitorings sollten die folgenden Aspekte vorbereitet werden:

• Konzept zur (automatischen) Überwachung und -prüfung größerer Veränderungen am KI-System, inklusive bei Soft- und Hardware-Komponenten, aber insbesondere im Fall von Online Learning
• Empfohlene Tests müssen als Teil eines kontinuierlichen Testplans dokumentiert sein, insbesondere im Fall von Online Learning

Tech. Maßnahme - Betrieb Eine kontinuierliche Überwachung muss für die Implementierung des KI-Systems vorgesehen sein und auf Basis entsprechender Protokollierung (siehe TR1.7) umgesetzt werden können. Dies beinhaltet die folgenden Möglichkeiten:

• Monitoring der Leistung inklusive einer Überwachung der Modelle und Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis)
• Monitoring von Verzerrungen inklusive einer Überwachung der Daten (d.h. einkommende Produktionsdaten und ggf. sich erweiternde Trainingsdatenbasis) im Kontext der Vermeidung von ungerechtfertigter Diskriminierung und Verzerrungen
• Durchführung von Tests (z.B. Sanity Checks), die im Rahmen des Monitorings eingesetzt werden, um etwa Model und Concept Drift, oder auch schädliche Eingabedaten zu erkennen