VE2.2
Es müssen geeignete technische Maßnahmen im Betrieb des KI-Systems zur Mitigation des Risikos einer Fehlfunktion oder eines Ausfalls des KI-System definiert werden.
Verlässlichkeit
Rückfallpläne und funktionale Sicherheit
Analyse
System
Observablen
Qualitätslevels A bis D
Techn. Maßnahme - Betrieb
- systemische Redundanz, und Rückfallmechanismen sollten im KI-System für den Betrieb vorgesehen sein (z.B. Umschaltung auf einen sicheren Modus, Not-Aus-Schalter),
- Mechanismen für den sicheren Ausfall sollten geplant und wenn möglich schon implementiert sein (z.B. Manipulationsschutz, sicherer Modus),
- Schnittstellen des in VE1.6 vorgesehenen Monitoringsystems mit den Rückfall- und Ausfallsystemen sollten sichergestellt sein um das Monitoring von KI-Komponenten mit denen eines größeren IT-Systems verbinden zu können
- Schnittstellen für ein Alarmsystem sollten geplant sein (Endbenutzer, Anbieter, zuständige Behörde),
- Ausfallsicheres Logging eines unter Betrieb befindlichen Produkts muss unterstützbar sein durch das KI-System (z.B. Blackbox), siehe auch nach TR1.7
- Interventionsmaßnahmen ("incident response") zur Fehlerbehebung und eine Systemwiederherstellung aus dem Betrieb sollte möglich sein
Techn. Maßnahme - Betrieb
- systemische Redundanz, und Rückfallmechanismen sollten im KI-System für den Betrieb vorgesehen sein (z.B. Umschaltung auf einen sicheren Modus, Not-Aus-Schalter),
- Mechanismen für den sicheren Ausfall sollten geplant und wenn möglich schon implementiert sein (z.B. Manipulationsschutz, sicherer Modus),
- Schnittstellen des in VE1.6 vorgesehenen Monitoringsystems mit den Rückfall- und Ausfallsystemen sollten sichergestellt sein um das Monitoring von KI-Komponenten mit denen eines größeren IT-Systems verbinden zu können, siehe auch nach TR1.7
Techn. Maßnahme - Betrieb
- Mechanismen für den sicheren Ausfall sollten geplant und wenn möglich schon implementiert sein (z.B. Manipulationsschutz, sicherer Modus),
Es wurden keine Maßnahmen ergriffen, es zu ermöglichen im Betrieb das Risiko von Fehlfunktionen und Ausfall zu mitigieren.