Äquivalent zu CY2.2

Tech. Maßnahmen - Test (Metriken KI-Modelle Angriffe on Inferenz- und Deploymentphase): Prüfung von durch den Anwendungsbereich begründeter Auswahl und Anzahl an Metriken und Tests der adversariellen Robustheit in Bezug auf Angriffsszenarien in der Inferenz - und Deploymentphase, die gegen Vertraulichkeit, Integrität oder Verfügbarkeit des KI-Systems gerichtet sein können.

• Dies schließt eine Prüfung mit Basis- und fortgeschrittenen Methoden mindestens der folgende Angriffsarten ein: a) evasion attacks, b) latency attacks c) model extraction attacks d) data reconstruction oder property inference attacks e) prompt injection attacks oder jailbreaks
• Penetrationstests von Systemaspekten mit Bezug auf KI-spezifische Angriffe während des Betriebs sollten durchgeführten werden.

Die ausgewählten Metriken und Tests sollten mindestens die folgenden Merkmale aufweisen:

• Methoden sollten für jedes KI-Modell im und für das KI-System als Ganzes angewendet werden, falls dieses einen gesammelten Output erzeugt
• wenn durch die Auswahl begründet, sollten die Metriken und Tests sowohl wichtige Basismethoden als auch fortgeschrittene Methoden (hinsichtlich Komplexität, Informationsgehalt, Implementierungsaufwand, z.B. umfangreiches Prüfwerkzeug) umfassen
• die ausgewählten Metriken und Tests sollten wenn möglich einen hohen Grad der Automatisierung erlauben
• ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks
• falls anwendbar: Abstufung der Metriken und Schwellenwerte nach unterschiedlichen Einsatzszenarien mit Bezug zur Definition des Anwendungsbereichs.

Tech. Maßnahmen - Modell

• angemessene KI-spezifische Sicherheitskontrollen und technische Maßnahmen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Modellebene eingeführt werden (z.B. adversarielles Training, Methoden zur Stärkung der Modellrobustheit oder Unsicherheitsmethoden)
• es sollten Robustheitsnachweise für jedes KI-Modell geführt werden zu verschiedenen relevanten Angriffsarten

Tech. Maßnahmen - System

• angemessene KI-spezifische oder nicht-KI-spezifische Sicherheitskontrollen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Systemebene eingeführt werden (z.B. Monitoring von Inputs, siehe MA2.3)
• klassisches Sicherheitskontrollen des gesamten Systems im Betrieb sollten vorhergesehen und eingeplant sein einschließlich einer Einbindung in ein existierendes CSMS.
• Red Teaming des gesamten Systems mit Bezug auf KI-spezifische Angriffe während der Betriebsphase sollten durchgeführten werden

Äquivalent zu CY2.2

Tech. Maßnahmen - Test (Metriken KI-Modelle Angriffe on Inferenz- und Deploymentphase): Prüfung von durch den Anwendungsbereich begründeter Auswahl und Anzahl an Metriken und Tests der adversariellen Robustheit in Bezug auf Angriffsszenarien in der Inferenz - und Deploymentphase, die gegen Vertraulichkeit, Integrität oder Verfügbarkeit des KI-Systems gerichtet sein können.

• Dies schließt eine Prüfung mit Basis-Methoden mindestens der folgende Angriffsarten ein: a) evasion attacks, b) latency attacks c) model extraction attacks d) data reconstruction oder property inference attacks e) prompt injection attacks oder jailbreaks
• Penetrationstests des gesamten Systems mit Bezug auf KI-spezifische Angriffe während des Betriebs sollten durchgeführten werden.

Die ausgewählten Metriken und Tests sollten mindestens die folgenden Merkmale aufweisen:

• Methoden sollten für jedes KI-Modell im und für das KI-System als Ganzes angewendet werden, falls dieses einen gesammelten Output erzeugt
• wenn durch die Auswahl begründet, sollten die Metriken und Tests sowohl wichtige Basismethoden als auch fortgeschrittene Methoden (hinsichtlich Komplexität, Informationsgehalt, Implementierungsaufwand, z.B. umfangreiches Prüfwerkzeug) umfassen
• die ausgewählten Metriken und Tests sollten wenn möglich einen hohen Grad der Automatisierung erlauben
• ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks
• falls anwendbar: Abstufung der Metriken und Schwellenwerte nach unterschiedlichen Einsatzszenarien mit Bezug zur Definition des Anwendungsbereichs.

Tech. Maßnahmen - Modell

• angemessene KI-spezifische Sicherheitskontrollen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Modellebene eingeführt werden (z.B. adversarielles Training, Methoden zur Stärkung der Modellrobustheit oder Unsicherheitsmethoden)
• es sollten möglichst Robustheitsnachweise für jedes KI-Modell geführt werden zu verschiedenen relevanten Angriffsarten

Tech. Maßnahmen - System

• angemessene KI-spezifische oder nicht-KI-spezifische Sicherheitskontrollen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Systemebene eingeführt werden. (z.B. Monitoring von Inputs, siehe MA2.3)
• klassisches Sicherheitskontrollen des gesamten Systems im Betrieb sollten vorhergesehen und eingeplant sein einschließlich einer Einbindung in ein existierendes CSMS.

Äquivalent zu CY2.2

Tech. Maßnahmen - Test (Metriken KI-Modelle Angriffe on Inferenz- und Deploymentphase): Prüfung von durch den Anwendungsbereich begründeter Auswahl und Anzahl an Metriken und Tests der adversariellen Robustheit in Bezug auf Angriffsszenarien in der Inferenz - und Deploymentphase, die gegen Vertraulichkeit, Integrität oder Verfügbarkeit des KI-Systems gerichtet sein können.

• Dies schließt eine Prüfung mit Basis-Methoden möglichst der folgende Angriffsarten ein: a) evasion attacks, b) latency attacks c) model extraction attacks d) data reconstruction oder property inference attacks e) prompt injection attacks oder jailbreaks

Die ausgewählten Metriken und Tests sollten möglichst die folgenden Merkmale aufweisen:

• Methoden können entweder für jedes KI-Modell oder für das KI-System als Ganzes angewendet werden, je nachdem, was sinnvoller und machbar ist
• es genügen Basismethoden (hinsichtlich Komplexität, Informationsgehalt, Implementierungsaufwand, z.B. eine simple Metrik)
• ggf. Festlegung von Schwellenwerten (als Mindestanforderungen an die Funktionalität/Leistung) und Begründung der Schwellenwerte unter Berücksichtigung des Anwendungsbereichs und Verwendungszwecks

Tech. Maßnahmen - Modell

• angemessene KI-spezifische Sicherheitskontrollen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Modellebene eingeführt werden (z.B. adversarielles Training, Methoden zur Stärkung der Modellrobustheit oder Unsicherheitsmethoden)
• es sollten Robustheitsnachweise für jedes KI-Modell geführt werden zu verschiedenen relevanten Angriffsarten

Tech. Maßnahmen - System

• angemessene KI-spezifische oder nicht-KI-spezifische Sicherheitskontrollen zur Mitigation des identifizierten Risikos von Angriffen in der Inferenzphase und während des Deployment des KI-Systems müssen auf Systemebene eingeführt werden. (z.B. Monitoring von Inputs, siehe MA2.3)
• klassisches Sicherheitskontrollen des gesamten Systems im Betrieb sollten vorhergesehen und eingeplant sein einschließlich einer Einbindung in ein existierendes CSMS.

Äquivalent zu CY2.2

Es wurden keine Maßnahmen ergriffen um KI-spezifische Angriffe während des Betriebs zu mitigieren.