Org. Maßnahmen - Systemnahe Prozesse

• Prozesse müssen eingeführt sein um den möglichen beabsichtigten Missbrauchs des KI-Systems im Betrieb adressieren zu können, einschließlich der Einbindung möglicher Abschaltungsmechanismen im Risikomanagement.
• Prozesse sollten eingeführt sein, um eine durch Monitoringsysteme und Logging festgestellte fehlerhafte Nutzung im Betrieb adressieren zu können
• Prozesse sollten insbesondere darauf achten, dass neben der Funktionalität, Integrität und Verfügbarkeit des KI-Systems auch die unter den unterschiedlichen Qualitätsdimensionen definierten Ziele geschützt sind bei fehlerhafter Nutzung oder Missbrauch, also Wahrung des Schutzes personenbezogener oder proprietärer Daten, des Schutzes vor Nicht-Diskriminierung, des Autonomiegrades und der dazugehörigen menschlichen Kontrollmechanismen

Tech. Maßnahmen - System / Betrieb

• Sicherheitskontrollen zur Verhinderung von Missbrauch und fehlerhafter Nutzung sollten vorgesehen sein und wenn möglich vor der Produktionsphase implementiert werden. Dies schließt Methoden der Prompt/Output-Filterung bei generativer KI mit ein. Zu Absicherung gegen Datenzugang siehe auch CY1.5
• Es muss Vorgesehen sein Inferenzeingaben, Anfragen und Prompts als Teil des Monitoring und Logging aufgezeichnet zu werden, um im Falle einer Fehlnutzung, einer Kompromittierung oder eines Missbrauchs eine Untersuchung zu ermöglichen.
• Red Teaming des gesamten Systems mit Bezug auf Missbrauch oder fehlerhafte Nutzung des KI-Systems sollte durchgeführt werden

Org. Maßnahmen - Systemnahe Prozesse

• Prozesse müssen eingeführt sein um den möglichen beabsichtigten Missbrauchs des KI-Systems im Betrieb adressieren zu können, einschließlich der Einbindung möglicher Abschaltungsmechanismen
• Prozesse sollten eingeführt sein, um eine durch Monitoringsysteme und Logging festgestellte fehlerhafte Nutzung im Betrieb adressieren zu können
• Prozesse sollten insbesondere darauf achten, dass neben der Funktionalität, Integrität und Verfügbarkeit des KI-Systems auch die unter den unterschiedlichen Qualitätsdimensionen definierten Ziele geschützt sind bei fehlerhafter Nutzung oder Missbrauch, also Wahrung des Schutzes personenbezogener oder proprietärer Daten, des Schutzes vor Nicht-Diskriminierung, des Autonomiegrades und der dazugehörigen Menschlichen Kontrollmechanismen

Tech. Maßnahmen - Betrieb

• Es muss Vorgesehen sein Inferenzeingaben, Anfragen und Prompts als Teil des Monitoring und Logging aufgezeichnet zu werden, um im Falle einer Fehlnutzung, einer Kompromittierung oder eines Missbrauchs eine Untersuchung zu ermöglichen.

Org. Maßnahmen - Systemnahe Prozesse

• Prozesse müssen eingeführt sein um den möglichen beabsichtigten Missbrauchs des KI-Systems im Betrieb adressieren zu können, einschließlich der Einbindung möglicher Abschaltungsmechanismen
• Prozesse sollten eingeführt sein, um eine durch Monitoringsysteme und Logging festgestellte fehlerhafte Nutzung im Betrieb adressieren zu können
• Prozesse sollten insbesondere darauf achten, dass neben der Funktionalität, Integrität und Verfügbarkeit des KI-Systems auch die unter den unterschiedlichen Qualitätsdimensionen definierten Ziele geschützt sind bei fehlerhafter Nutzung oder Missbrauch, also Wahrung des Schutzes personenbezogener oder proprietärer Daten, des Schutzes vor Nicht-Diskriminierung, des Autonomiegrades und der dazugehörigen Menschlichen Kontrollmechanismen

Es sind keine Maßnahmen vorhanden um fehlerhafte Nutzung und Missbrauch des KI-Systems zu verhindern