Ablauf der Prüfung im Prüfportal

Die Angaben in diesem Artikel können im Detail ggf. vom MISSION KI Qualitätsstandard abweichen und betreffen nur die Funktionalität des Prüfportals. Im Zweifelsfall haben die Festlegungen des Standards Vorrang. Der Text entspricht dem Stand der Beta-Version des Prüfportals und kann bei späteren Versionen angepasst werden.

Die angebotene Selbstprüfung dient ausschließlich der freiwilligen internen Bewertung durch die teilnehmende Organisation. Sie stellt keine behördliche Prüfung, Zertifizierung oder rechtsverbindliche Bewertung dar. acatech übernimmt keine Gewähr für Vollständigkeit, Richtigkeit oder rechtliche Wirkung der Ergebnisse dieser Selbstprüfung. Die Nutzung erfolgt auf eigenes Risiko und in eigener Verantwortung des teilnehmenden Unternehmens. acatech haftet nur bei Vorsatz oder grober Fahrlässigkeit sowie in Fällen gesetzlicher Haftung.

Die Prüfung im Prüfportal findet gemäß des MISSION KI Qualitätsstandards statt. Sie ist ein strukturierter Prozess, der sicherstellt, dass ein KI-System nachvollziehbar, konsistent und methodisch geprüft wird. Der Ablauf entspricht den Vorgaben aus Kapitel 3 und 4 des Standards und ist im MISSION KI Prüfportal vollständig mit kleineren Anpassungen abgebildet. Die folgenden Schritte geben einen detaillierten Überblick über den gesamten Prüfprozess und die beteiligten Rollen.

1. Anwendungsfallbeschreibung erstellen (Kapitel 4.1)

Die Prüfung beginnt mit der Anwendungsfallbeschreibung, die vollständig durch den Prüfling ausgefüllt wird.
Sie definiert den Gegenstand der Prüfung, die Zweckbestimmung und den Anwendungsbereich des KI-Systems.

Sie enthält u. a.:

• Funktionalität des KI-Systems
• Eingabe- und Ausgabedaten
• Nutzergruppen und betroffene Personen
• Eingesetzte Modelle und Architekturen
• Menschliche Aufsicht
• Technische Rahmenbedingungen

Die Anwendungsfallbeschreibung bestimmt, welche Qualitätskriterien relevant sind, und bildet die Basis für die Schutzbedarfsanalyse sowie alle späteren Prüfentscheidungen.

2. Schutzbedarfsanalyse durchführen (Kapitel 4.2)

Die Schutzbedarfsanalyse bewertet, welche Schäden im ungünstigsten Fall entstehen könnten, wenn ein Kriterium verletzt wird. Sie legt das erforderliche Mindestniveau für die spätere Bewertung fest.

Durchführung im Prüfportal

Die Schutzbedarfsanalyse wird im Prüfportal durch eine Prüferrolle vorgenommen – nicht durch den Prüfling.

Rollenregelung

• Zu Beginn darf die Schutzbedarfsanalyse immer durch einen internen Prüfer (aus der gleichen Organisation) erfolgen.
• Ergibt die Analyse moderaten oder hohen Schutzbedarf, kann und sollte (je nach Prüftiefe) ein zusätzlicher unabhängiger Prüfer hinzugefügt werden.
• Für Prüftiefe 3 ist ein weiterer unabhängiger Prüfer sinnvoll oder erforderlich; dabei kann es sich um interne Revision oder externe Prüfer handeln.

Das Prüfportal unterstützt dies, indem Prüfer jederzeit nachträglich ergänzt werden können.

Ergebnisse der Schutzbedarfsanalyse

Für jedes Kriterium:

• Kein Schutzbedarf
• Geringer Schutzbedarf
• Moderater Schutzbedarf
• Hoher Schutzbedarf
• Nicht anwendbar

Diese Bewertung bildet die Grundlage für das erforderliche Mindestniveau der späteren Einstufungen.

3. Einstufung entlang der Anforderungen (Kapitel 4.3)

Welche Qualitätsmaßnahmen hat das Unternehmen tatsächlich umgesetzt? Die Bewertung folgt der VCIO-Systematik, einer vierstufigen Hierarchie von oben (abstrakt) nach unten (konkret messbar):

1. Qualitätsdimensionen (z.B. "Verlässlichkeit", "Transparenz")
2. Kriterien (z.B. "Leistungsfähigkeit und Robustheit")
3. Indikatoren (konkrete Handlungen: Analysen, Maßnahmen, Bewertungen)
4. Observablen (messbare Nachweise mit Bewertung)

Die Einstufung: Für jeden relevanten Indikator wird ermittelt, welche Observablen-Stufe das KI-System erfüllt:

• A = best practice
• B = fortgeschritten
• C = einfach
• D = nicht erfüllt.

Dabei gilt: Je höher der Schutzbedarf aus Schritt 2, desto höher die Anforderungen. Die gewählte Einstufung muss durch Nachweise belegt werden – das erfolgt in Schritt 4. Das Prüfportal führt systematisch durch alle relevanten Kriterien.

4. Evidenzen bereitstellen (Kapitel 4.4)

Zu jeder Einstufung müssen geeignete Evidenzen bereitgestellt werden. Sie dienen als Nachweis der getroffenen Einschätzungen. Im Prüfportal ist das Bereitstellen der Evidenzen in Schritt 3 integriert.

Beispiele:

• System- und Prozessdokumentationen
• Logs, Metriken und technische Evaluationsdaten
• Ergebnisse aus Prüfmethoden
• Datenmanagement-Nachweise
• Tests zur Robustheit, Fairness oder Transparenz
• Risikoanalysen
• Nachweise menschlicher Aufsicht

Der Umfang der Evidenzen hängt von der Prüftiefe ab.

5. Validierung der Evidenzen (Kapitel 4.5)

Die Prüfer validieren, ob die bereitgestellten Evidenzen korrekt und plausibel sind.

Validierung und Prüftiefe

Das Prüfportal zeigt an, welche Validierungsschritte erforderlich sind.
Prüfer können bei Bedarf jederzeit hinzugefügt werden, z. B. wenn hoher Schutzbedarf festgestellt wurde.

6. Gesamtbewertung (Kapitel 4.6)

Die Gesamtbewertung vergleicht:

• erreichte Einstufungen (A–D)
  mit
• erforderlichem Mindestniveau (abhängig vom Schutzbedarf)

Beispiele:

• Hoher Schutzbedarf → mindestens Stufe A
• Moderater Schutzbedarf → mindestens B
• Geringer Schutzbedarf → mindestens C

Ergebnis:

• Bestanden
• Nicht bestanden
• Übererfüllung, falls eine höhere Stufe erreicht wurde als notwendig

Das Prüfportal berechnet diese Logik automatisch.

7. Prüfbericht erstellen (Kapitel 4.7)

Das Prüfportal erzeugt einen Kurzbericht als schnelle Zusammenfassung.

Der vollständige Prüfbericht wird jedoch manuell erstellt.
Er enthält:

• vollständige Systembeschreibung
• dokumentierte Schutzbedarfsanalyse
• Begründungen für alle Einstufungen
• Evidenzenübersicht
• Validierungsschritte
• Prüftiefe
• Gesamtbewertung
• Verantwortlichkeiten
• Unterschriften

Im Nachgang: Überwachung der Gültigkeit (Kapitel 4.8)

Die Prüfung ist zeitpunktbezogen gültig.
Sie verliert ihre Gültigkeit, wenn:

• sich die Zweckbestimmung ändert
• wesentliche technische Änderungen vorgenommen werden
• neue Risiken entstehen

Das Prüfportal unterstützt diese Überwachung durch das Vorhalten abgelaufener Prüfprozesse und der Strukturierung in Projekten.

Rollen im Prüfprozess

Prüfling

• erstellt Anwendungsfallbeschreibung
• liefert Evidenzen
• bewertet Indikatoren
• erstellt den vollständigen Prüfbericht

Interner Prüfer

• darf die Schutzbedarfsanalyse durchführen
• darf Validierungen durchführen (bis Prüftiefe 2)
• muss unabhängig vom Entwicklerteam sein

Unabhängiger Prüfer (intern oder extern)

• kann hinzugezogen werden, wenn Schutzbedarf oder Prüftiefe es erfordern
• validiert Einstufungen und Evidenzen
• erhöht die Qualität und Robustheit der Prüfung

Externe Prüfer (optional)

• können freiwillig eingesetzt werden
• stärken Transparenz und Vertrauenswürdigkeit