MISSION KI Portal

Prüfkriterien
Indikatoren
VE1.5

Indikator

VE1.5

Beschreibung

. Das KI-System muss gemäß dem Testplan mit unterschiedlichen Eingaben, Bedingungen und Umgebungen getestet werden, um seine Leistungsfähigkeit und Robustheit sicherzustellen

Qualitätsdimension

Verlässlichkeit

Kriterium

Leistungsfähigkeit und Robustheit

Typ

Maßnahme

Bezugsebene

System/Komponente

Zusätzliche Informationen

Für die technische Details zur Beschreibung von Anwendungsbereichen siehe z.B. der Fraunhofer KI-Prüfkatalog z.B. [VE-R-RE-RI-01], [VE-R-RE-KR-02], [VE-R-RO-RI-01], [VE-R-RO- KR-01], [VE-R-RO-KR-03] und generell die Testmaßnahmen im Kapitel Verlässlichkeit.

Verknüpfung

Relevante technische Prüfmethoden

Accuracy Recall Precision F1-Score False Positive Rate False Negative Rate True Positive Rate True Negative Rate False Omission Rate Matthews correlation coeffictient ROC-AUC Calibration Error Brier Score Cohen Kappa score R2 RMSE MAE MAPE mAP IoU mIoU Panoptic Quality Mutual information score Homogeneity Score Silhouette Score Mahalanobis Distance Wasserstein metric DICE Score HOTA (Higher Order Tracking Accuracy)MMLU BoolQ OpenBookQA TruthfulQA HellaSwag QuAC NaturalQuestions NarrativeQA XSUM CNN/DailyMail IMDB RAFT GSM8K MATH APPS LSAT HumanEval LegalBench Data imputation ROUGE BLEU Structural similarity index measure (SSIM)Fréchet Inception Distance (FID)Inception Score CIDEr: Consensus-based Image Description Evaluation Cosine Similartiy CLIP Image Quality Assessment CLIP score Signal-to-Noise Ratio (SNR)Perceptual evaluation of Speech Quality (PESQ)Short-Time Objective Intelligibility (STOI)Fuzzy Testing Neuron Coverage Out-of-distribution (OOD) generalization Monte Carlo Dropout Sliceline Spotlight Domino SVM Failure Directions Systematic Weakness search Adversial accuracy Robustness radius Time until Adversary's Sucess Minimum Distortion Radius

→ In Tabelle anzeigen

Observablen

Qualitätslevels A bis D

Tech. Maßnahme - Tests

Formelle Beschreibung des Anwendungsbereichs als Eingabe für Testmethoden (Eingaberaum, Anwendungsbereich mit Verteilung, Anwendungsgrenze, ggfs. Beschreibung einer ODD)
Entlang des Testplans (siehe VE1.4), Analyse der Abdeckung des Anwendungsbereichs (oder ggfls. einer ODD) durch die vorhandenen Testdaten
Beschreibung des gegebenen Formats d.h. die Eingaben, Bedingungen und Umgebungen, auf denen auf Leistungsfähigkeit und Robustheit direkt oder indirekt getestet wird
Durchführung des Tests entlang des Testplans und Dokumentation aller Testergebnisse
Dokumentation von Schwachstellen, dabei mindestens a) Jede aufgrund des Systemdesigns und in Bezug auf den Verwendungszweck unerwartete Minderung in der tatsächlichen Leistungsfähigkeit des KI-Systems b) Grenzen des Eingabebereichs (In welchen Situationen/ bei welchen Eingaben funktioniert das KI-System nur eingeschränkt oder gar nicht mehr? c) Shortcuts in Modellen (falls keine identifiziert wurden ist dies so zu dokumentieren)

Tech. Maßnahme - Tests

Formelle Beschreibung des Anwendungsbereichs als Eingabe für Testmethoden (Eingaberaum, Anwendungsbereich mit Verteilung, Anwendungsgrenze, ggfls. Beschreibung einer ODD)
Durchführung des Tests entlang des Testplans und Dokumentation aller Testergebnisse
Dokumentation von Schwachstellen, dabei mindestens a) Jede aufgrund des Systemdesigns und in Bezug auf den Verwendungszweck unerwartete Minderung in der tatsächlichen Leistungsfähigkeit des KI-Systems b) Grenzen des Eingabebereichs (In welchen Situationen/ bei welchen Eingaben funktioniert das KI-System nur eingeschränkt oder gar nicht mehr?

Tech. Maßnahme - Tests

Formelle Beschreibung des Anwendungsbereichs als Eingabe für Testmethoden (Eingaberaum, Anwendungsbereich mit Verteilung, Anwendungsgrenze, ggfls. Beschreibung einer ODD)
Durchführung des Tests entlang des Testplans und Dokumentation aller Testergebnisse

Es wurden keine dokumentierten Tests durchgeführt.