MLOps-Testing

Da ML-Modelle zunehmend in sicherheitskritischen Umgebungen eingesetzt werden, ist die Gewährleistung ihrer Robustheit, Korrektheit und Fairness von zentraler Bedeutung. Vor diesem Hintergrund haben wir eine mit der IML4E-Testmethode, eine Reihe von Techniken und Vorgehen identifiziert, welches wesentliche Herausforderung der Qualitätssicherung und des Testens von ML-basierten KI-Systemen adressiert.

Die IML4E-Testmethode beschreibt systematisches Testen innerhalb von MLOps-Prozessen, mit dem Ziel Qualität und Effizienz durch gezielte Teststrategien zu verbessern. Die Methodik unterstützt das Testen sowohl klassischer Software- als auch ML-Komponenten und legt besonderen Wert auf die Überprüfung von Leistung, Zuverlässigkeit, Sicherheit und Konformität.

Sie adressiert insbesondere die Herausforderungen beim automatisierten Testen von ML-Systemen, kategorisiert Metriken entsprechend ihrer Anwendbarkeit auf überwachtes, unüberwachtes, verstärkendes Lernen und kombiniert etablierte Testmethoden wie anforderungs- und risikobasiertes Testen mit spezifischeren Verfahren, darunter Differenztests, metamorphisches Testen, Angriffssimulationen und AB-Tests.

Die Methodik stellt detaillierte Metriken, Methoden und Akzeptanzkriterien für eine umfassende Qualitätssicherung von ML-Systemen bereit. Sie identifiziert alle relevanten Artefakte pro Lebenszyklusphase und definiert passende Akzeptanzkriterien sowie Testziele. 

Zusammenfassend bietet sie effiziente und gleichzeitig rigorose Testansätze, die den gesamten Lebenszyklus einer ML-Anwendung abdecken. Die Methode wurde als Teil von ETSI TR 103910 veröffentlicht.