Wie stellt man Nachvollziehbarkeit und Governance bei ML-Modellen sicher?
Direkte Antwort
Nachvollziehbarkeit bei ML-Modellen entsteht durch drei Bausteine — Model Cards, die Trainingsdaten, bekannte Einschränkungen und Einsatzbereich dokumentieren, lückenlose Versionierung von Daten und Modellartefakten, damit jede Vorhersage auf ihre Herkunft zurückgeführt werden kann, und Logging jeder produktiven Vorhersage inklusive der zugrunde liegenden Modellversion für spätere Prüfungen.
"Ein Modell, dessen Trainingsdaten niemand mehr rekonstruieren kann, lässt sich im Streitfall nicht verteidigen, egal wie gut seine Vorhersagen im Durchschnitt sind.
Sobald ein Modell Entscheidungen mit Auswirkung auf Personen oder Geschäftsprozesse trifft, reicht "es funktioniert gut" als Aussage nicht mehr aus — Nachvollziehbarkeit wird zur technischen und oft regulatorischen Anforderung.
Model Cards als strukturierte Dokumentation
Eine Model Card dokumentiert systematisch, worauf ein Modell trainiert wurde, für welchen Einsatzbereich es vorgesehen ist, welche bekannten Einschränkungen oder Verzerrungen es hat und welche Metriken bei der Evaluation erreicht wurden.
Diese Dokumentation entsteht am besten direkt im Trainingsprozess, nicht nachträglich, weil viele der relevanten Informationen sonst nicht mehr rekonstruierbar sind, sobald sich Datensätze oder Verantwortlichkeiten geändert haben.
Datenherkunft und Versionierung als Voraussetzung für Auditierbarkeit
Jede produktive Vorhersage sollte sich bis zur exakten Modellversion und den zugrunde liegenden Trainingsdaten zurückverfolgen lassen.
Ohne diese Versionierung lässt sich im Nachhinein nicht beantworten, mit welchem Datenstand ein bestimmtes Modell trainiert wurde, was bei einer nachträglichen Prüfung oder einem Vorwurf systematischer Verzerrung zum handfesten Problem wird.
Logging produktiver Vorhersagen für spätere Prüfungen
Jede im Betrieb getroffene Vorhersage sollte zusammen mit den Eingabedaten und der verwendeten Modellversion protokolliert werden, nicht nur zur technischen Fehlersuche, sondern als Nachweis für regulatorische Anfragen oder interne Revisionen.
Bei personenbezogenen Eingabedaten muss dieses Logging mit Datenschutzanforderungen abgestimmt werden, etwa durch Pseudonymisierung, ohne die Nachvollziehbarkeit der Modellentscheidung selbst zu verlieren.
Wann passt es — wann nicht?
Passt gut
- ✓Das Modell trifft Entscheidungen mit Auswirkung auf Personen oder wesentliche Geschäftsprozesse
- ✓Es gibt regulatorische Nachweispflichten (etwa im Rahmen des EU AI Act)
Passt nicht
- ✗Es handelt sich um ein rein internes Analysemodell ohne direkte Auswirkung auf Personen oder kritische Prozesse