3. Beobachtbarkeit und Modellmanagement

Der Abschnitt Observability und Modellmanagement der Checkliste umfasst die Kontrolle der Modellversionen und die Linage-Tracking im gesamten ML-System. Die Modellversionierung hilft dabei, alle an einem Modell vorgenommenen Änderungen nachzuverfolgen und zu kontrollieren, sodass Sie bei Bedarf eine frühere Version wiederherstellen können. Die Nachverfolgung der Herkunft bietet einen Überblick über Modellzuflüsse und -abflüsse. Ein weiterer wichtiger Vorteil von Lineage Tracking ist point-in-time Recovery (PITR), das die Bereitstellung und Systemwiederherstellung automatisiert.

3.1 Versionierte Modellregistrierung	Im Allgemeinen unterstützt eine Modellregistrierung die Versionskontrolle und die Herkunftsverfolgung von Modellkomponenten. Eine gute Registrierung kann dem versionierten Modell Metadaten zuordnen, darunter die folgenden: Die verwendeten Daten Informationen über das Modell Ergebnisse der Bewertungsmetrik Zugehöriger Modellcode
3.2 Voreingenommenheit, Fairness und Erklärbarkeit	Ein ML-System sollte zumindest über einen Prozess verfügen, mit dem die Vorhersagen eines Modells für andere Parteien erklärbar sind. Benutzer sollten in der Lage sein, die Ergebnisse anhand der einzelnen Funktionen auf Verzerrungen zu überprüfen. Messen Sie idealerweise die Datenverzerrung, bevor Sie die Daten in das ML-Modell eingeben, und zeichnen Sie diese Metriken für Modellkarten und Prüfungen auf.
3.3 Nachverfolgung der Herkunft: Dateneingaben und -ausgaben	Das Tracking dient dazu, den Datenfluss in und aus dem System zu verfolgen (z. B. Datenläufe vom Data Lake zur Trainingspipeline). Diese Nachverfolgung dient als Aufzeichnung, anhand derer alle Systemprozesse wiederhergestellt werden können, und sie bietet einen Prüfpfad für Analysen.
3.4 Verfolgung der Herkunft: Umweltinformationen	Dieses Tracking erfasst Informationen über die Einrichtung der Laufzeitumgebung, z. B. Container-Images für den gesamten Modellcode und die zugehörigen Abhängigkeiten der Container.
3.5 Nachverfolgung der Herkunft: Modell	Dieses Tracking erfasst Informationen über das Modell. Es umfasst alles, von Informationen über den Algorithmus des Modells bis hin zu Parametern und Hyperparametern, die in das Modell einfließen.
3.6 Integration mit Bereitstellung und Überwachung	Das System sollte direkt mit den Teilsystemen für die Überwachung und Einführung von PITR verknüpft werden. Für die Überwachung bedeutet dies, dass die Leistung des Modells anhand seiner Trainingsläufe getestet wird, um eine Verschlechterung der Modellqualität festzustellen. Für die Bereitstellung unterstützt dies PITR und die Möglichkeit, bei Bedarf zu einer früheren Modellversion zurückzukehren.
3.7 Konfiguration der Pipeline-Parameter	Technisch gesehen fällt die Konfiguration von Pipeline-Parametern sowohl unter die Lineage-Tracking- als auch die Experiment-Tracking, da die Pipeline-Konfiguration versioniert und direkt mit einem Modell verknüpft werden muss. Die Konfiguration der Pipeline-Parameter ist in diesem Abschnitt aufgeführt, da es unerlässlich ist, alle Konfigurationen der Systemorchestrierung nachzuverfolgen und sie zu versionieren.
3.8 Probleme sind rückverfolgbar, debuggbar und reproduzierbar.	Ein Techniker kann alle Probleme innerhalb des Systems ohne großen Aufwand verfolgen, debuggen und reproduzieren. Dies setzt voraus, dass ein ausreichendes Maß an Beobachtbarkeit vorhanden ist. Diese Prüfung ergibt sich in erster Linie aus der Erfüllung der anderen Punkte im Abschnitt Beobachtbarkeit und Modellmanagement.
3.9 Visualisierung der Leistung	Das System kann Protokolle in einem Datenbankformat vom Typ Zeitreihen erfassen und sammeln und sie direkt in das Dashboard aufnehmen. Das Dashboard bietet eine ganzheitliche Ansicht sowohl der Modell- als auch der Computermetriken und bietet die Möglichkeit, Details aufzuschlüsseln und Abfragen durchzuführen.