Überwachen Sie Modelle auf Daten- und Modellqualität, Bias und Erklärbarkeit - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen Sie Modelle auf Daten- und Modellqualität, Bias und Erklärbarkeit

Amazon SageMaker Der Model Monitor überwacht kontinuierlich die Qualität von Amazon SageMaker Machine Learning-Modelle in der Produktion. Mit Model Monitor können Sie Alarme festlegen, die Sie benachrichtigen, wenn es Abweichungen in der Modellqualität gibt. Eine frühzeitige und proaktive Erkennung dieser Abweichungen ermöglicht es Ihnen, Korrekturmaßnahmen wie Umschulung von Modellen, Auditing von Upstream-Systemen oder Behebung von Qualitätsproblemen zu ergreifen, ohne dass Modelle manuell überwacht oder zusätzliche Werkzeuge erstellt werden müssen. Sie können vorgefertigte Überwachungsfunktionen von Model Monitor verwenden, die keine Codierung erfordern. Sie haben auch die Flexibilität, Modelle durch Codierung zu überwachen, um benutzerdefinierte Analysen bereitzustellen.

Der Model Monitor stellt die folgenden Überwachungsarten bereit:

So funktioniert Model Monitor

Amazon SageMaker Der Model Monitor überwacht die Machine-Learning- (ML) -Modelle in der Produktion automatisch und benachrichtigt Sie bei Auftreten von Qualitätsproblemen. Model Monitor verwendet Regeln, um Drift in Ihren Modellen zu erkennen, und warnt Sie, wenn dies geschieht. Die folgende Abbildung zeigt die Funktionsweise dieser Vorgehensweise.


                Der Modellüberwachungsprozess mit Amazon SageMaker Modellmonitor.

Um die Modellüberwachung zu ermöglichen, führen Sie die folgenden Schritte durch, die dem Pfad der Daten durch die verschiedenen Datenerfassungs-, Überwachungs- und Analyseprozesse folgen:

  • Aktivieren Sie den Endpunkt, um Daten von eingehenden Anforderungen an ein trainiertes ML-Modell und die daraus resultierenden Modellprognosen zu erfassen.

  • Erstellen Sie eine Baseline aus dem Dataset, mit dem das Modell trainiert wurde. Die Baseline berechnet Metriken und schlägt Einschränkungen für die Metriken vor. Echtzeitprognosen aus Ihrem Modell werden mit den Einschränkungen verglichen und als Verstöße gemeldet, wenn sie außerhalb der eingeschränkten Werte liegen.

  • Erstellen Sie einen Überwachungsplan, der angibt, welche Daten gesammelt werden sollen, wie oft sie erfasst werden, wie sie analysiert werden und welche Berichte erstellt werden sollen.

  • Überprüfen Sie die Berichte, in denen die neuesten Daten mit der Baseline verglichen werden, und achten Sie auf gemeldete Verletzungen sowie auf Metriken und Benachrichtigungen von Amazon CloudWatch.

Hinweise
  • Model Monitor unterstützt derzeit nur Tabellendaten.

  • Der Model Monitor unterstützt derzeit nur Endpunkte, die ein einzelnes Modell hosten, und keine Überwachung von Endpunkten mit mehreren Modellen. Hinweise zur Verwendung von Endpunkten mit mehreren Modellen finden Sie unter Hosten Sie mehrere Modelle in einem Container hinter einem Endpunkt .

  • Der Model Monitor unterstützt die Überwachung von Inferenz-Pipelines. Erfassung und Analyse von Daten erfolgen jedoch für die gesamte Pipeline, nicht für einzelne Container in der Pipeline.

  • Um Auswirkungen auf Inferenzanforderungen zu vermeiden, stoppt Data Capture die Erfassung von Anfragen bei hoher Festplattenauslastung. Es wird empfohlen, Ihre Festplattenauslastung unter 75% zu halten, um sicherzustellen, dass die Datenerfassung weiterhin Anfragen erfasst.

  • Wenn du startest SageMaker Studio in einer benutzerdefinierten Amazon VPC müssen Sie VPC-Endpunkte erstellen, damit Model Monitor mit Amazon S3 und CloudWatch kommunizieren kann. Weitere Informationen zu VPC-Endpunkten finden Sie unterVPC-EndpunkteimAmazon Virtual Private Cloud Cloud-Benutzerhandbuchaus. Weitere Informationen zum Starten von SageMaker Studio in einer benutzerdefinierten VPC, sieheVerbinden SageMaker Studio-Notebooks in einer VPC zu externen Ressourcenaus.

Model Monitor Beispiel-Notebooks

Für ein Beispiel-Notebook, das Sie vollständig durchführt end-to-end Workflow für Model Monitor finden Sie imEinführung in Amazon SageMaker Model Monitoraus.

Ein Beispiel-Notebook, das die Datei statistics.json für eine ausgewählte Ausführung in einem Überwachungsplan visualisiert, finden Sie unter Model Monitor-Visualisierung.

Anweisungen, die Ihnen zeigen, wie Sie Jupyter-Notebook-Instances erstellen und darauf zugreifen können, die Sie verwenden können, um das Beispiel in SageMaker auszuführen, finden Sie unterVerwenden von Amazon SageMaker Notebook-Instancesaus. Nachdem Sie eine Notebook-Instance erstellt und geöffnet haben, wählen Sie die OptionSageMaker-Beispiele-Tab, um eine Liste aller SageMaker -Beispiele Zum Öffnen eines Notebooks wählen Sie die Notebooks ausVerwenden vonund wählen SieKopie erstellenaus.