Amazon SageMaker SageMaker-Modellmonitor - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon SageMaker SageMaker-Modellmonitor

Der Amazon SageMaker Model Monitor überwacht kontinuierlich die Qualität von Amazon SageMaker SageMaker-Modellen für das maschinelle Lernen in der Produktion. Mit Model Monitor können Sie Alarme festlegen, die Sie benachrichtigt haben, wenn Abweichungen in der Modellqualität auftreten. Eine frühzeitige und proaktive Erkennung dieser Abweichungen ermöglicht es Ihnen, Korrekturmaßnahmen wie Umschulung von Modellen, Auditing von Upstream-Systemen oder Behebung von Qualitätsproblemen zu ergreifen, ohne dass Modelle manuell überwacht oder zusätzliche Werkzeuge erstellt werden müssen. Sie können vorgefertigte Überwachungsfunktionen von Model Monitor verwenden, die keine Codierung erfordern. Sie haben auch die Flexibilität, Modelle durch Codierung zu überwachen, um benutzerdefinierte Analysen bereitzustellen.

Model Monitor bietet die folgenden Arten der Überwachung:

So funktioniert Model Monitor

Der Amazon SageMaker Model Monitor überwacht die Machine Learning- (ML) -Modelle in der Produktion automatisch und benachrichtigt Sie bei Auftreten von Qualitätsproblemen. Model Monitor verwendet Regeln, um Drift in Ihren Modellen zu erkennen, und warnt Sie, wenn dies geschieht. Die folgende Abbildung zeigt die Funktionsweise dieser Vorgehensweise.


                Der Modellüberwachungsprozess mit Amazon SageMaker Model Monitor.

Zur Aktivierung der Modellüberwachung führen Sie die folgenden Schritte durch, die dem Pfad der Daten durch die verschiedenen Datenerfassungs-, Überwachungs- und Analyseprozesse folgen:

  • Aktivieren Sie den Endpunkt, um Daten von eingehenden Anforderungen an ein trainiertes ML-Modell und die daraus resultierenden Modellprognosen zu erfassen.

  • Erstellen Sie eine Baseline aus dem Dataset, mit dem das Modell trainiert wurde. Die Baseline berechnet Metriken und schlägt Einschränkungen für die Metriken vor. Echtzeitprognosen aus Ihrem Modell werden mit den Einschränkungen verglichen und als Verstöße gemeldet, wenn sie außerhalb der eingeschränkten Werte liegen.

  • Erstellen Sie einen Überwachungsplan, der angibt, welche Daten gesammelt werden sollen, wie oft sie erfasst werden, wie sie analysiert werden und welche Berichte erstellt werden sollen.

  • Überprüfen Sie die Berichte, in denen die neuesten Daten mit der Baseline verglichen werden, und achten Sie auf gemeldete Verstöße sowie auf Metriken und Benachrichtigungen von Amazon CloudWatch.

Notes
  • Model Monitor unterstützt derzeit nur Tabellendaten.

  • Model Monitor unterstützt derzeit nur Endpunkte, die ein einzelnes Modell hosten, und keine Überwachung von Endpunkten mit mehreren Modellen. Hinweise zur Verwendung von Endpunkten mit mehreren Modellen finden Sie unter Hosten mehrerer Modelle mit Multimodell-Endpunkten .

  • Model Monitor unterstützt die Überwachung von Inferenz-Pipelines, die Erfassung und Analyse von Daten erfolgt jedoch für die gesamte Pipeline, nicht für einzelne Container in der Pipeline.

  • Um Auswirkungen auf Inferenzanforderungen zu vermeiden, stoppt Data Capture die Erfassung von Anfragen bei hoher Festplattenauslastung. Es wird empfohlen, Ihre Festplattenauslastung unter 75% zu halten, um sicherzustellen, dass die Datenerfassung weiterhin Anfragen erfasst.

  • Wenn Sie SageMaker Studio in einer benutzerdefinierten Amazon VPC starten, müssen Sie VPC-Endpunkte erstellen, damit Model Monitor mit Amazon S3 und CloudWatch kommunizieren kann. Weitere Informationen zu VPC-Endpunkten finden Sie unterVPC-EndpunkteimAmazon Virtual Private Cloud Cloud-Benutzerhandbuchaus. Informationen zum Starten von SageMaker Studio in einer benutzerdefinierten VPC finden Sie unterConnect Sie SageMaker Studio-Notebooks mit -Ressourcen in einer VPCaus.

Model Monitor Beispiel-Notebooks

Ein Beispiel-Notebook, das Sie durch den vollständigen End-to-End-Workflow für Model Monitor führt, finden Sie unterEinführung in Amazon SageMaker Model Monitoraus.

Ein Beispiel-Notebook, das die Datei statistics.json für eine ausgewählte Ausführung in einem Überwachungsplan visualisiert, finden Sie unter Model Monitor-Visualisierung.

Anweisungen, die Ihnen zeigen, wie Sie Jupyter-Notebook-Instances erstellen und darauf zugreifen können, um das Beispiel in SageMaker auszuführen, finden Sie unterVerwenden von Amazon SageMaker Notebook-aus. Nachdem Sie eine Notebook-Instance erstellt und geöffnet haben, wählen Sie die OptionBeispiele für SageMaker-Registerkarte, um eine Liste aller SageMaker-Beispiele anzusehen. Zum Öffnen eines Notebooks wählen Sie das NotebookVerwenden vonTab und wählen Sie ausKopie erstellenaus.