Überwachen der Modellqualität - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen der Modellqualität

Aufträge zur Überwachung der Modellqualität überwachen die Leistung eines Modells, indem sie die Vorhersagen, die das Modell macht, mit den tatsächlichen Ground-Truth-Labels vergleichen, die das Modell vorherzusagen versucht. Dazu führt die Modellqualitätsüberwachung Daten zusammen, die aus Echtzeit-Inferenzen erfasst werden, mit tatsächlichen Labels, die Sie in einem Amazon S3 S3-Bucket speichern, und vergleicht dann die Vorhersagen mit den tatsächlichen Labels.

Um die Modellqualität zu messen, verwendet der Modellmonitor Metriken, die vom ML-Problemtyp abhängen. Wenn Ihr Modell beispielsweise ein Regressionsproblem hat, ist eine der ausgewerteten Metriken ein mittlerer quadratischer Fehler (mse). Informationen zu allen Metriken, die für die verschiedenen ML-Problemtypen verwendet werden, finden Sie unterModellqualitätsmetrikenaus.

Die Überwachung der Modellqualität folgt den gleichen Schritten wie die Überwachung der Datenqualität, fügt jedoch den zusätzlichen Schritt hinzu, um die tatsächlichen Labels von Amazon S3 mit den vom Echtzeit-Inferenzendpunkt erfassten Prognosen zusammenzuführen. Gehen Sie folgendermaßen vor, um die Modellqualität zu überwachen:

  • Aktivieren der Datenerfassung. Dies erfasst Inferenzeingabe und -ausgabe von einem Echtzeit-Inferenzendpunkt und speichert die Daten in Amazon S3. Weitere Informationen finden Sie unter Erfassen von Daten.

  • Erstellen einer Baseline. In diesem Schritt führen Sie einen Baseline-Job aus, der Vorhersagen aus dem Modell mit Boden-Truth-Labels in einem Baseline-Dataset vergleicht. Der Baseline-Job erstellt automatisch statistische Grundregeln und Einschränkungen, die Schwellenwerte definieren, anhand derer die Modellleistung ausgewertet wird. Weitere Informationen finden Sie unter Erstellen einer Modellqualitäts-Baseline.

  • Definieren und planen Sie Aufträge zur Überwachung der Modellqualität. Weitere Informationen finden Sie unter Planen Sie Jobs zur Überwachung der Modellqualität.

  • Aufnahme von Ground-Truth-Labels, die der Modellmonitor mit erfassten Vorhersagedaten vom Echtzeit-Inferenzendpunkt zusammenführt. Weitere Informationen finden Sie unter Nehmen Sie Ground Truth Labels auf und verschmelzen Sie sie mit Vorhersagen.

  • Integrieren Sie die Überwachung der Modellqualität in Amazon CloudWatch. Weitere Informationen finden Sie unter Modellqualität CloudWatch Metriken.

  • Interpretieren Sie die Ergebnisse eines Überwachungsauftrags. Weitere Informationen finden Sie unter Interpretieren von Ergebnissen.

  • Verwenden von SageMaker Studio, um die Überwachung der Modellqualität zu ermöglichen und Ergebnisse zu visualisieren. Weitere Informationen finden Sie unter Visualisieren Sie Ergebnissen in Amazon SageMaker Studio.