Überwachen der Modellqualität - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überwachen der Modellqualität

Aufträge zur Überwachung der Modellqualität überwachen die Leistung eines Modells, indem sie die Vorhersagen des Modells mit den tatsächlichen Ground-Truth-Bezeichnungen vergleichen, die das Modell vorherzusagen versucht. Zu diesem Zweck führt die Überwachung der Modellqualität Daten, die aus Echtzeit- oder Batch-Inferenzen erfasst wurden, mit tatsächlichen Etiketten zusammen, die Sie in einem Amazon-S3-Bucket speichern, und vergleicht dann die Vorhersagen mit den tatsächlichen Labels.

Um die Modellqualität zu messen, verwendet Model Monitor Metriken, die vom ML-Problemtyp abhängen. Wenn Ihr Modell beispielsweise für ein Regressionsproblem bestimmt ist, ist eine der ausgewerteten Metriken der mittlere quadratische Fehler (mse). Informationen zu allen Metriken, die für die verschiedenen ML-Problemtypen verwendet wurden, finden Sie unter Modellqualitätsmetriken und CloudWatch Amazon-Überwachung.

Die Überwachung der Modellqualität folgt den gleichen Schritten wie die Überwachung der Datenqualität, fügt jedoch den zusätzlichen Schritt hinzu, die tatsächlichen Labels aus Amazon S3 mit den Vorhersagen zusammenzuführen, die vom Echtzeit-Inferenzendpunkt oder vom Batch-Transformationsjob erfasst wurden. Gehen Sie folgendermaßen vor, um die Modellqualität zu überwachen:

Themen