SageMaker Amazon-Modell-Dashboard

Amazon SageMaker Model Dashboard ist ein zentrales Portal, auf das Sie über die SageMaker Konsole zugreifen können. Dort können Sie alle Modelle in Ihrem Konto ansehen, suchen und erkunden. Sie können nachverfolgen, welche Modelle für Inferenz eingesetzt werden und ob sie in Batch-Transformationsaufträge verwendet oder auf Endpunkten gehostet werden. Wenn Sie Monitore mit Amazon SageMaker Model Monitor einrichten, können Sie auch die Leistung Ihrer Modelle verfolgen, da diese Echtzeitvorhersagen anhand von Live-Daten treffen. Sie können das Dashboard verwenden, um Modelle zu finden, die gegen die von Ihnen festgelegten Schwellenwerte für Datenqualität, Modellqualität, Verzerrung und Erklärbarkeit verstoßen. Die umfassende Darstellung all Ihrer Monitorergebnisse im Dashboard hilft Ihnen dabei, Modelle, für die diese Metriken nicht konfiguriert sind, schnell zu identifizieren.

Das Modell-Dashboard fasst modellbezogene Informationen aus verschiedenen SageMaker Funktionen zusammen. Zusätzlich zu den in Model Monitor bereitgestellten Services können Sie Modellkarten anzeigen, die Workflow-Herkunft visualisieren und die Leistung Ihrer Endgeräte verfolgen. Sie müssen keine Protokolle mehr durchsuchen, Notizbücher abfragen oder auf andere AWS Dienste zugreifen, um die benötigten Daten zu sammeln. SageMakerDas Model Dashboard bietet ein einheitliches Benutzererlebnis und die Integration in bestehende Dienste. Es bietet eine out-of-the-box vorbildliche Governance-Lösung, mit der Sie eine qualitativ hochwertige Abdeckung all Ihrer Modelle sicherstellen können.

Voraussetzungen

Um das Model Dashboard verwenden zu können, sollten Sie ein oder mehrere Modelle in Ihrem Konto haben. Sie können Modelle mit Amazon trainieren SageMaker oder Modelle importieren, die Sie an anderer Stelle trainiert haben. Um ein Modell in zu erstellen SageMaker, können Sie die CreateModel API verwenden. Weitere Informationen finden Sie unter CreateModel. Sie können auch SageMaker bereitgestellte ML-Umgebungen wie Amazon SageMaker Studio Classic verwenden, das Projektvorlagen bereitstellt, mit denen Sie Modelltraining und -bereitstellung einrichten können. Informationen zu den ersten Schritten mit Studio Classic finden Sie unter Amazon SageMaker Studio Classic.

Dies ist zwar keine zwingende Voraussetzung, aber Kunden ziehen den größten Nutzen aus dem Dashboard, wenn sie Modellüberwachungsaufträge mit SageMaker Model Monitor für Modelle einrichten, die auf Endgeräten bereitgestellt werden. Voraussetzungen und Anweisungen zur Verwendung von SageMaker Model Monitor finden Sie unterÜberwachen Sie die Daten- und Modellqualität mit Amazon SageMaker Model Monitor.

Modellieren von Dashboard-Elementen

In der Modell-Dashboard-Ansicht werden allgemeine Details zu jedem Modell extrahiert, um eine umfassende Zusammenfassung aller Modelle in Ihrem Konto zu erhalten. Wenn Ihr Modell für Inferenz eingesetzt wird, hilft Ihnen das Dashboard dabei, die Leistung Ihres Modells und Endpunkts in Echtzeit zu verfolgen.

Zu den wichtigen Details, die Sie auf dieser Seite hervorheben sollten, gehören:

• Risikoeinstufung: Ein benutzerdefinierter Parameter aus der Modellkarte mit einem niedrigen, mittleren oder hohen Wert. Die Risikoeinstufung der Modellkarte ist ein kategorisches Maß für die geschäftlichen Auswirkungen der Prognosen des Modells. Modelle werden für eine Vielzahl von Geschäftsanwendungen verwendet, von denen jede ein anderes Risikoniveau voraussetzt. Beispielsweise hat die falsche Erkennung eines Cyberangriffs viel größere Auswirkungen auf das Geschäft als die falsche Kategorisierung einer E-Mail. Wenn Sie das Modellrisiko nicht kennen, können Sie es auf Unbekannt setzen. Informationen zu Amazon SageMaker Model Cards finden Sie unter Model Cards.

• Model Monitor-Benachrichtigungen: Model Monitor-Benachrichtigungen sind ein Hauptaugenmerk des Model Dashboards, und die Überprüfung der vorhandenen Dokumentation zu den verschiedenen Monitoren, die von bereitgestellt werden, SageMaker ist ein hilfreicher Einstieg. Eine ausführliche Erläuterung der SageMaker Model Monitor-Funktion und Beispielnotizbücher finden Sie unterÜberwachen Sie die Daten- und Modellqualität mit Amazon SageMaker Model Monitor.

  Das Model Dashboard zeigt Model Monitor-Statuswerte für die folgenden Monitortypen an:

  • Datenqualität: Vergleicht Live-Daten mit Trainingsdaten. Wenn sie voneinander abweichen, sind die Schlussfolgerungen Ihres Modells möglicherweise nicht mehr korrekt. Weitere Informationen zum Datenqualitätsmonitor finden Sie unter Überwachen der Datenqualität.

  • Modellqualität: Vergleicht die Vorhersagen, die das Modell macht, mit den tatsächlichen Ground-Truth-Bezeichnungen, die das Modell vorherzusagen versucht. Weitere Informationen zum Modellqualitätsmonitor finden Sie unter Überwachen der Modellqualität.

  • Bias Drift: Vergleicht die Verteilung von Live-Daten mit Trainingsdaten, was ebenfalls zu ungenauen Vorhersagen führen kann. Weitere Informationen zum Bias-Drift-Monitor finden Sie unter Überwachen Sie Verzerrungen bei Modellen in der Produktion.

  • Abweichung bei der Funktionszuweisung: Wird auch als Abweichung bei der Erklärbarkeit bezeichnet. Vergleicht die relative Rangfolge deiner Merkmale in Trainingsdaten mit denen von Live-Daten, was auch auf Verzerrungen zurückzuführen sein könnte. Weitere Informationen zum Monitor Funktionsattribut Abweichung finden Sie unter Überwachen Sie die Abweichung bei der Featureszuweisung für Modelle in der Produktion.

  Jeder Model Monitor-Status ist einer der folgenden Werte:

  • Keiner: Es ist kein Monitor geplant

  • Inaktiv: Ein Monitor wurde geplant, aber er wurde deaktiviert

  • OK: Ein Monitor ist geplant und aktiv. Bei den letzten Modellmonitor-Ausführungen wurde nicht die erforderliche Anzahl von Verstößen festgestellt, um eine Warnung auszulösen

  • Uhrzeit und Datum: Ein aktiver Monitor hat zur angegebenen Uhrzeit und am angegebenen Datum eine Warnung ausgelöst

• Endpunkt: Die Endpunkte, auf denen Ihr Modell für Echtzeit-Inferenzen gehostet wird. Im Modell-Dashboard können Sie die Endpunktspalte auswählen, um Leistungskennzahlen wie CPU-, GPU-, Festplatten- und Speicherauslastung Ihrer Endgeräte in Echtzeit anzuzeigen, sodass Sie die Leistung Ihrer Rechen-Instances verfolgen können.

• Batch-Transformationsauftrag: Der letzte Batch-Transformationsauftrag, der mit diesem Modell ausgeführt wurde. Anhand dieser Spalte können Sie feststellen, ob ein Modell aktiv für Batch-Inferenz verwendet wird.

• Modelldetails: Jeder Eintrag im Dashboard ist mit einer Modelldetailseite verknüpft, auf der Sie sich eingehender mit einem einzelnen Modell befassen können. Sie können auf das Lineage-Diagramm des Modells zugreifen, das den Arbeitsablauf von der Datenvorbereitung bis zur Bereitstellung sowie die Metadaten für jeden Schritt visualisiert. Sie können auch die Modellkarte erstellen und anzeigen, Warnmeldungsdetails und den Verlauf überprüfen, die Leistung Ihrer Echtzeit-Endgeräte bewerten und auf andere infrastrukturbezogene Details zugreifen.