Anzeigen, Suchen und Vergleichen von Experimentausführungen

Ein Amazon- SageMaker Experiment besteht aus mehreren Ausführungsgruppen mit einem verwandten Ziel. Eine Ausführungsgruppe besteht aus einem oder mehreren Durchläufen, z. B. einem Datenvorverarbeitungsjob und einem Trainingsjob.

Um Ihre Experimente anzuzeigen, müssen Sie dies über Studio Classic tun. Eine Übersicht über die Studio Classic-Benutzeroberfläche finden Sie unter Übersicht über die Amazon SageMaker Studio Classic-Benutzeroberfläche. Informationen zur Verwendung der Studio Classic-Anwendung finden Sie unter Amazon SageMaker Studio Classic.

Wichtig

Ab dem 30. November 2023 heißt die vorherige Amazon SageMaker Studio-Erfahrung jetzt Amazon SageMaker Studio Classic. Der folgende Abschnitt bezieht sich speziell auf die Verwendung der Studio Classic-Anwendung. Informationen zur Verwendung der aktualisierten Studio-Umgebung finden Sie unter Amazon SageMaker Studio.

Experimente und Läufe anzeigen

Amazon SageMaker Studio Classic bietet einen Browser für Experimente, mit dem Sie Listen von Experimenten und Läufen anzeigen können. Sie können eine dieser Entitäten auswählen, um detaillierte Informationen über die Entität anzuzeigen, oder mehrere Entitäten zum Vergleich auswählen. Sie können die Liste der Experimente nach Entitätsname, Typ und Tags filtern.

Um Experimente und Läufe anzusehen

1. Um das Experiment in Studio Classic anzuzeigen, wählen Sie in der linken Seitenleiste Experimente aus.

   Wählen Sie den Namen des Experiments aus, um alle zugehörigen Ausführungen anzuzeigen. Sie können nach Experimenten suchen, indem Sie direkt in die Suchleiste etwas eingeben oder nach dem Experimenttyp filtern. Sie können auch auswählen, welche Spalten in Ihrer Experiment- oder Ausführungsliste angezeigt werden sollen.

   Es kann einen Moment dauern, bis die Liste aktualisiert wird und ein neues Experiment oder ein neuer Versuchsdurchlauf angezeigt wird. Sie können auf Aktualisieren klicken, um die Seite zu aktualisieren. Ihre Experimentliste sollte in etwa so aussehen wie die folgende:

   

2. Doppelklicken Sie in der Experimentliste auf ein Experiment, um eine Liste der Läufe des Experiments anzuzeigen.

   Anmerkung

   Experimentläufe, die automatisch von SageMaker Aufträgen und Containern erstellt werden, sind standardmäßig in der Benutzeroberfläche von Experiments Studio Classic sichtbar. Um Durch SageMaker Aufträge erstellte Ausführungen für ein bestimmtes Experiment auszublenden, wählen Sie das Einstellungssymbol ( ) und aktivieren Sie Aufträge anzeigen.

   

3. Doppelklicken Sie auf einen Lauf, um Informationen zu einem bestimmten Lauf anzuzeigen.

   Wählen Sie im Übersichtsbereich eine der folgenden Überschriften aus, um die verfügbaren Informationen zu jedem Lauf anzuzeigen:

   • Metriken - Metriken, die während eines Laufs protokolliert werden.

   • Diagramme — Erstellen Sie Ihre eigenen Diagramme, um Läufe zu vergleichen.

   • Ausgabeartefakte — Alle Artefakte, die während des Versuchslaufs entstanden sind, und die Artefaktpositionen in Amazon S3.

   • Berichte zu Verzerrungen – Mit Clarify generierte Bias-Berichte vor oder nach der Schulung.

   • Erklärbarkeit — Mit Clarify generierte Erklärbarkeitsberichte.

   • Debugs - Eine Liste der Debugger-Regeln und aller gefundenen Probleme.

Vergleiche und analysiere Läufe

Um Experimentläufe zu analysieren, wählen Sie das Experiment Ihrer Wahl in der Benutzeroberfläche von Amazon SageMaker Studio Classic Experiments und dann die Läufe aus, die Sie vergleichen möchten. Sie müssen zwischen 1 und 20 Durchläufen wählen. Nachdem Sie Ihre Läufe ausgewählt haben, wählen Sie in der oberen rechten Ecke Analysieren aus.

Um Versuchsläufe zu vergleichen:

1. Nachdem Sie zu dem Experiment Ihrer Wahl navigiert haben, wählen Sie alle Läufe aus, die Sie vergleichen möchten. Sie müssen mehr als 1 und weniger als 20 Läufe für die Analyse auswählen.

2. Wählen Sie Analysieren in der oberen rechten Ecke.

3. Visualisieren Sie die Vergleichsmetriken mehrerer Versuchsläufe in einem Histogramm, Liniendiagramm, Streudiagramm oder Balkendiagramm. Um ein Diagramm hinzuzufügen, wählen Sie Diagramm hinzufügen, wählen Sie Werte für Ihre Diagrammachsen aus und wählen Sie Erstellen aus.

Sie können bestehende Diagramme aktualisieren, herunterladen oder löschen.

Logdiagramme

Die Protokollierung von Diagrammen und Visualisierungen ist für Klassifikationsmodelle verfügbar. Sie können eine Konfusionsmatrix, Betriebseigenschaften des Empfängers oder Präzisions- und Erinnerungsdiagramme protokollieren.

Loggen und visualisieren Sie Metriken mit den folgenden Python-SDK-Methoden:

• log_confusion_matrix: Zeichnet ein Konfusionsmatrix-Artefakt auf, das Sie im Abschnitt Diagramme der Run-Übersicht in Studio Classic anzeigen können.

• log_roc_curve: Zeichnet ein Artefakt der Betriebsmerkmale des Empfängers auf, das Sie im Abschnitt Diagramme der Run-Übersicht in Studio Classic anzeigen können.

• log_precision_recall: Zeichnet ein Präzisionsrückrufdiagramm auf, das Sie im Abschnitt Diagramme der Run-Übersicht in Studio Classic anzeigen können.

Ein automatisch protokollierter Precision-Recall-Datensatz erstellt ein Diagramm, das etwa wie folgt aussieht.