AmazonSageMakerDebugger-Architektur - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AmazonSageMakerDebugger-Architektur

Dieses Thema führt Sie durch eine allgemeine Übersicht des AmazonasSageMakerDebugger-Workflow

Debugger unterstützt Profiling-Funktionalität fürLeistungsoptimierungum Berechnungsprobleme wie Systemengpässe und Unterauslastung zu identifizieren und die Auslastung der Hardwareressourcen im großen Maßstab zu optimieren.

Debugging-Funktionalität des Debuggers fürModelloptimierunggeht es darum, nicht konvergierende Trainingsprobleme zu analysieren, die auftreten können, während die Verlustfunktionen mithilfe von Optimierungsalgorithmen wie Gradientenabstieg und deren Variationen minimiert werden.

Das folgende Diagramm zeigt die Architektur vonSageMakerDebugger. Die Blöcke mit fetten Grenzlinien gelingt Debugger, um Ihren Schulungsauftrag zu analysieren.


                Übersicht über die Verwendung von AmazonSageMakerDebugger funktioniert.

Debugger speichert die folgenden Daten aus Ihren Schulungsjobs in Ihrem gesicherten Amazon S3 S3-Bucket:

  • Systemmetriken— Daten zur Auslastung von Hardwareressourcen wie CPU-, GPU-, CPU- und GPU-Speicher, Netzwerk- und Dateneingabe- und -ausgabemetriken (I/O).

  • Rahmenmetriken— Metriken zur Verfolgung jedes Framework-Vorgangs pro Aufruf oder Sampling, wie Faltungsschicht-Operationen im Vorwärtspass, Batch-Normalisierungsvorgänge im Rückwärtspass, Datenloader-Prozesse zwischen Schritten und Operationen des Gradientenabstiegsalgorithmus zur Berechnung und Aktualisierung der Verlustfunktion.

  • Output-Tensoren— Sammlungen von Skalaren und Modellparametern, die während der Vorwärts- und Rückwärtspässe während des Trainings von ML-Modellen kontinuierlich aktualisiert werden. Die Ausgabe-Tensoren umfassen Skalarwerte (Genauigkeit und Verlust) und Matrizen (Gewichtungen, Verläufe, Eingabe-Layer und Ausgabe-Layer).

    Anmerkung

    Standardmäßig überwacht und debuggt DebuggerSageMakerSchulungsaufträge ohne Debugger-spezifische Parameter konfiguriert inSageMaker-Schätzer. Debugger sammelt alle 500 Millisekunden Systemmetriken und alle 500 Schritte grundlegende Ausgangstensoren (skalare Ausgaben wie Verlust und Genauigkeit). Es läuft auchProfilerReportRegel, um die Systemmetriken zu analysieren und das Studio Debugger Insights Dashboard und einen Profilerstellungsbericht zusammenzufassen. Debugger speichert die Ausgabedaten in Ihrem gesicherten Amazon S3 S3-Bucket.

Die integrierten Debugger-Regeln werden für die Verarbeitung von Containern ausgeführt, mit denen Modelle des maschinellen Lernens ausgewertet werden können, indem die in Ihrem S3-Bucket gesammelten Trainingsdaten verarbeitet werden (sieheVerarbeiten von Daten und Auswerten von Modellen) enthalten. Die integrierten Regeln werden vollständig von Debugger verwaltet. Sie können auch eigene Regeln erstellen, die an Ihr Modell angepasst sind, um nach Problemen zu suchen, die Sie überwachen möchten.

In den folgenden Themen finden Sie bewährte Verfahren zur Verbesserung der Leistung Ihres Modells mitSageMakerDebugger.