SageMaker Amazon-Debugger

Debuggen Sie Modellausgabetensoren von Trainingsjobs für maschinelles Lernen in Echtzeit und erkennen Sie nicht konvergierende Probleme mit Amazon Debugger. SageMaker

Funktionen von Amazon SageMaker Debugger

Bei einem Trainingsjob für Machine Learning (ML) können Probleme auftreten, wie z. B. eine Überanpassung, gesättigte Aktivierungsfunktionen und verschwindende Farbverläufe, die die Modellleistung beeinträchtigen können.

SageMaker Der Debugger bietet Tools zum Debuggen von Trainingsaufgaben und zum Beheben solcher Probleme, um die Leistung Ihres Modells zu verbessern. Der Debugger bietet auch Tools, mit denen Warnmeldungen gesendet werden können, wenn Trainingsanomalien festgestellt werden, Maßnahmen zur Behebung der Probleme ergriffen und die Hauptursache dafür identifiziert werden können, indem gesammelte Metriken und Tensoren visualisiert werden.

SageMaker Der Debugger unterstützt die Frameworks Apache MXNet, PyTorch TensorFlow, und. XGBoost Weitere Hinweise zu verfügbaren Frameworks und Versionen, die von SageMaker Debugger unterstützt werden, finden Sie unter. Unterstützte Frameworks und Algorithmen

Der High-Level-Debugger-Workflow sieht wie folgt aus:

1. Ändern Sie Ihr Trainingsskript bei Bedarf mit dem sagemaker-debugger Python-SDK.

2. Konfigurieren Sie einen SageMaker Trainingsjob mit SageMaker Debugger.

   • Konfigurieren Sie mit der SageMaker AI Estimator API (für Python SDK).

   • Konfigurieren Sie mithilfe der SageMaker CreateTrainingJobAI-Anfrage (für Boto3 oder CLI).

   • Konfigurieren Sie benutzerdefinierte Trainingscontainer mit SageMaker Debugger.

3. Starten Sie einen Trainingsjob und überwachen Sie Trainingsprobleme in Echtzeit.

   • Liste der integrierten Debuger-Regeln.

4. Erhalten Sie Benachrichtigungen und ergreifen Sie umgehend Maßnahmen gegen die Trainingsprobleme.

   • Empfangen Sie SMS und E-Mails und beenden Sie Trainingsjobs, wenn Trainingsprobleme festgestellt werdenVerwenden Sie die im Debugger integrierten Aktionen für Regeln.

   • Richten Sie Ihre eigenen Aktionen mit Amazon CloudWatch Events und ein AWS Lambda.

5. Erkunden Sie eine eingehende Analyse der Trainingsprobleme.

   • Informationen zum Debuggen von Modellausgabetensoren finden Sie unter Visualisieren Sie die Debugger-Ausgabetensoren in TensorBoard.

6. Beheben Sie die Probleme, berücksichtigen Sie die Vorschläge des Debuggers und wiederholen Sie die Schritte 1–5, bis Sie Ihr Modell optimiert und die Zielgenauigkeit erreicht haben.

Das SageMaker Debugger-Entwicklerhandbuch führt Sie durch die folgenden Themen.

Themen

• Unterstützte Frameworks und Algorithmen

• Amazon SageMaker Debugger-Architektur

• Anleitungen zum Debugger

• Debuggen von Trainingsjobs mit Amazon SageMaker Debugger

• Liste der integrierten Debuger-Regeln

• Erstellen benutzerdefinierter Regeln mithilfe der Debugger-Clientbibliothek

• Verwenden Sie Debugger mit benutzerdefinierten Trainingscontainern

• Debugger mithilfe SageMaker der API konfigurieren

• Amazon SageMaker Debugger-Referenzen