Amazon SageMaker Debugger

Debuggen, überwachen und profilieren Sie Schulungsaufträge in Echtzeit, erkennen Sie nicht konvergierende Bedingungen, optimieren Sie die Ressourcennutzung durch Beseitigung von Engpässen, verbessern Sie die Schulungszeit und senken Sie die Kosten Ihrer Machine Learning-Modelle mithilfe von Amazon SageMaker Debuggers.

Amazon SageMaker Debugger-Funktionen

Ein Trainingsjob für maschinelles Lernen (ML) kann Probleme wie Systemengpässe, Überanpassung, überfüllte Aktivierungsfunktionen und verschwindende Gradienten aufweisen, die die Modellleistung beeinträchtigen können.

SageMaker Debuggern Sie Profile und debuggen Sie Schulungsaufträge, um solche Probleme zu lösen und die Rechenressourcennutzung und Leistung Ihres ML-Modells zu verbessern. Debugger bietet Tools, um Warnungen zu senden, wenn Trainingsanomalien gefunden werden, Maßnahmen gegen die Probleme zu ergreifen und die Ursache dafür zu identifizieren, indem gesammelte Metriken und Tensoren visualisiert werden.

SageMaker Debugger unterstützt Apache MXNet, TensorFlow, PyTorchund XGBoost. Weitere Hinweise zu verfügbaren Frameworks und Versionen finden Sie unterUnterstützte Frameworks und -Algorithmenaus.

Der allgemeine Debugger-Workflow ist wie folgt:

1. Konfigurieren einer SageMaker Trainingsjob bei Debugger.

   • Konfigurieren von mit SageMaker EstimatorAPI (für Python-SDK)aus.

   • Konfigurieren von mit SageMaker CreateTrainingJobAnfrage (für Boto3 oder CLI)aus.

   • Konfigurationbenutzerdefinierte SchulungscontainerDebuggers.

2. Starten Sie einen Schulungsjob und überwachen Sie Schulungsprobleme in Echtzeit.

   • SageMaker Studio-Debugger-Dashboards in Studio Experimente und Testversionenaus.

   • Liste der integrierten Debugger-Regeln.

3. Erhalten Sie Benachrichtigungen und ergreifen Sie umgehend Maßnahmen gegen die Schulungsprobleme.

   • Erhalten Sie Texte und E-Mails und beenden Sie Schulungsjobs, wenn Schulungsprobleme mitIntegrierte Debugger-Aktionen für Regelnaus.

   • Richten Sie Ihre eigenen Aktionen mitAmazon CloudWatch Ereignisse undAWS Lambdaaus.

4. Erhalten Sie Schulungsberichte, Vorschläge zur Behebung der Probleme und Einblicke in Ihre Schulungsjobs.

   • Studio Debugger Insights Dashboard für Deep-Learning-Frameworks

   • Deep-Learning-Framework-Profil

   • SageMakerXGBoost-Trainingsbericht

5. Erkunden Sie eine gründliche Analyse der Schulungsprobleme und Engpässe.

   • Für Profiling-Jobs finden Sie unterAnalysieren Sie Daten mit der SmDeBug Client Libraryaus.

   • Informationen zum Debugging von Modellparametern finden Sie unterVisualisieren Sie Debugger-Output-Tensoren in TensorBoardaus.

6. Beheben Sie die Probleme unter Berücksichtigung der Vorschläge von Debugger und wiederholen Sie die Schritte 1—5, bis Sie Ihr Modell optimiert und die Zielgenauigkeit erreicht haben.

Die SageMaker Der Debugger-Entwicklerleitfaden führt Sie durch die folgenden Themen.

Themen

• Unterstützte Frameworks und -Algorithmen
• Amazon SageMaker Debugger-Architektur
• Erste Schritte mit Debugger-Tutorials
• Debugger mit Amazon konfigurierenSageMakerPython SDK
• Konfigurieren des Debuggers mit der Amazon SageMaker SageMaker-API
• Liste der integrierten Debugger-Regeln
• Erstellen benutzerdefinierter Debugger-Regeln für die Ausbildungsauftragsanalyse
• Verwenden Sie den Debugger mit benutzerdefinierten Schulungscontainern
• Aktion auf Amazon SageMaker Debugger-Regeln
• Amazon SageMaker-Debugger im Amazon SageMaker Studio
• Interaktive Berichte von SageMaker Debugger
• Analysieren Sie Daten mit der SmDeBug Client Library
• Visualisieren Sie Amazon SageMaker Debugger-Ausgabe-Tensoren in TensorBoard
• Bewährte Methoden für Amazon SageMaker SageMaker-Debugger
• Amazon SageMaker Debugger Erweiterte Themen und Referenzdokumentation