Aktionen zu Regeln mit Amazon CloudWatch und AWS Lambda

Amazon CloudWatch sammelt Trainingsauftragsprotokolle von SageMaker Amazon-Modellen und Auftragsprotokolle zur Verarbeitung von Amazon SageMaker Debugger-Regeln. Konfigurieren Sie den Debugger mit Amazon CloudWatch Events und AWS Lambda ergreifen Sie Maßnahmen auf der Grundlage des Evaluierungsstatus der Debugger-Regel.

Beispiel-Notebooks

Sie können die folgenden Beispiel-Notebooks ausführen, die darauf vorbereitet sind, mit dem Beenden eines Trainingsjobs zu experimentieren, indem Sie Aktionen für die integrierten Regeln von Debugger mithilfe von Amazon CloudWatch und verwenden. AWS Lambda

• Amazon SageMaker Debugger — Auf CloudWatch Ereignisse anhand von Regeln reagieren

  In diesem Beispiel-Notebook wird ein Trainingsjob ausgeführt, bei dem ein Problem mit verschwindendem Farbverlauf auftritt. Die VanishingGradient integrierte Debuger-Regel wird bei der Erstellung des Schätzers verwendet. SageMaker TensorFlow Wenn die Debugger-Regel das Problem erkennt, wird der Trainingsjob beendet.

• Erkennen Sie blockiertes Training und rufen Sie Aktionen mithilfe der Debugger-Regel auf SageMaker

  In diesem Beispiel-Notebook wird ein Trainingsskript mit einer Codezeile ausgeführt, die es zwingt, für 10 Minuten in den Ruhemodus zu wechseln. Die StalledTrainingRule integrierte Debuger-Regel löst Probleme aus und beendet den Trainingsjob.

Themen

• CloudWatch Zugriffsprotokolle für Debugger-Regeln und Trainingsjobs
• Richten Sie den Debugger für die automatische Beendigung von Trainingsjobs mithilfe von Lambda CloudWatch ein
• Deaktivieren Sie die Regel „ CloudWatch Ereignisse“, um die automatische Beendigung von Trainingsjobs nicht mehr zu verwenden