使用 Amazon CloudWatch 和 對規則執行的動作 AWS Lambda

Amazon CloudWatch 會收集 Amazon SageMaker AI 模型訓練任務日誌和 Amazon SageMaker Debugger 規則處理任務日誌。使用 Amazon CloudWatch Events 設定偵錯工具 AWS Lambda ，並根據偵錯工具規則評估狀態採取動作。

範例筆記本

您可以執行下列範例筆記本，這些筆記本已準備好使用 Amazon CloudWatch 和 在 Debugger 的內建規則上使用動作來實驗停止訓練任務 AWS Lambda。

• Amazon SageMaker Debugger - 對 CloudWatch 活動做出反應

  這個範例筆記本執行的訓練工作有梯度消失的問題。建構 SageMaker AI TensorFlow 估算器時，會使用 Debugger VanishingGradient 內建規則。Debugger 規則偵測到問題時，就會終止訓練工作。

• 使用 SageMaker Debugger 規則偵測停止的訓練並調用動作

  這個範例筆記本會執行具有程式碼行的訓練指令碼，強制它進入睡眠 10 分鐘。Debugger StalledTrainingRule 內建規則會調用問題並停止訓練工作。

主題

• 存取偵錯工具規則和訓練任務的 CloudWatch 日誌

• 使用 CloudWatch 和 Lambda 設定自動訓練任務終止的偵錯工具

• 停用 CloudWatch Events 規則以停止使用自動訓練任務終止