使用 Amazon 对规则执行操作 CloudWatch 以及 AWS Lambda

亚马逊 CloudWatch 收集亚马逊 SageMaker 模型训练作业日志和 Amazon SageMaker Debugger 规则处理任务日志。使用 Amazon Ev CloudWatch ents 配置调试器 AWS Lambda ，并根据调试器规则评估状态采取行动。

示例笔记本

您可以运行以下示例笔记本，这些笔记本已准备就绪，可以使用 Ama CloudWatch zon 和，使用调试器内置规则上的操作来尝试停止训练作业。 AWS Lambda

• Amazon SageMaker 调试器-对来自规则 CloudWatch 的事件做出反应

  此示例笔记本运行的训练作业存在梯度消失问题。构造 SageMaker TensorFlow 估算器时使用调试器VanishingGradient内置规则。当 Debugger 规则检测到问题时，训练作业即告终止。

• 使用调试器规则检测停滞的训练并 SageMaker 调用操作

  此示例笔记本运行一个训练脚本，有一行代码会强制脚本休眠 10 分钟。Debugger StalledTrainingRule 内置规则调用问题并停止训练作业。

主题

• 调试器规则和训练作业的访问 CloudWatch 日志
• 使用 CloudWatch 和 Lambda 设置调试器以自动终止训练作业
• 禁用 CloudWatch 事件规则以停止使用自动终止训练作业