使用 CloudWatch 和 Lambda 设置 Debugger 以自动终止训练作业 - Amazon SageMaker AI
第 1 步：创建 Lambda 函数步骤 2：配置 Lambda 函数步骤 3：创建 CloudWatch 事件规则并链接至 Debugger 的 Lambda 函数

使用 CloudWatch 和 Lambda 设置 Debugger 以自动终止训练作业

Debugger 规则监控训练作业状态，CloudWatch Events 规则监视 Debugger 规则训练作业评估状态。以下部分概述了使用 CloudWatch 和 Lambda 自动终止训练作业所需的流程。

第 1 步：创建 Lambda 函数

创建 Lambda 函数

  1. 通过 https://console.aws.amazon.com/lambda/ 打开 AWS Lambda 控制台。

  2. 在左侧导航窗格中，选择函数，然后选择创建函数。

  3. 在创建函数页面上，选择从头开始创作。

  4. 在基本信息部分中，输入函数名称（例如，debugger-rule-stop-training-job）。

  5. 对于运行时系统，选择 Python 3.7。

  6. 对于权限，展开下拉选项，然后选择更改默认执行角色。

  7. 对于执行角色，选择使用现有角色，然后选择用于 SageMaker AI 上训练作业的 IAM 角色。

    注意

    请确保您使用附加了 AmazonSageMakerFullAccess 和 AWSLambdaBasicExecutionRole 的执行角色。否则，Lambda 函数将无法正确响应训练作业的 Debugger 规则状态变化。如果您不确定正在使用哪个执行角色，请在 Jupyter 笔记本单元中运行以下代码来检索执行角色输出：

    import sagemaker
sagemaker.get_execution_role()

  8. 在页面底部，选择创建函数。

下图显示了创建函数页面的示例，其中已完成了输入字段和选择。

“创建函数”页面。

步骤 2：配置 Lambda 函数

配置 Lambda 函数

  1. 在配置页面的函数代码部分，将以下 Python 脚本粘贴到 Lambda 代码编辑器窗格中。lambda_handler 函数监控 CloudWatch 收集的 Debugger 规则评估状态并触发 StopTrainingJob API 操作。AWS SDK for Python (Boto3) client for SageMaker AI 提供了一种高级方法 stop_training_job，可以触发 StopTrainingJob API 操作。

    import json
import boto3
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    training_job_name = event.get("detail").get("TrainingJobName")
    logging.info(f'Evaluating Debugger rules for training job: {training_job_name}')
    eval_statuses = event.get("detail").get("DebugRuleEvaluationStatuses", None)

    if eval_statuses is None or len(eval_statuses) == 0:
        logging.info("Couldn't find any debug rule statuses, skipping...")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    # should only attempt stopping jobs with InProgress status
    training_job_status = event.get("detail").get("TrainingJobStatus", None)
    if training_job_status != 'InProgress':
        logging.debug(f"Current Training job status({training_job_status}) is not 'InProgress'. Exiting")
        return {
            'statusCode': 200,
            'body': json.dumps('Nothing to do')
        }

    client = boto3.client('sagemaker')

    for status in eval_statuses:
        logging.info(status.get("RuleEvaluationStatus") + ', RuleEvaluationStatus=' + str(status))
        if status.get("RuleEvaluationStatus") == "IssuesFound":
            secondary_status = event.get("detail").get("SecondaryStatus", None)
            logging.info(
                f'About to stop training job, since evaluation of rule configuration {status.get("RuleConfigurationName")} resulted in "IssuesFound". ' +
                f'\ntraining job "{training_job_name}" status is "{training_job_status}", secondary status is "{secondary_status}"' +
                f'\nAttempting to stop training job "{training_job_name}"'
            )
            try:
                client.stop_training_job(
                    TrainingJobName=training_job_name
                )
            except Exception as e:
                logging.error(
                    "Encountered error while trying to "
                    "stop training job {}: {}".format(
                        training_job_name, str(e)
                    )
                )
                raise e
    return None

    有关 Lambda 代码编辑器接口的更多信息，请参阅使用 AWS Lambda 控制台编辑器创建函数。

  2. 跳过所有其他设置，然后在配置页面顶部选择保存。

步骤 3：创建 CloudWatch 事件规则并链接至 Debugger 的 Lambda 函数

创建 CloudWatch Events 规则并链接到 Debugger 的 Lambda 函数

  1. 通过 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在左侧导航窗格中，选择事件节点下的规则。

  3. 选择创建规则。

  4. 在步骤 1：创建规则页面的事件源部分，为服务名称选择 SageMaker AI，然后为事件类型选择 SageMaker AI 训练作业状态更改。事件模式预览应该类似于以下示例 JSON 字符串：

    {
    "source": [
        "aws.sagemaker"
    ],
    "detail-type": [
        "SageMaker Training Job State Change"
    ]
}

  5. 在目标部分中，选择添加目标*，然后选择您创建的 debugger-rule-stop-training-job Lambda 函数。此步骤将 CloudWatch Events 规则与 Lambda 函数相链接。

  6. 选择配置详细信息，然后转到步骤 2：配置规则详细信息页面。

  7. 指定 CloudWatch 规则定义名称。例如，debugger-cw-event-rule。

  8. 选择创建规则以完成操作。

  9. 返回 Lambda 函数配置页面并刷新页面。在设计器面板中确认已正确配置函数。应将 CloudWatch Events 规则注册为 Lambda 函数的触发器。配置设计应类似于以下示例。

    CloudWatch 配置的设计器面板。