使用 Amazon 模型监视器监控数据和 SageMaker 模型质量 - Amazon SageMaker
工作方式

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon 模型监视器监控数据和 SageMaker 模型质量

Amazon SageMaker 模型监控器监控生产中亚马逊 SageMaker 机器学习模型的质量。使用模型监视器，您可以设置：

  • 使用实时端点进行持续监控。

  • 使用定期运行的批处理转换作业进行持续监控。

  • 按计划监控异步批处理转换作业。

借助 Model Monitor，您可以设置警报，以便在模型质量出现偏差时通知您。尽早主动发现这些偏差，可以让你采取纠正措施。您可以采取诸如重新训练模型、审计上游系统或修复质量问题之类的操作，而无需手动监控模型或构建其他工具。您可以使用不需要编码的 Model Monitor 预构建监控功能。您还可以通过编码来提供自定义分析，从而灵活地监控模型。

Model Monitor 提供以下类型的监控：

主题

Amazon SageMaker 模型监视器的工作原理

Amazon M SageMaker odel Monitor 会自动监控生产中的机器学习 (ML) 模型，并在出现质量问题时通知您。Model Monitor 使用规则来检测模型中的偏差，并在出现偏差时提醒您。下图显示了将模型部署到实时端点情况下此过程的工作原理。

使用 Amazon 模型监视器监控 SageMaker 模型的流程。

您还可以使用 Model Monitor 来监控批量转换作业，而不是实时端点。在这种情况下，Model Monitor 不会接收对端点的请求并跟踪预测，而是监控推理输入和输出。下图显示了监控批量转换作业的过程。

使用 Amazon 模型监视器监控 SageMaker 模型的流程。

要启用模型监控，请执行以下步骤。这些步骤通过各种数据收集、监控和分析过程遵循数据的路径。

  • 对于实时端点，支持该端点捕获从传入请求到已训练机器学习模型的数据以及由此产生的模型预测结果。

  • 对于批量转换作业，支持捕获批量转换输入和输出的数据。

  • 从用于训练模型的数据集创建基准。该基准会计算指标并建议指标的约束条件。将模型中的实时预测或批量预测与约束条件进行比较。如果它们超出约束值，则会被报告为违规。

  • 创建一个监控计划，该计划指定要收集的数据、数据收集频率、数据分析方式以及生成的报告。

  • 检查报告，这些报告将最新数据与基线进行比较。留意亚马逊举报的任何违规行为、指标和通知 CloudWatch。

注意

  • Model Monitor 仅计算表格数据的模型指标和统计数据。例如，仍然可以监控将图像作为输入并根据该图像输出标签的图像分类模型。Model Monitor 将能够计算输出（而不是输入）的指标和统计数据。

  • Model Monitor 目前仅支持托管单个模型的端点，不支持监控多模型端点。有关使用多模型终端节点的信息，请参阅在一个端点后的一个容器中托管多个模型。

  • 模型监视器支持监控推理管道。但是，捕获和分析数据是针对整个管道完成的，而不是针对管道中的单个容器进行的。

  • 为了防止对推理请求产生影响，数据捕获功能会在磁盘利用率较高时停止捕获请求。我们建议您将磁盘利用率保持在 75% 以下，以确保数据捕获能够继续捕获请求。

  • 如果您在自定义 Amazon 中启动 SageMaker StudioVPC，则必须创建VPC终端节点才能让 Model Monitor 与 Amazon S3 进行通信，以及 CloudWatch。有关VPC终端节点的信息，请参阅 Amazon Virtual Private Cloud 用户指南中的VPC终端节点。有关在自定义模式中启动 SageMaker Studio 的信息VPC，请参阅将 a 中的 Connect Studio 笔记本电脑VPC连接到外部资源。

模型监视器示例笔记本

有关使用模型监控器和实时终端节点完成 end-to-end 工作流程的示例笔记本，请参阅 Amazon SageMaker 模型监控器简介。

有关可视化监控计划中选定执行的 statistics.json 文件的示例笔记本，请参阅 Model Monitor 可视化。

有关如何创建和访问可用于在中运行示例的 Jupyter 笔记本实例的说明 SageMaker，请参阅。Amazon SageMaker 笔记本实例创建并打开笔记本实例后，选择 “SageMaker 示例” 选项卡以查看所有 SageMaker 示例的列表。要打开笔记本，请选择笔记本的使用选项卡，然后选择创建副本。