影子测试

借助 Amazon， SageMaker 您可以通过将模型服务基础设施的性能与当前部署的基础设施进行比较来评估模型服务基础设施的任何变化。这种做法称为影子测试。影子测试有助于您在潜在的配置错误和性能问题影响最终用户之前将其捕获。有了 SageMaker它，您无需投资构建影子测试基础架构，因此您可以专注于模型开发。

您可以使用这一功能来验证对生产变体的任何组件（即模型、容器或实例）所做的更改，而不会对最终用户造成任何影响。这种功能在包括但不限于以下情况下非常有用：

• 您正在考虑将已经过离线验证的新模型推广到生产环境，但希望在做出此决定之前评估延迟和错误率等运行性能指标。

• 您正在考虑对服务基础设施容器进行更改（例如修补漏洞或升级到新版本），并希望在推广到生产环境之前评测这些更改的影响。

• 您正在考虑更改 ML 实例，并希望评估新实例在处理实时推理请求时的性能。

该 SageMaker 控制台提供了管理影子测试工作流程的指导性体验。您可以设置预定义时间段的影子测试，通过实时控制面板监控测试进度，在测试完成后进行清理，并根据结果采取行动。选择要测试的生产变体，然后在影子模式下 SageMaker自动部署新变体，并在同一端点内将推理请求的副本实时路由到该变体。只有生产变体的响应才会返回到调用应用程序。您可以选择放弃影子变体的响应，或记录影子变体的响应以进行离线比较。有关生产变体和影子变体的更多信息，请参阅在生产中安全验证模型。请注意，如果您的端点使用了排除项页面中列出的任何功能，则不能使用影子测试。

有关创建影子测试的说明，请参阅创建影子测试。