Amazon SageMaker 推理推荐器

Amazon SageMaker 推理推荐器是亚马逊的一项功能。 SageMaker它通过自动执行跨机器学习实例的负载测试和模型调整，缩短了将机器学习 ( SageMakerML) 模型投入生产所需的时间。您可以使用 Inference Recommender 将模型部署到以最低成本提供最佳性能的实时推理端点。推理推荐器可帮助您为机器学习模型和工作负载选择最佳的实例类型和配置。它考虑了实例数、容器参数、模型优化、最大并发性和内存大小等因素。

Amazon SageMaker Inference Reverence Recommerder 仅向您收取任务执行期间使用的实例费用。

工作方式

要使用 Amazon SageMaker Inference Recommerder，您可以创建 SageMaker 模型，也可以使用模型工件将 SageMaker 模型注册到模型注册表中。使用 AWS SDK for Python (Boto3) 或 SageMaker 控制台为不同的 SageMaker 端点配置运行基准测试作业。Inference Recommender 作业有助于您收集和可视化性能和资源利用率方面的指标，以便您决定选择哪种端点类型和配置。

如何开始

如果您是首次使用 Amazon SageMaker Inference Recommerder 的用户，我们建议您执行以下操作：

1. 通读先决条件 本节，确保您满足使用 Amazon SageMaker Inference Recommerder 的要求。

2. 阅读推荐作业部分，启动您的第一个 Inference Recommender 推荐作业。

3. 探索 Amazon SageMaker Inference Recommerder Jupyter 笔记本入门示例，或者查看下一节中的示例笔记本。

示例笔记本

以下示例 Jupyter 笔记本有助于您完成 Inference Recommender 中多个使用案例的工作流：

• 如果你想要一款对 TensorFlow 模型进行基准测试的入门笔记本，请参阅 SageMaker Inference Recommerder 笔记 TensorFlow本。

• 如果要对 HuggingFace 模型进行基准测试，请参阅笔记本SageMaker 推理推荐器。 HuggingFace

• 如果你想对XGBoost模型进行基准测试，请参阅 SageMaker Inference Recommerder 笔记XGBoost本。

• 如果您想查看推理推荐器作业的 CloudWatch 指标，请参阅推理推荐器指标SageMaker 笔记本。 CloudWatch