Amazon SageMaker AI 中的模型部署选项

在训练机器学习模型之后，您可以使用 Amazon SageMaker AI 对其进行部署，以便获得预测结果。根据您的使用案例，Amazon SageMaker AI 支持以下部署模型的方式：

• 对于一次进行一项预测的持久性实时端点，请使用 SageMaker AI 实时托管服务。请参阅实时推理。

• 在流量高峰之间存在空闲时间并可以容忍冷启动的工作负载将使用无服务器推理。请参阅使用 Amazon SageMaker 无服务器推理部署模型。

• 其负载大小高达 1GB、处理时间长以及接近实时延迟要求的请求使用 Amazon SageMaker 异步推理。请参阅异步推理。

• 要获取整个数据集的预测，请使用 SageMaker AI 批量转换。请参阅使用 Amazon A SageMaker I 进行批量转换以进行推理。

SageMaker AI 还提供了在部署机器学习模型时管理资源和优化推理性能的功能：

• 要管理边缘设备上的模型，以便在边缘设备队列上优化、保护、监控和维护机器学习模型，请参阅 使用 Edge Manager 在边 SageMaker 缘部署模型。这适用于智能相机、机器人、个人电脑和移动设备等边缘设备。

• 要优化 Gluon、Keras、MXNet、PyTorch、TensorFlow、TensorFlow-Lite 和 ONNX 模型，以便在基于 Ambarella、ARM、Intel、Nvidia、NXP、Qualcomm、Texas Instruments 和 Xilinx 处理器的 Android、Linux 和 Windows 计算机上进行推理，请参阅利用 SageMaker Neo 优化模型性能。

有关所有部署操作的更多信息，请参阅部署模型用于推理。