Amazon A SageMaker I 中的模型部署选项

训练完机器学习模型后，您可以使用 Amazon A SageMaker I 对其进行部署以获得预测。根据您的用例， SageMaker Amazon AI 支持以下部署模型的方法：

• 对于一次只能进行一次预测的永久实时终端节点，请使用 SageMaker AI 实时托管服务。请参阅 实时推理。

• 在流量高峰之间存在空闲时间并可以容忍冷启动的工作负载将使用无服务器推理。请参阅 使用 Amazon SageMaker 无服务器推理部署模型。

• 负载大小高达 1GB、处理时间长、延迟要求接近实时的请求使用 Amazon SageMaker 异步推理。请参阅 异步推理。

• 要获得整个数据集的预测，请使用 SageMaker AI 批量转换。请参阅 使用 Amazon A SageMaker I 进行批量转换以进行推理。

SageMaker 在部署机器学习模型时，AI 还提供用于管理资源和优化推理性能的功能：

• 要管理边缘设备上的模型，以便在边缘设备队列上优化、保护、监控和维护机器学习模型，请参阅 使用 Edge Manager 在边 SageMaker 缘部署模型。这适用于智能相机、机器人、个人电脑和移动设备等边缘设备。

• 要优化 Gluon、Keras、 MXNet、、 PyTorch TensorFlow、 TensorFlow-Lite 和 ONNX 模型，以便在基于安霸、ARM、英特尔、英伟达、恩智浦、高通、德州仪器和赛灵思处理器的安卓、Linux和Windows计算机上进行推理，请参阅。使用 SageMaker Neo 优化模型性能

有关所有部署操作的更多信息，请参阅部署模型用于推理。