在 Amazon 中部署模型 SageMaker

训练完机器学习模型后，您可以使用 Amazon 对其进行部署 SageMaker 以获得预测。根据您的用例，Amazon SageMaker 支持以下部署模型的方法：

• 对于一次只能进行一次预测的永久实时终端节点，请使用 SageMaker实时托管服务。请参阅 实时推理。

• 在流量峰值之间有空闲时间且可以容忍冷启动的工作负载使用无服务器推理。请参阅 使用 Amazon SageMaker 无服务器推理部署模型。

• 负载大小高达 1GB、处理时间长、延迟要求接近实时的请求使用 Amazon SageMaker 异步推理。请参阅 异步推理。

• 要获得整个数据集的预测，请使用 SageMaker 批量变换。请参阅 使用批量转换在 Amazon 上运行推理 SageMaker。

SageMaker 还提供了在部署机器学习模型时管理资源和优化推理性能的功能：

• 要管理边缘设备上的模型，以便您可以优化、保护、监控和维护边缘设备队列上的机器学习模型，请参阅使用边缘管理器在边 SageMaker 缘部署模型。这适用于智能相机、机器人、个人计算机和移动设备等边缘设备。

• 要优化 Gluon、Keras、MxNet、、 PyTorch TensorFlow、 TensorFlow-Lite 和 ONNX 模型，以便在基于安霸、ARM、英特尔、英伟达、恩智浦、高通、德州仪器和赛灵思处理器的安卓、Linux 和 Windows 计算机上进行推理，请参阅。使用 Neo 优化模型性能

有关所有部署操作的更多信息，请参阅部署模型用于推理。