在亚马逊部署模型 SageMaker

训练机器学习模型后，您可以使用 Amazon 进行部署 SageMaker 根据您的用例，通过以下任何方式获得预测：

• 对于一次只能进行一次预测的持续实时端点，请使用 SageMaker实时托管服务。请参阅 实时推断。

• 在两次流量激增之间有空闲时间并且可以容忍冷启动的工作负载使用无服务器推理。请参阅 无服务器推理。

• 具有大负载大小（高达 1GB）、处理时间长且延迟要求接近实时的请求，请使用 Amazon SageMaker 异步推理。请参阅 异步推理器。

• 要获得整个数据集的预测，请使用 SageMaker 批量转换。请参阅 使用批量转换。

SageMaker 还提供部署机器学习模型时管理资源和优化推理性能的功能：

• 要管理边缘设备上的模型，以便在智能相机、机器人、个人计算机和移动设备等边缘设备队列上优化、保护、监控和维护机器学习模型，请参阅使用 Edge 管理器在边SageMaker缘部署模型.

• 为了优化 Gluon、Keras、MXNet PyTorch, TensorFlow, TensorFlow-Lite 和 ONNX 型号，用于在 Android、Linux 和 Windows 机器上进行推理，基于 Ambarella、ARM、英特尔、英伟达、恩智浦、高通、德州仪器和赛灵思的处理器，请参阅使用 Neo 优化模型性能.

有关所有部署选项的详细信息，请参阅部署模型进行推理.