在 Amazon SageMaker 中部署模型

訓練機器學習模型後，您可以使用 Amazon SageMaker 部署模型，視使用案例而定，以下列任何一種方式取得預測：

• 若為一次進行一項預測的持續性即時端點，請使用 SageMaker 即時託管服務。請參閱 即時推論。

• 流量突增之間有閒置期間且可容忍冷啟動的工作負載，應使用無伺服器推論。請參閱 無伺服器推論。

• 若為高達 1GB 大型承載大小、處理時間長且接近即時延遲要求的請求，請使用 Amazon SageMaker 非同步推論。請參閱 非同步推論。

• 使用 SageMaker 批次轉換，取得整個資料集的預測結果。請參閱 使用批次轉換。

SageMaker 還提供可在部署機器學習模型時管理資源和最佳化推論效能的功能：

• 若要管理邊緣裝置上的模型，以便在智慧型相機、機器人、個人電腦和行動裝置等邊緣裝置機群上最佳化、保護、監控和維護機器學習模型，請參閱 使 SageMaker 用邊緣管理員在邊緣部署模型。

• 若要最佳化 Gluon、Keras、MXNet、PyTorch、TensorFlow、TensorFlow-Lite 和 ONNX 模型，以便在以 Ambarella、ARM、Intel、Nvidia、NXP、Qualcomm、Texas Instruments 和 Xilinx 的處理器為基礎的 Android、Linux 和 Windows 機器上進行推論，請參閱 使用 Neo 最佳化模型效能。

如需所有部署選項的更多相關資訊，請參閱 部署用於推論的模型。