本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon 中的模型部署選項 SageMaker
訓練機器學習模型後,您可以使用 Amazon 部署模型 SageMaker 以取得預測。Amazon SageMaker 支援下列方式部署模型,視您的使用案例而定:
-
對於一次進行一個預測的持久性即時端點,請使用 SageMaker即時託管服務。請參閱 即時推論。
-
工作負載在流量暴增之間具有閒置期間,並且可以容忍冷啟動,請使用無伺服器推論。請參閱 使用 Amazon SageMaker 無伺服器推論部署模型。
-
承載大小高達 1GB 的請求、處理時間長,以及近乎即時的延遲要求,請使用 Amazon SageMaker 非同步推論。請參閱 非同步推論。
-
若要取得整個資料集的預測,請使用 SageMaker 批次轉換。請參閱 使用 Amazon 進行推論的批次轉換 SageMaker。
SageMaker 部署機器學習模型時, 也提供管理資源和最佳化推論效能的功能:
-
若要管理邊緣裝置上的模型,以便在邊緣裝置上最佳化、保護、監控和維護機器學習模型,請參閱 使用 SageMaker Edge Manager 在邊緣建立模型部署。這適用於邊緣裝置,例如智慧攝影機、機器人、個人電腦和行動裝置。
-
若要根據 Ambarella、、Intel、ARMNvidia、、NXPQualcomm、Texas Instruments 和 Xilinx 的處理器,在 Android、Linux 和 Windows 機器上最佳化 Gluon、Keras、、、MXNet PyTorch TensorFlow TensorFlowLite 和ONNX模型以進行推論,請參閱 使用 SageMaker Neo 進行模型效能最佳化。
如需所有部署選項的更多相關資訊,請參閱部署用於推論的模型。