部署模型

若要將 Amazon SageMaker 新編譯的模型部署到 HTTPS 端點，您必須使用 Amazon SageMaker 託管服務為該模型設定和建立端點。目前，開發人員可以使用 Amazon SageMaker API 將模組部署到 ml.c5、ml.c4、ml.m5、m.m4、ml.p3、ml.p2 和 ml.inf1 執行個體。

如果是 Inferentia 和 Trainium 執行個體，則需要特別針對那些執行個體編譯模型。針對其他執行個體類型編譯的模型，不保證適用於 Inferentia 或 Trainium 執行個體。

若為 Elastic Inference 加速器，需要專門針對 ml_eia2 裝置編譯模型。如需如何將編譯後的模型部署至 Elastic Inference 加速器的資訊，請參閱 在 Amazon SageMaker 託管端點上使用 EI。

當您部署已編譯的模型時，目標使用的執行個體需要和編譯使用的執行個體相同。這會建立可用來執行推論的 SageMaker 端點。您可以使用下列任何一種方式部署新編譯的模型：適用於 Python 的 Amazon SageMaker 開發套件、Python 開發套件 (Boto3) 和主控台AWS Command Line Interface。SageMaker

注意

有關使用 AWS CLI控制台或 Boto3 部署模型，請參閱新推論容器映像以選擇主容器的推論映像 URI。

主題

• 必要條件
• 使用 SageMaker SDK 部署編譯的模型
• 使用 Boto3 部署編譯的模型
• 使用部署編譯的模型 AWS CLI
• 使用主控台部署編譯的模型