モデルのデプロイ

Amazon SageMaker Neo でコンパイルされたモデルを HTTPS エンドポイントにデプロイするには、Amazon SageMaker ホスティングサービスを使用してモデルのエンドポイントを設定および作成する必要があります。現在、デベロッパーは Amazon SageMaker APIs を使用して、モジュールを ml.c5、ml.c4、ml.m5、ml.m4、ml.p3、ml.p2、ml.inf1 インスタンスにデプロイできます。

Inferentia インスタンスと Trainium インスタンスの場合、モデルはそれらのインスタンス専用にコンパイルする必要があります。他のインスタンスタイプ用にコンパイルされたモデルは、Inferentia インスタンスまたは Trainium インスタンスでの動作は保証されません。

Elastic Inference アクセラレーターの場合、モデルは ml_eia2 デバイス向けにコンパイルする必要があります。コンパイル済みモデルを Elastic Inference アクセラレーターにデプロイする方法については、「Amazon SageMaker ホストエンドポイントで EI を使用する」を参照してください。

コンパイル済みモデルをデプロイするときは、コンパイルに使用したものと同じインスタンスをターゲットに使用する必要があります。これにより、推論の実行に使用できる SageMaker エンドポイントが作成されます。Neo コンパイル済みモデルは、Amazon SageMaker SDK for Python 、SDK for Python (Boto3)、AWS Command Line Interface、およびSageMakerコンソール のいずれかを使用してデプロイできます。

注記

AWS CLI、コンソール、または Boto3 を使用してモデルをデプロイするには、「Neo 推論コンテナイメージ」を参照して、プライマリコンテナの推論イメージ URI を選択します。

トピック

• 前提条件
• SageMaker SDK を使用してコンパイル済みモデルをデプロイする
• Boto3 を使ってコンパイル済みモデルをデプロイする
• を使用してコンパイル済みモデルをデプロイする AWS CLI
• コンソールを使ってコンパイル済みモデルをデプロイする