を使用してコンパイル済みモデルをデプロイする AWS CLI

モデルが AWS SDK for Python (Boto3)、、または Amazon SageMaker コンソールを使用してコンパイルされている場合は AWS CLI、前提条件セクションを満たす必要があります。以下のステップに従って、 を使用して SageMaker Neo コンパイル済みモデルを作成し、デプロイしますAWS CLI。

モデルをデプロイする

前提条件 を満たしたら、create-model、、create-enpoint-configおよび create-endpoint AWS CLI コマンドを使用します。次のステップでは、これらのコマンドを使って Neo コンパイル済みモデルをデプロイする方法を説明します。

モデルを作成する

Neo 推論コンテナイメージ から、推論イメージ URI を選択し、create-modelAPI を使用して SageMaker モデルを作成します。これは 2 つのステップで行えます。

1. create_model.json ファイルを作成します。ファイル内で、モデルの名前、イメージ URI、Amazon S3 バケット内のmodel.tar.gzファイルへのパス、実行 SageMakerロールを指定します。

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   を使用してモデルをトレーニングした場合は SageMaker、次の環境変数を指定します。

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   を使用してモデルをトレーニングしていない場合は SageMaker、次の環境変数を指定します。

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   注記

   AmazonSageMaker-ExecutionRole IAM ロールに AmazonSageMakerFullAccess ポリシーと AmazonS3ReadOnlyAccess ポリシーをアタッチする必要があります。

2. 次のコマンドを実行します。

   aws sagemaker create-model --cli-input-json file://create_model.json

   create-model API の完全な構文については、「create-model」を参照してください。

エンドポイント設定を作成する

SageMaker モデルを作成したら、 create-endpoint-config API を使用してエンドポイント設定を作成します。これを行うには、エンドポイント設定の仕様を使って JSON ファイルを作成します。例として次のコードテンプレートを使い、create_config.json と名付けて保存します。

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

次に、次の AWS CLI コマンドを実行してエンドポイント設定を作成します。

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

create-endpoint-config API の完全な構文については、「create-endpoint-config」を参照してください。

エンドポイントの作成

エンドポイント設定を作成したら、create-endpoint API を使ってエンドポイントを作成します。:

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

create-endpoint API の完全な構文については、「create-endpoint」を参照してください。