Menerapkan Model Kompilasi Menggunakan AWS CLI

Anda harus memenuhi bagian prasyarat jika model dikompilasi menggunakan AWS SDK for Python (Boto3),, AWS CLI atau konsol Amazon. SageMaker Ikuti langkah-langkah di bawah ini untuk membuat dan menerapkan model yang SageMaker dikompilasi NEO menggunakan. AWS CLI

Menyebarkan Model

Setelah Anda memenuhi prasyarat, gunakan,, dan perintahcreate-model. create-enpoint-config create-endpoint AWS CLI Langkah-langkah berikut menjelaskan cara menggunakan perintah ini untuk menyebarkan model yang dikompilasi dengan Neo:

Buat Model

Dari Neo Inference Container Images, pilih URI gambar inferensi dan kemudian gunakan create-model API untuk membuat SageMaker model. Anda dapat melakukan ini dengan dua langkah:

1. Buat create_model.json file. Di dalam file, tentukan nama model, URI gambar, jalur ke model.tar.gz file di bucket Amazon S3, dan peran SageMaker eksekusi Anda:

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   Jika Anda melatih model Anda menggunakan SageMaker, tentukan variabel lingkungan berikut:

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   Jika Anda tidak melatih model Anda menggunakan SageMaker, tentukan variabel lingkungan berikut:

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   catatan

   AmazonS3ReadOnlyAccessKebijakan AmazonSageMakerFullAccess dan kebijakan harus dilampirkan pada peran AmazonSageMaker-ExecutionRole IAM.

2. Jalankan perintah berikut:

   aws sagemaker create-model --cli-input-json file://create_model.json

   Untuk sintaks lengkap create-model API, lihat create-model.

Buat Konfigurasi Endpoint

Setelah membuat SageMaker model, buat konfigurasi titik akhir menggunakan create-endpoint-config API. Untuk melakukan ini, buat file JSON dengan spesifikasi konfigurasi titik akhir Anda. Misalnya, Anda dapat menggunakan template kode berikut dan menyimpannya sebagaicreate_config.json:

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Sekarang jalankan AWS CLI perintah berikut untuk membuat konfigurasi endpoint Anda:

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Untuk sintaks lengkap create-endpoint-config API, lihat create-endpoint-config.

Buat Endpoint

Setelah Anda membuat konfigurasi titik akhir, buat titik akhir menggunakan API: create-endpoint

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Untuk sintaks lengkap create-endpoint API, lihat create-endpoint.