를 사용하여 컴파일된 모델을 배포하십시오. AWS CLI

AWS SDK for Python (Boto3) AWS CLI, 또는 Amazon SageMaker 콘솔을 사용하여 모델을 컴파일한 경우 사전 요구 사항 섹션을 충족해야 합니다. 아래 단계에 따라 를 사용하여 SageMaker NEO 컴파일 모델을 생성하고 배포하십시오. AWS CLI

모델 배포

사전 요구 사항을 충족한 후에는, 및 명령을 사용하십시오. create-model create-enpoint-config create-endpoint AWS CLI 다음 예시는 이러한 명령을 사용하여 Neo로 컴파일된 모델을 배포하는 방법을 보여줍니다.

모델 생성

Neo 추론 컨테이너 이미지에서 추론 이미지 URI를 선택한 다음 create-model API를 사용하여 모델을 생성합니다. SageMaker 두 단계를 이용해 할 수 있습니다.

1. create_model.json 파일을 생성합니다. 파일 내에서 모델 이름, 이미지 URI, Amazon S3 버킷의 model.tar.gz 파일 경로, SageMaker 실행 역할을 지정합니다.

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   를 사용하여 SageMaker 모델을 학습시킨 경우 다음 환경 변수를 지정하십시오.

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   를 사용하여 SageMaker 모델을 훈련하지 않은 경우 다음 환경 변수를 지정하십시오.

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   참고

   AmazonSageMakerFullAccess 및 AmazonS3ReadOnlyAccess 정책은 AmazonSageMaker-ExecutionRole IAM 역할에 연결되어야 합니다.

2. 다음 명령을 실행합니다:

   aws sagemaker create-model --cli-input-json file://create_model.json

   create-model API의 전체 구문은 create-model 단원을 참조하십시오.

엔드포인트 구성 생성

SageMaker 모델을 생성한 후 create-endpoint-config API를 사용하여 엔드포인트 구성을 생성합니다. 이렇게 하려면 엔드포인트 구성 사양이 포함된 JSON 파일을 생성하십시오. 예를 들어, 다음 코드 템플릿을 사용하여 이를 create_config.json으로 저장할 수 있습니다.

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

이제 다음 AWS CLI 명령을 실행하여 엔드포인트 구성을 생성합니다.

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

create-endpoint-config API의 전체 구문은 create-endpoint-config 단원을 참조하십시오.

엔드포인트 생성

엔드포인트 구성을 생성한 후 create-endpoint API를 사용하여 엔드포인트를 생성합니다.

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

create-endpoint API의 전체 구문은 create-endpoint 단원을 참조하십시오.