Implemente um modelo compilado usando o AWS CLI

Você deve atender à seção de pré-requisitos se o modelo tiver sido compilado usando AWS SDK for Python (Boto3) AWS CLI, ou o console da Amazon. SageMaker Siga as etapas abaixo para criar e implantar um modelo SageMaker compilado pelo NEO usando o. AWS CLI

Implante o modelo

Depois de satisfazer os pré-requisitos, use os comandos create-modelcreate-enpoint-config, e. create-endpoint AWS CLI O exemplo a seguir mostra como usar esses comandos para implantar um modelo compilado com o Neo:

Criar um modelo

Em Neo Inference Container Images, selecione o URI da imagem de inferência e use a create-model API para criar um SageMaker modelo. Você pode fazer isso em duas etapas:

1. Crie um arquivo create_model.json. No arquivo, especifique o nome do modelo, o URI da imagem, o caminho para o model.tar.gz arquivo em seu bucket do Amazon S3 e sua função de SageMaker execução:

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   Se você treinou seu modelo usando SageMaker, especifique a seguinte variável de ambiente:

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   Se você não treinou seu modelo usando SageMaker, especifique as seguintes variáveis de ambiente:

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   nota

   As políticas AmazonSageMakerFullAccess e AmazonS3ReadOnlyAccess devem ser anexadas à função IAM AmazonSageMaker-ExecutionRole.

2. Execute o seguinte comando:

   aws sagemaker create-model --cli-input-json file://create_model.json

   Para a sintaxe completa da API create-model, consulte create-model.

Criar uma configuração de endpoint

Depois de criar um SageMaker modelo, crie a configuração do endpoint usando a create-endpoint-config API. Para fazer isso, crie um arquivo JSON com as especificações de configuração do endpoint. Por exemplo, você pode usar o seguinte modelo de código e salvá-lo como create_config.json:

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Agora, execute o AWS CLI comando a seguir para criar sua configuração de endpoint:

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Para a sintaxe completa da API create-endpoint-config, consulte create-endpoint-config.

Criar um endpoint

Depois de criar sua configuração de endpoint, crie um endpoint usando a API create-endpoint:

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Para a sintaxe completa da API create-endpoint, consulte create-endpoint.