Implementa un modelo compilado con Boto3

Debe cumplir con la sección de requisitos previos si el modelo se compiló con AWS SDK for Python (Boto3) AWS CLI, o la SageMaker consola de Amazon. Siga los pasos que se indican a continuación para crear e implementar un modelo SageMaker compilado en NEO mediante el SDK de Amazon Web Services para Python (Boto3).

Implementar el modelo

Una vez que haya cumplido los requisitos previos, utilice las API create_model, create_enpoint_config y create_endpoint.

El siguiente ejemplo muestra cómo usar estas API para implementar un modelo compilado con Neo:

import boto3
client = boto3.client('sagemaker')

# create sagemaker model
create_model_api_response = client.create_model(
                                    ModelName='my-sagemaker-model',
                                    PrimaryContainer={
                                        'Image': <insert the ECR Image URI>,
                                        'ModelDataUrl': 's3://path/to/model/artifact/model.tar.gz',
                                        'Environment': {}
                                    },
                                    ExecutionRoleArn='ARN for AmazonSageMaker-ExecutionRole'
                            )

print ("create_model API response", create_model_api_response)

# create sagemaker endpoint config
create_endpoint_config_api_response = client.create_endpoint_config(
                                            EndpointConfigName='sagemaker-neomxnet-endpoint-configuration',
                                            ProductionVariants=[
                                                {
                                                    'VariantName': <provide your variant name>,
                                                    'ModelName': 'my-sagemaker-model',
                                                    'InitialInstanceCount': 1,
                                                    'InstanceType': <provide your instance type here>
                                                },
                                            ]
                                       )

print ("create_endpoint_config API response", create_endpoint_config_api_response)

# create sagemaker endpoint
create_endpoint_api_response = client.create_endpoint(
                                    EndpointName='provide your endpoint name',
                                    EndpointConfigName=<insert your endpoint config name>,
                                )

print ("create_endpoint API response", create_endpoint_api_response)            

nota

Las políticas AmazonSageMakerFullAccess y AmazonS3ReadOnlyAccess deben asociarse al rol de IAM AmazonSageMaker-ExecutionRole.

Para ver la sintaxis completa de las API create_model, create_endpoint_config y create_endpoint, consulte create_model, create_endpoint_config y create_endpoint, respectivamente.

Si no entrenó el modelo con ellas SageMaker, especifique las siguientes variables de entorno:

MXNet and PyTorch

"Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region",
    "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
}

TensorFlow

"Environment": {
    "SAGEMAKER_PROGRAM": "inference.py",
    "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
    "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
    "SAGEMAKER_REGION": "insert your region"
}

Si entrenó su modelo con SageMaker, especifique la variable de entorno SAGEMAKER_SUBMIT_DIRECTORY como el URI completo del bucket de Amazon S3 que contiene el script de entrenamiento.