Déployez un modèle compilé à l'aide du AWS CLI

Vous devez satisfaire à la section des prérequis si le modèle a été compilé à l'aide de AWS SDK for Python (Boto3) AWS CLI, ou de la SageMaker console Amazon. Suivez les étapes ci-dessous pour créer et déployer un modèle SageMaker compilé au format NEO à l'aide du AWS CLI.

Déploiement du modèle

Une fois que vous avez satisfait aux conditions requises, utilisez les create-endpoint AWS CLI commandes create-modelcreate-enpoint-config, et. Les étapes suivantes expliquent comment utiliser ces commandes pour déployer un modèle compilé avec Neo :

Création d'un modèle

Dans Neo Inference Container Images, sélectionnez l'URI de l'image d'inférence, puis utilisez l'create-modelAPI pour créer un SageMaker modèle. Vous pouvez effectuer cette opération en deux étapes :

1. Créez un fichier create_model.json. Dans le fichier, spécifiez le nom du modèle, l'URI de l'image, le chemin d'accès au model.tar.gz fichier dans votre compartiment Amazon S3 et votre rôle SageMaker d'exécution :

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   Si vous avez entraîné votre modèle en utilisant SageMaker, spécifiez la variable d'environnement suivante :

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   Si vous n'avez pas entraîné votre modèle avec SageMaker, spécifiez les variables d'environnement suivantes :

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   Note

   Les politiques AmazonSageMakerFullAccess et AmazonS3ReadOnlyAccess doivent être attachées au rôle IAM AmazonSageMaker-ExecutionRole.

2. Exécutez la commande suivante :

   aws sagemaker create-model --cli-input-json file://create_model.json

   Pour obtenir la syntaxe complète de l'API create-model, consultez create-model.

Création d'une configuration de point de terminaison

Après avoir créé un SageMaker modèle, créez la configuration du point de terminaison à l'aide de l'create-endpoint-configAPI. Pour ce faire, créez un fichier JSON avec les spécifications de votre configuration de point de terminaison. Par exemple, vous pouvez utiliser le modèle de code suivant et l'enregistrer comme create_config.json :

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Exécutez maintenant la AWS CLI commande suivante pour créer la configuration de votre point de terminaison :

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Pour obtenir la syntaxe complète de l'API create-endpoint-config, consultez create-endpoint-config.

Création d'un point de terminaison

Après avoir créé votre configuration de point de terminaison, créez un point de terminaison à l'aide de l'API create-endpoint :

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Pour obtenir la syntaxe complète de l'API create-endpoint, consultez create-endpoint.