Bereitstellen eines kompilierten Modells mithilfe der AWS CLI

Sie müssen den Abschnitt Voraussetzungen erfüllen, wenn das Modell mit AWS SDK for Python (Boto3), AWS CLI oder der Amazon- SageMaker Konsole kompiliert wurde. Führen Sie die folgenden Schritte aus, um ein SageMaker Neo-kompiliertes Modell mit der zu erstellen und bereitzustellenAWS CLI.

Stellen Sie das Modell bereit

Nachdem Sie die Voraussetzungen erfüllt haben, verwenden Sie die create-endpoint AWS CLI Befehle create-enpoint-config, und create-model. In den folgenden Schritten wird erläutert, wie Sie mit diesen Befehlen ein mit Neo kompiliertes Modell bereitstellen:

Erstellen eines Modells

Wählen Sie unter Neo Inference Container Images den Inferenzbild-URI aus und verwenden Sie dann die create-model API, um ein SageMaker Modell zu erstellen. Es gibt zwei Schritte dafür:

1. Erstellen Sie eine create_model.json-Datei. Geben Sie in der Datei den Namen des Modells, den Image-URI, den Pfad zur model.tar.gz Datei in Ihrem Amazon S3-Bucket und Ihre SageMaker Ausführungsrolle an:

   {
       "ModelName": "insert model name",
       "PrimaryContainer": {
           "Image": "insert the ECR Image URI",
           "ModelDataUrl": "insert S3 archive URL",
           "Environment": {"See details below"}
       },
       "ExecutionRoleArn": "ARN for AmazonSageMaker-ExecutionRole"
   }

   Wenn Sie Ihr Modell mit trainiert haben SageMaker, geben Sie die folgende Umgebungsvariable an:

   "Environment": {
       "SAGEMAKER_SUBMIT_DIRECTORY" : "[Full S3 path for *.tar.gz file containing the training script]"
   }

   Wenn Sie Ihr Modell nicht mit trainiert haben SageMaker, geben Sie die folgenden Umgebungsvariablen an:

   MXNet and PyTorch

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region",
       "MMS_DEFAULT_RESPONSE_TIMEOUT": "500"
   }

   TensorFlow

   "Environment": {
       "SAGEMAKER_PROGRAM": "inference.py",
       "SAGEMAKER_SUBMIT_DIRECTORY": "/opt/ml/model/code",
       "SAGEMAKER_CONTAINER_LOG_LEVEL": "20",
       "SAGEMAKER_REGION": "insert your region"
   }

   Anmerkung

   Die Richtlinien AmazonSageMakerFullAccess und AmazonS3ReadOnlyAccess müssen der AmazonSageMaker-ExecutionRole IAM-Rolle zugeordnet werden.

2. Führen Sie den folgenden Befehl aus:

   aws sagemaker create-model --cli-input-json file://create_model.json

   Die vollständige Syntax der create-model-API finden Sie unter create-model.

Erstellen einer Endpunktkonfiguration

Nachdem Sie ein SageMaker Modell erstellt haben, erstellen Sie die Endpunktkonfiguration mithilfe der create-endpoint-config API. Erstellen Sie dazu eine JSON-Datei mit Ihren Endpunktkonfigurationsspezifikationen. Sie können beispielsweise die folgende Codevorlage verwenden und sie als create_config.json speichern:

{
    "EndpointConfigName": "<provide your endpoint config name>",
    "ProductionVariants": [
        {
            "VariantName": "<provide your variant name>",
            "ModelName": "my-sagemaker-model",
            "InitialInstanceCount": 1,
            "InstanceType": "<provide your instance type here>",
            "InitialVariantWeight": 1.0
        }
    ]
}

Führen Sie nun den folgenden AWS CLI Befehl aus, um Ihre Endpunktkonfiguration zu erstellen:

aws sagemaker create-endpoint-config --cli-input-json file://create_config.json

Die vollständige Syntax der create-endpoint-config-API finden Sie unter create-endpoint-config.

Erstellen eines Endpunkts

Nachdem Sie Ihre Endpunktkonfiguration erstellt haben, erstellen Sie mithilfe der create-endpoint API einen Endpunkt:

aws sagemaker create-endpoint --endpoint-name '<provide your endpoint name>' --endpoint-config-name '<insert your endpoint config name>'

Die vollständige Syntax der create-endpoint-API finden Sie unter create-endpoint.