Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Implementa un modello compilato utilizzando il AWS CLI
È necessario soddisfare la sezione dei prerequisiti se il modello è stato compilato utilizzando AWS SDK for Python (Boto3) o la SageMaker console Amazon. AWS CLI Segui i passaggi seguenti per creare e distribuire un modello SageMaker compilato con NEO utilizzando. AWS CLI
Argomenti
Implementazione del modello
Dopo aver soddisfatto i prerequisiti, utilizzate i create-model
comandi, and. create-enpoint-config
create-endpoint
AWS CLI
Nella procedura seguente viene illustrato come utilizzare questi comandi per distribuire un modello compilato con Neo:
Creazione di un modello
Da Neo Inference Container Images, selezionate l'URI dell'immagine di inferenza e quindi utilizzate l'create-model
API per creare un modello. SageMaker Al fine, sono previsti due passaggi:
-
Creare un file
create_model.json
. All'interno del file, specifica il nome del modello, l'URI dell'immagine, il percorso delmodel.tar.gz
file nel bucket Amazon S3 e il SageMaker ruolo di esecuzione:{ "ModelName":
"insert model name"
, "PrimaryContainer": { "Image":"insert the ECR Image URI"
, "ModelDataUrl":"insert S3 archive URL"
, "Environment": {"See details below"
} }, "ExecutionRoleArn":"ARN for AmazonSageMaker-ExecutionRole"
}Se hai addestrato il modello utilizzando SageMaker, specifica la seguente variabile di ambiente:
"Environment": { "SAGEMAKER_SUBMIT_DIRECTORY" :
"[Full S3 path for *.tar.gz file containing the training script]"
}Se non hai addestrato il tuo modello utilizzando SageMaker, specifica le seguenti variabili di ambiente:
Nota
Le policy
AmazonSageMakerFullAccess
eAmazonS3ReadOnlyAccess
devono essere associate al ruolo IAM diAmazonSageMaker-ExecutionRole
. -
Esegui il comando seguente:
aws sagemaker create-model --cli-input-json file://create_model.json
Per la sintassi completa dell'API
create-model
, vedicreate-model
.
Creare una configurazione endpoint
Dopo aver creato un SageMaker modello, crea la configurazione dell'endpoint utilizzando l'create-endpoint-config
API. A tale scopo, crea un file JSON con le specifiche di configurazione endpoint. Ad esempio, puoi utilizzare il seguente modello di codice e salvarlo come create_config.json
:
{ "EndpointConfigName":
"<provide your endpoint config name>"
, "ProductionVariants": [ { "VariantName":"<provide your variant name>"
, "ModelName": "my-sagemaker-model", "InitialInstanceCount": 1, "InstanceType":"<provide your instance type here>"
, "InitialVariantWeight": 1.0 } ] }
Ora esegui il seguente AWS CLI comando per creare la configurazione dell'endpoint:
aws sagemaker create-endpoint-config --cli-input-json file://create_config.json
Per la sintassi completa dell'API create-endpoint-config
, vedi create-endpoint-config
.
Creare un endpoint
Dopo aver creato la configurazione endpoint, crea un endpoint utilizzando l'API create-endpoint
:
aws sagemaker create-endpoint --endpoint-name
'<provide your endpoint name>'
--endpoint-config-name'<insert your endpoint config name>'
Per la sintassi completa dell'API create-endpoint
, vedi create-endpoint
.