Distribuzione di un modello compilato utilizzando la console

È necessario soddisfare la sezione dei prerequisiti se il modello è stato compilato utilizzando AWS SDK for Python (Boto3) AWS CLI, la o la SageMaker console Amazon. Segui i passaggi seguenti per creare e distribuire un modello SageMaker compilato con NEO utilizzando la console https://console.aws.amazon.com/. SageMaker SageMaker

Implementazione del modello

Dopo aver soddisfatto i prerequisiti, utilizza i seguenti passaggi per distribuire un modello compilato con Neo:

1. Scegli Modelli, quindi seleziona Crea modelli dal gruppo Inferenza. Nella pagina Crea modello, completa i campi Nome modello, Ruolo IAM e, se necessario, VPC (facoltativo).

   

2. Per aggiungere informazioni sul container utilizzato per distribuire il modello, scegli Aggiungi container, quindi seleziona Successivo. Completa i campi Opzioni di input del container, Posizione dell'immagine del codice di inferenza e Posizione degli artefatti dei modelli e, opzionalmente, Nome host container e Variabili di ambiente.

   

3. Per distribuire modelli compilati da Neo, scegli le seguenti opzioni:

   • Opzioni di input del container: scegli Fornisci gli artefatti di modello e l'immagine di inferenza.

   • Posizione dell'immagine del codice di inferenza: scegli l'URI dell'immagine di inferenza da Neo Inference Container Images, a seconda della AWS regione e del tipo di applicazione.

   • Posizione degli artefatti dei modello: immetti l’URI del bucket Amazon S3 dell'artefatto del modello compilato generato dall'API di compilazione Neo.

   • Variabili di ambiente:

     • Lascia vuoto questo campo per XGBoost. SageMaker

     • Se hai addestrato il tuo modello utilizzando SageMaker, specifica la variabile di ambiente SAGEMAKER_SUBMIT_DIRECTORY come URI del bucket Amazon S3 che contiene lo script di addestramento.

     • Se non hai addestrato il modello utilizzando SageMaker, specifica le seguenti variabili di ambiente:

       Chiave	Valori per MXNet e PyTorch	Valori TensorFlow
       SAGEMAKER_PROGRAM	inference.py	inference.py
       SAGEMAKER_SUBMIT_DIRECTORY	/opt/ml/model/code	/opt/ml/model/code
       SAGEMAKER_CONTAINER_LOG_LEVEL	20	20
       SAGEMAKER_REGION	<la tua regione>	<la tua regione>
       MMS_DEFAULT_RESPONSE_TIMEOUT	500	Lasciare questo campo vuoto per TF

4. Verifica che le informazioni per i container siano accurate e quindi scegli Create model (Crea modello). Nella pagina di destinazione Crea modello, scegli Crea endpoint.

   

5. Nel diagramma Crea e configura l'endpoint, specifica il Nome endpoint. Per Collega configurazione endpoint, scegli Crea una nuova configurazione dell'endpoint.

   

6. Nella pagina Nuova configurazione endpoint, specifica il Nome configurazione endpoint.

   

7. Scegli Modifica accanto al nome del modello e specifica il Tipo di istanza corretto nella pagina Modifica variante di produzione. È fondamentale che il valore per Tipo di istanza corrisponda a quello specificato nel processo di compilazione.

   

8. Selezionare Salva.

9. Nella pagina Nuova configurazione endpoint, scegli Crea configurazione endpoint, quindi scegli Crea endpoint.