Implementare un modello

Per distribuire un modello SageMaker compilato da Amazon NEO su un endpoint HTTPS, devi configurare e creare l'endpoint per il modello utilizzando i servizi di hosting Amazon. SageMaker Attualmente, gli sviluppatori possono utilizzare le SageMaker API di Amazon per distribuire moduli su istanze ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 e ml.inf1.

Per le istanze Inferentia e Trainium, i modelli devono essere compilati in modo specifico per tali istanze. Il funzionamento di modelli compilati per altri tipi di istanze non è garantito con le istanze Inferentia o Trainium.

Per gli acceleratori di inferenza elastica, i modelli devono essere compilati specificamente per i dispositivi ml_eia2. Per informazioni su come distribuire il modello compilato con l’acceleratore di inferenza elastica, vedi Usa EI su Amazon SageMaker Hosted Endpoint.

Quando si distribuisce un modello compilato, è necessario utilizzare per la destinazione la stessa istanza utilizzata per la compilazione. Questo crea un endpoint che SageMaker puoi usare per eseguire inferenze. Puoi distribuire un modello NEO-compilato utilizzando uno dei seguenti strumenti: Amazon SDK per Python, SageMaker SDK for Python(Boto3) e la console. AWS Command Line InterfaceSageMaker

Nota

Per distribuire un modello utilizzando la console o Boto3 AWS CLI, consulta Neo Inference Container Images per selezionare l'URI dell'immagine di inferenza per il contenitore principale.

Argomenti

• Prerequisiti
• Distribuisci un modello compilato utilizzando SDK SageMaker
• Distribuzione di un modello compilato utilizzando Boto3
• Implementa un modello compilato utilizzando il AWS CLI
• Distribuzione di un modello compilato utilizzando la console