Implementa un modello in Amazon SageMaker

Dopo aver addestrato il tuo modello di machine learning, puoi distribuirlo utilizzando Amazon SageMaker per ottenere previsioni. Amazon SageMaker supporta i seguenti modi per distribuire un modello, a seconda del caso d'uso:

• Per endpoint persistenti e in tempo reale che effettuano una previsione alla volta, utilizza servizi di hosting SageMaker in tempo reale. Per informazioni, consulta Inferenza in tempo reale.

• I carichi di lavoro che presentano periodi di inattività tra i picchi di traffico e possono tollerare partenze a freddo, utilizzano Serverless Inference. Per informazioni, consulta Implementa modelli con Amazon SageMaker Serverless Inference.

• Le richieste con payload di grandi dimensioni fino a 1 GB, lunghi tempi di elaborazione e requisiti di latenza quasi in tempo reale, utilizzano Amazon SageMaker Asynchronous Inference. Per informazioni, consulta Inferenza asincrona.

• Per ottenere previsioni per un intero set di dati, usa la trasformazione in batch. SageMaker Per informazioni, consulta Usa la trasformazione in batch per eseguire inferenze con Amazon SageMaker.

SageMaker fornisce inoltre funzionalità per gestire le risorse e ottimizzare le prestazioni di inferenza durante l'implementazione di modelli di apprendimento automatico:

• Per gestire i modelli sui dispositivi perimetrali in modo da ottimizzare, proteggere, monitorare e gestire i modelli di machine learning su flotte di dispositivi periferici, consulta. Implementa modelli all'edge con Edge Manager SageMaker Questo vale per i dispositivi periferici come fotocamere intelligenti, robot, personal computer e dispositivi mobili.

• Per ottimizzare i modelli Gluon, Keras, MXNet, PyTorch TensorFlow, TensorFlow -Lite e ONNX per l'inferenza su macchine Android, Linux e Windows basate su processori di Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments e Xilinx, vedi. Ottimizzazione delle prestazioni del modello con Neo

Per ulteriori informazioni su tutte le opzioni di implementazione, consulta Implementa modelli per l'inferenza.