Implementa modelli per l'inferenza

Con Amazon SageMaker, puoi iniziare a ottenere previsioni o inferenze dai tuoi modelli di machine learning addestrati. SageMaker offre un'ampia selezione di infrastrutture ML e opzioni di implementazione dei modelli per aiutarti a soddisfare tutte le tue esigenze di inferenza ML. Con SageMaker Inference, puoi scalare l'implementazione dei modelli, gestirli in modo più efficace in produzione e ridurre il carico operativo. SageMaker offre diverse opzioni di inferenza, come endpoint in tempo reale per ottenere inferenze a bassa latenza, endpoint serverless per un'infrastruttura completamente gestita e l'auto-scaling ed endpoint asincroni per batch di richieste. Sfruttando l'opzione di inferenza appropriata per il vostro caso d'uso, potete garantire un'implementazione e un'inferenza efficienti e basate su modelli.

Scelta di una funzionalità

Esistono diversi casi d'uso con SageMaker cui implementare modelli ML. Questa sezione descrive questi casi d'uso, nonché le SageMaker funzionalità consigliate per ogni caso d'uso.

Casi d'uso

Di seguito sono riportati i principali casi d'uso per la distribuzione di modelli ML con SageMaker.

• Caso d'uso 1: implementa un modello di machine learning in un ambiente low-code o senza codice. Per i principianti o per i neofiti SageMaker, puoi distribuire modelli preaddestrati SageMaker JumpStart utilizzando Amazon tramite l'interfaccia di Amazon SageMaker Studio, senza la necessità di configurazioni complesse.

• Caso d'uso 2: usa il codice per distribuire modelli di machine learning con maggiore flessibilità e controllo. I professionisti esperti di ML possono implementare i propri modelli con impostazioni personalizzate per le proprie esigenze applicative utilizzando la ModelBuilder classe in SageMaker PythonSDK, che fornisce un controllo granulare su varie impostazioni, come i tipi di istanze, l'isolamento della rete e l'allocazione delle risorse.

• Caso d'uso 3: implementazione di modelli di machine learning su larga scala. Per gli utenti e le organizzazioni avanzati che desiderano gestire modelli su larga scala in produzione, utilizza gli AWS SDK for Python (Boto3) strumenti Infrastructure as Code (IaC) e CI/CD desiderati per fornire risorse e automatizzare la gestione delle risorse. AWS CloudFormation

Funzionalità consigliate

La tabella seguente descrive le considerazioni chiave e i compromessi relativi alle funzionalità corrispondenti a ciascun caso d'uso SageMaker .

	Caso d'uso 1	Caso d'uso 2	Caso d'uso 3
SageMaker caratteristica	JumpStart Utilizzala in Studio per accelerare l'implementazione del modello di base.	Distribuisci modelli utilizzando ModelBuilder SageMaker Python SDK.	Implementa e gestisci modelli su larga scala con. AWS CloudFormation
Descrizione	Utilizza l'interfaccia utente di Studio per distribuire modelli preaddestrati da un catalogo a endpoint di inferenza preconfigurati. Questa opzione è ideale per i citizen data scientist o per chiunque desideri implementare un modello senza configurare impostazioni complesse.	Usa la ModelBuilder classe di Amazon SageMaker Python SDK per distribuire il tuo modello e configurare le impostazioni di distribuzione. Questa opzione è ideale per data scientist esperti o per chiunque abbia un proprio modello da implementare e richieda un controllo granulare.	Use AWS CloudFormation and Infrastructure as Code (IaC) per il controllo programmatico e l'automazione per l'implementazione e la gestione dei modelli. SageMaker Questa opzione è ideale per utenti avanzati che richiedono implementazioni coerenti e ripetibili.
Ottimizzato per	Implementazioni rapide e semplificate dei modelli open source più diffusi	Implementazione dei propri modelli	Gestione continua dei modelli in produzione
Considerazioni	Mancanza di personalizzazione per le impostazioni dei contenitori e le esigenze specifiche delle applicazioni	Nessuna interfaccia utente, richiede che tu sia a tuo agio nello sviluppo e nella manutenzione del codice Python	Richiede la gestione dell'infrastruttura e risorse organizzative e richiede anche familiarità con AWS SDK for Python (Boto3) o con AWS CloudFormation i modelli.
Ambiente consigliato	Un SageMaker dominio	Un ambiente di sviluppo Python configurato con AWS le tue credenziali e SageMaker Python SDK installato, o un SageMaker IDE SageMaker JupyterLab	Il AWS CLI, un ambiente di sviluppo locale e strumenti Infrastructure as Code (IaC) e CI/CD

Opzioni aggiuntive

SageMaker offre diverse opzioni per i casi d'uso dell'inferenza, consentendovi di scegliere in base all'ampiezza e alla profondità tecnica delle vostre implementazioni:

• Implementazione di un modello su un endpoint. Quando distribuisci il tuo modello, considera le seguenti opzioni:

  • Inferenza in tempo reale. L'inferenza in tempo reale è ideale per carichi di lavoro di inferenza in cui sono previsti requisiti interattivi e a bassa latenza.

  • Implementa modelli con Amazon SageMaker Serverless Inference. Usa Serverless Inference per distribuire modelli senza configurare o gestire alcuna infrastruttura sottostante. Questa opzione è ideale per i carichi di lavoro che presentano periodi di inattività tra le interruzioni di traffico e possono tollerare partenze a freddo.

  • Inferenza asincrona. mette in coda le richieste in arrivo e le elabora in modo asincrono. Questa opzione è ideale per richieste con payload di grandi dimensioni (fino a 1 GB), tempi di elaborazione lunghi (fino a un'ora di toAsynchronous inferenza) e requisiti di latenza quasi in tempo reale

• Ottimizzazione dei costi. Per ottimizzare i costi di inferenza, prendete in considerazione le seguenti opzioni:

  • Ottimizzazione delle prestazioni dei modelli con SageMaker Neo. Usa SageMaker Neo per ottimizzare ed eseguire i tuoi modelli di machine learning con prestazioni ed efficienza migliori, aiutandoti a ridurre al minimo i costi di elaborazione ottimizzando automaticamente i modelli per l'esecuzione in ambienti come i chip AWS Inferentia.

  • Ridimensionamento automatico dei modelli Amazon SageMaker . Utilizza la scalabilità automatica per regolare dinamicamente le risorse di calcolo per i tuoi endpoint in base ai modelli di traffico in entrata, il che ti aiuta a ottimizzare i costi pagando solo le risorse che utilizzi in un determinato momento.