Modelli host insieme alla logica di pre-elaborazione come pipeline di inferenza seriale dietro un endpoint

Una pipeline di inferenza è un SageMaker modello Amazon composto da una sequenza lineare da due a quindici contenitori che elaborano le richieste di inferenze sui dati. Utilizzi una pipeline di inferenza per definire e distribuire qualsiasi combinazione di algoritmi SageMaker integrati preaddestrati e algoritmi personalizzati confezionati in contenitori Docker. Puoi utilizzare una pipeline di inferenza per combinare attività data science di pre-elaborazione, previsioni e post-elaborazione. Le pipeline di inferenza sono completamente gestite.

Puoi aggiungere contenitori SageMaker Spark ML Serving e scikit-learn che riutilizzano i trasformatori di dati sviluppati per i modelli di addestramento. L'intera pipeline di inferenza assemblata può essere considerata come un SageMaker modello da utilizzare per effettuare previsioni in tempo reale o per elaborare trasformazioni in batch direttamente senza alcuna preelaborazione esterna.

All'interno di un modello di pipeline di inferenza, SageMaker gestisce le chiamate come una sequenza di richieste HTTP. Il primo contenitore della pipeline gestisce la richiesta iniziale, quindi la risposta intermedia viene inviata come richiesta al secondo contenitore e così via, per ogni contenitore della pipeline. SageMaker restituisce la risposta finale al client.

Quando distribuisci il modello di pipeline, SageMaker installa ed esegue tutti i container su ogni istanza Amazon Elastic Compute Cloud (Amazon EC2) nell'endpoint o nel processo di trasformazione. Elaborazione delle caratteristiche e inferenze vengono eseguite con bassa latenza perché i container si trovano nelle stesse istanze EC2. Definisci i container per un modello di pipeline utilizzando l'operazione CreateModel o dalla console. Invece di impostarne unoPrimaryContainer, usi il Containers parametro per impostare i contenitori che compongono la pipeline. Specificate anche l'ordine in cui i contenitori vengono eseguiti.

Un modello di pipeline è non modificabile, ma puoi aggiornare una pipeline di inferenza distribuendone una nuova utilizzando l'operazione UpdateEndpoint. Questa modularità supporta una maggiore flessibilità durante la sperimentazione.

Per informazioni su come creare una pipeline di inferenza con il registro dei SageMaker modelli, vedere. Registrazione e implementazione di modelli con il Registro dei modelli

Questa caratteristica non comporta costi supplementari. Paghi solo per le istanze in esecuzione su un endpoint.

Argomenti

• Notebook di esempio per pipeline di inferenza
• Elaborazione delle caratteristiche con Spark ML e Scikit-learn
• Creazione di un modello di pipeline
• Esecuzione di previsioni in tempo reale con una pipeline di inferenza
• Esecuzione di trasformazioni in batch con pipeline di inferenza
• Log e parametri della pipeline di inferenza
• Risoluzione dei problemi delle pipeline di inferenza

Notebook di esempio per pipeline di inferenza

Per un esempio che mostra come creare e implementare pipeline di inferenza, consulta il notebook di esempio Inference Pipeline with SciKit-Learn and Linear Learner. Per istruzioni sulla creazione e l'accesso alle istanze del notebook Jupyter che è possibile utilizzare per eseguire l'esempio, vedere. SageMaker Istanze Amazon SageMaker Notebook

Per visualizzare un elenco di tutti gli SageMaker esempi, dopo aver creato e aperto un'istanza di notebook, scegli la scheda Esempi. SageMaker Esistono tre notebook sulle pipeline di inferenza. I primi due notebook sulle pipeline di inferenza appena descritti si trovano nella cartella advanced_functionality, mentre il terzo si trova nella cartella sagemaker-python-sdk. Per aprire un notebook, seleziona la relativa scheda Utilizza, quindi scegli Crea copia.