Panoramica delle pipeline

Una pipeline Amazon SageMaker AI è una serie di passaggi interconnessi in grafo aciclico diretto (DAG) definiti utilizzando l'interfaccia utente o l' drag-and-dropSDK Pipelines. Puoi anche creare la tua pipeline utilizzando lo schema JSON di definizione della pipeline. Questa definizione DAG JSON fornisce informazioni sui requisiti e sulle relazioni tra ogni fase della pipeline. La struttura del DAG di una pipeline è determinata dalle dipendenze dei dati tra le varie fasi. Queste dipendenze tra i dati vengono create quando le proprietà dell'output di una fase vengono trasmesse come input a un'altra fase. L'immagine seguente è un esempio di DAG di pipeline:

L'esempio DAG include i seguenti passaggi:

1. AbaloneProcess, un'istanza della fase Processing, esegue uno script di preelaborazione sui dati utilizzati per l'addestramento. Ad esempio, lo script può inserire i valori mancanti, normalizzare i dati numerici o suddividere i dati nei set di dati di addestramento, convalida e test.

2. AbaloneTrain, un'istanza della fase di addestramento, configura gli iperparametri e addestra un modello a partire dai dati di input preelaborati.

3. AbaloneEval, un'altra istanza della fase Processing, valuta la precisione del modello. Questo passaggio mostra un esempio di dipendenza dai dati: questo passaggio utilizza l'output del set di dati di test di. AbaloneProcess

4. AbaloneMSECondè un'istanza di una fase Condition che, in questo esempio, verifica che il mean-square-error risultato della valutazione del modello sia inferiore a un determinato limite. Se il modello non soddisfa i criteri, l'esecuzione della pipeline si interrompe.

5. L'esecuzione della pipeline procede con i seguenti passaggi:

   1. AbaloneRegisterModel, dove l' SageMaker intelligenza artificiale richiede una RegisterModelfase per registrare il modello come gruppo di pacchetti di modelli con versioni nell'Amazon SageMaker Model Registry.

   2. AbaloneCreateModel, dove l' SageMaker intelligenza artificiale prevede una CreateModelfase per creare il modello in preparazione della trasformazione in batch. NelAbaloneTransform, l' SageMaker intelligenza artificiale richiama una fase di trasformazione per generare previsioni del modello su un set di dati specificato dall'utente.

I seguenti argomenti descrivono i concetti fondamentali di Pipelines. Per un tutorial che descrive l'implementazione di questi concetti, consulta Azioni relative alle pipeline.

Argomenti

• Struttura ed esecuzione della pipeline

• Gestione degli accessi IAM

• Configura il supporto per più account per Pipelines

• Parametri della pipeline

• Fasi di Pipeline

• Lift-and-shift Codice Python con il decoratore @step

• Passa i dati tra i passaggi

• Memorizzazione nella cache delle fasi della pipeline

• Policy di ripetizione per la fasi della pipeline

• Esecuzione selettiva di fasi della pipeline

• Calcolo di base, rilevamento della deriva e ciclo di vita con e ClarifyCheck fasi QualityCheck in Amazon Pipelines SageMaker

• Pianifica le esecuzioni della pipeline

• Integrazione con Amazon SageMaker Experiments

• Esegui le pipeline utilizzando la modalità locale

• Risoluzione dei problemi di Amazon SageMaker Pipelines