Fase 4. Crea la pipeline

Dopo aver definito la pipeline in modo logico, è il momento di creare l'infrastruttura di supporto della pipeline. Questo passaggio richiede almeno le seguenti funzionalità:

• Storage, per ospitare e gestire gli input e gli output della pipeline, inclusi codice, artefatti del modello e dati utilizzati nelle esecuzioni di addestramento e inferenza.

• Elaborazione (GPU o CPU), per la modellazione e l'inferenza, nonché per la preelaborazione e la post-elaborazione dei dati.

• Orchestrazione, per gestire le risorse utilizzate e pianificare eventuali esecuzioni regolari. Ad esempio, il modello potrebbe essere riqualificato periodicamente non appena diventano disponibili nuovi dati.

• Registrazione e invio di avvisi, per monitorare l'accuratezza del modello di pipeline, per l'utilizzo delle risorse e per la risoluzione dei problemi.

Implementazione con AWS CloudFormation

Per creare la pipeline che abbiamo utilizzato AWS CloudFormation, che è un AWS servizio per l'implementazione e la gestione dell'infrastruttura come codice. I AWS CloudFormation modelli includono la definizione Step Functions creata nel passaggio precedente con Step Functions SDK. Questo passaggio include la creazione dell'istanza Step Functions gestita da AWS, chiamata macchina a stati Step Functions. In questa fase non viene creata alcuna risorsa per la formazione e l'inferenza, poiché i lavori di formazione e inferenza vengono eseguiti su richiesta, solo quando sono necessari, come lavori di intelligenza artificiale. SageMaker Questo passaggio include anche la creazione di ruoli AWS Identity and Access Management (IAM) per eseguire Step Functions, eseguire l' SageMaker intelligenza artificiale e leggere e scrivere da Amazon S3.

Modifica dell'output da Step Functions SDK

Abbiamo dovuto apportare alcune piccole modifiche all' AWS CloudFormation output della sezione precedente. Abbiamo usato una semplice corrispondenza di stringhe in Python per fare quanto segue:

• Abbiamo aggiunto la logica per creare la Parameters sezione del AWS CloudFormation modello. Questo perché vogliamo creare due ruoli e definire il nome della pipeline come parametro insieme all'ambiente di distribuzione. Questo passaggio copre anche eventuali risorse e ruoli aggiuntivi che potresti voler creare, come illustrato nel passaggio 6.

• Abbiamo riformattato tre campi in modo che abbiano il !Sub prefisso e le virgolette richiesti in modo che possano essere aggiornati dinamicamente come parte del processo di distribuzione:

  • La StateMachineName proprietà, che dà il nome alla macchina a stati.

  • La DefinitionString proprietà, che definisce la macchina a stati.

  • La RoleArn proprietà, che viene restituita dalla macchina a stati.