Fase 4. Per creare la pipeline

Dopo aver definito logicamente la pipeline, è ora di creare l'infrastruttura per supportare la pipeline. Questo passaggio richiede almeno le seguenti funzionalità:

• Storage, per ospitare e gestire input e output della pipeline, inclusi codice, artifact del modello e dati utilizzati nelle esecuzioni di formazione e inferenza.

• Calcolo (GPU o CPU), per la modellazione e l'inferenza, nonché la preelaborazione e la postelaborazione dei dati.

• Orchestrazione, per gestire le risorse utilizzate e per pianificare qualsiasi esecuzione regolare. Ad esempio, il modello potrebbe essere riaddestrato periodicamente man mano che i nuovi dati diventano disponibili.

• Registrazione e avvisi, per monitorare l'accuratezza del modello di pipeline, per l'utilizzo delle risorse e per la risoluzione dei problemi.

Implementazione conAWS CloudFormation

Per creare la pipelineAWS CloudFormation, che è unaAWSServizio per la distribuzione e la gestione di infrastrutture come codice. LaAWS CloudFormationi modelli includono la definizione Step Functions creata nel passaggio precedente con l'SDK Step Functions. Questo passaggio include la creazione dell'istanza di Step Functions gestita da AWS, denominataStep Functions a stati. In questa fase non vengono create risorse per la formazione e l'inferenza, perché i processi di formazione e inferenza vengono eseguiti su richiesta, solo quando sono necessari, come lavori di SageMaker. Questo passaggio include anche la creazioneAWS Identity and Access Management(IAM) ruoli per eseguire Step Functions, eseguire SageMaker e leggere e scrivere da Amazon S3.

Modifica dell'output dall'SDK Step Functions

Abbiamo dovuto apportare alcune piccole modifiche alAWS CloudFormationoutput della sezione precedente. Abbiamo usato una semplice corrispondenza di stringhe Python per fare quanto segue:

• Abbiamo aggiunto la logica per creare ilParametersSezione dellaAWS CloudFormationtemplate. Questo perché vogliamo creare due ruoli e definire il nome della pipeline come parametro insieme all'ambiente di distribuzione. Questo passaggio copre anche tutte le risorse e i ruoli aggiuntivi che potresti voler creare, come illustrato nel passaggio 6.

• Abbiamo riformattato tre campi per avere il necessario!Subprefisso e virgolette in modo che possano essere aggiornati dinamicamente come parte del processo di distribuzione:

  • LaStateMachineNameproprietà, che nomina la macchina a stati.

  • LaDefinitionStringproprietà, che definisce la macchina a stati.

  • LaRoleArnproprietà, che viene restituita dalla macchina statale.