Orchestra una pipeline ETL con convalida, trasformazione e partizionamento utilizzando AWS Step Functions

Creato da Sandip Gangapadhyay (AWS)

Riepilogo

Questo modello descrive come creare una pipeline di estrazione, trasformazione e caricamento (ETL) senza server per convalidare, trasformare, comprimere e partizionare un set di dati CSV di grandi dimensioni per l'ottimizzazione delle prestazioni e dei costi. La pipeline è orchestrata da AWS Step Functions e include funzionalità di gestione degli errori, tentativi automatici e notifica agli utenti.

Quando un file CSV viene caricato in una cartella sorgente del bucket Amazon Simple Storage Service (Amazon S3), la pipeline ETL inizia a funzionare. La pipeline convalida il contenuto e lo schema del file CSV di origine, trasforma il file CSV in un formato Apache Parquet compresso, partiziona il set di dati per anno, mese e giorno e lo archivia in una cartella separata per l'elaborazione degli strumenti di analisi.

Il codice che automatizza questo pattern è disponibile su GitHub, nel repository ETL Pipeline with AWS Step Functions.

Prerequisiti e limitazioni

Prerequisiti

• Un account AWS attivo.

• AWS Command Line Interface (AWS CLI) installata e configurata con il tuo account AWS, in modo da poter creare risorse AWS distribuendo uno CloudFormation stack AWS. È consigliata la versione 2 dell'interfaccia a riga di comando di AWS. Per istruzioni di installazione, consulta Installazione, aggiornamento e disinstallazione della versione 2 dell'interfaccia a riga di comando di AWS nella documentazione dell'interfaccia a riga di comando di AWS. Per le istruzioni di configurazione dell'interfaccia a riga di comando di AWS, consulta Configurazione e impostazioni dei file di credenziali nella documentazione dell'interfaccia a riga di comando di AWS.

• Un bucket Amazon S3.

• Un set di dati CSV con lo schema corretto. (L'archivio di codice incluso in questo modello fornisce un file CSV di esempio con lo schema e il tipo di dati corretti che è possibile utilizzare.)

• Un browser Web supportato per l'uso con la Console di gestione AWS. (Consulta l'elenco dei browser supportati).

• Accesso alla console AWS Glue.

• Accesso alla console AWS Step Functions.

Limitazioni

• In AWS Step Functions, il limite massimo per la conservazione dei log cronologici è di 90 giorni. Per ulteriori informazioni, consulta Quotas e Quotas for standard workflows nella documentazione di AWS Step Functions.

Versioni del prodotto

• Python 3.11 per AWS Lambda

• AWS Glue versione 2.0

Architettura

Il flusso di lavoro illustrato nel diagramma è costituito da questi passaggi di alto livello:

1. L'utente carica un file CSV nella cartella di origine in Amazon S3.

2. Un evento di notifica Amazon S3 avvia una funzione AWS Lambda che avvia la macchina a stati Step Functions.

3. La funzione Lambda convalida lo schema e il tipo di dati del file CSV non elaborato.

4. A seconda dei risultati della convalida:

   1. Se la convalida del file sorgente ha esito positivo, il file viene spostato nella cartella dello stage per un'ulteriore elaborazione.

   2. Se la convalida fallisce, il file viene spostato nella cartella degli errori e viene inviata una notifica di errore tramite Amazon Simple Notification Service (Amazon SNS).

5. Un crawler AWS Glue crea lo schema del file raw dalla cartella stage in Amazon S3.

6. Un job AWS Glue trasforma, comprime e partiziona il file raw in formato Parquet.

7. Il job AWS Glue sposta inoltre il file nella cartella di trasformazione in Amazon S3.

8. Il crawler AWS Glue crea lo schema dal file trasformato. Lo schema risultante può essere utilizzato da qualsiasi processo di analisi. Puoi anche utilizzare Amazon Athena per eseguire query ad hoc.

9. Se la pipeline viene completata senza errori, il file dello schema viene spostato nella cartella di archivio. Se vengono rilevati errori, il file viene invece spostato nella cartella degli errori.

10. Amazon SNS invia una notifica che indica l'esito positivo o negativo in base allo stato di completamento della pipeline.

Tutte le risorse AWS utilizzate in questo modello sono serverless. Non ci sono server da gestire.

Strumenti

Servizi AWS

• AWS Glue — AWS Glue è un servizio ETL completamente gestito che semplifica la preparazione e il caricamento dei dati per l'analisi da parte dei clienti.

• AWS Step Functions — AWS Step Functions è un servizio di orchestrazione serverless che consente di combinare funzioni AWS Lambda e altri servizi AWS per creare applicazioni aziendali critiche. Attraverso la console grafica AWS Step Functions, puoi vedere il flusso di lavoro della tua applicazione come una serie di passaggi guidati dagli eventi.

• Amazon S3 — Amazon Simple Storage Service (Amazon S3) è un servizio di storage di oggetti che offre scalabilità, disponibilità dei dati, sicurezza e prestazioni leader del settore.

• Amazon SNS — Amazon Simple Notification Service (Amazon SNS) è un servizio di messaggistica pub/sub ad alta disponibilità, durevole, sicuro e completamente gestito che consente di disaccoppiare microservizi, sistemi distribuiti e applicazioni serverless.

• AWS Lambda: AWS Lambda è un servizio di elaborazione che consente di eseguire codice senza effettuare il provisioning o la gestione di server. AWS Lambda esegue il codice solo quando è necessario e si dimensiona automaticamente, da poche richieste al giorno a migliaia al secondo.

Codice

Il codice per questo pattern è disponibile su GitHub, nel repository ETL Pipeline with AWS Step Functions. Il repository di codice contiene i seguenti file e cartelle:

• template.yml— CloudFormation Modello AWS per la creazione della pipeline ETL con AWS Step Functions.

• parameter.json— Contiene tutti i parametri e i valori dei parametri. Aggiorna questo file per modificare i valori dei parametri, come descritto nella sezione Epics.

• myLayer/pythonfolder — Contiene i pacchetti Python necessari per creare il layer AWS Lambda richiesto per questo progetto.

• lambdafolder — Contiene le seguenti funzioni Lambda:

  • move_file.py— Sposta il set di dati di origine nella cartella di archiviazione, trasformazione o errore.

  • check_crawler.py— Controlla lo stato del crawler AWS Glue tante volte quante configurato dalla variabile di RETRYLIMIT  ambiente prima di inviare un messaggio di errore.

  • start_crawler.py— Avvia il crawler AWS Glue.

  • start_step_function.py— Avvia AWS Step Functions.

  • start_codebuild.py— Avvia il CodeBuild progetto AWS.

  • validation.py— Convalida il set di dati grezzi in ingresso.

  • s3object.py— Crea la struttura di directory richiesta all'interno del bucket S3.

  • notification.py— Invia notifiche di successo o di errore alla fine della pipeline.

Per utilizzare il codice di esempio, segui le istruzioni nella sezione Epics.

Epiche

Prepara i file sorgente

Attività	Descrizione	Competenze richieste
Clona il repository di codice di esempio.	Apri il repository ETL Pipeline with AWS Step Functions. Scegli Code nella pagina principale del repository, sopra l'elenco dei file, e copia l'URL elencato in Clona con HTTPS. Cambia la tua directory di lavoro nella posizione in cui desideri archiviare i file di esempio. In un terminale o nel prompt dei comandi, digitate il comando: git clone <repoURL> dove <repoURL> si riferisce all'URL copiato nel passaggio 2.	Developer
Aggiorna i valori dei parametri.	Nella copia locale del repository, modificate il parameter.json file e aggiornate i valori dei parametri predefiniti come segue: pS3BucketName─ Il nome del bucket S3 per l'archiviazione dei set di dati. Il modello creerà questo bucket per te. Il nome bucket deve essere univoco a livello globale. pSourceFolder─ Il nome della cartella all'interno del bucket S3 che verrà utilizzata per caricare il file CSV di origine. pStageFolder─ Il nome della cartella all'interno del bucket S3 che verrà utilizzata come area di gestione temporanea durante il processo. pTransformFolder─ Il nome della cartella all'interno del bucket S3 che verrà utilizzata per archiviare i set di dati trasformati e partizionati. pErrorFolder─ La cartella all'interno del bucket S3 in cui verrà spostato il file CSV di origine se non può essere convalidato. pArchiveFolder ─ Il nome della cartella all'interno del bucket S3 che verrà utilizzata per archiviare il file CSV di origine. pEmailforNotification─ Un indirizzo email valido per ricevere notifiche di successo/errore. pPrefix─ Una stringa di prefisso che verrà utilizzata nel nome del crawler AWS Glue. pDatasetSchema─ Lo schema del set di dati rispetto al quale verrà convalidato il file sorgente. Il pacchetto Cerberus Python viene utilizzato per la convalida del set di dati sorgente. Per ulteriori informazioni, consulta il sito Web di Cerberus.	Developer
Carica il codice sorgente nel bucket S3.	Prima di distribuire il CloudFormation modello che automatizza la pipeline ETL, devi impacchettare i file sorgente per il CloudFormation modello e caricarli in un bucket S3. A tale scopo, esegui il seguente comando AWS CLI con il tuo profilo preconfigurato: aws cloudformation package --template-file template.yml --s3-bucket <bucket_name> --output-template-file packaged.template --profile <profile_name> dove: <bucket_name>è il nome di un bucket S3 esistente nella regione AWS in cui desideri distribuire lo stack. Questo bucket viene utilizzato per archiviare il pacchetto di codice sorgente per il modello. CloudFormation <profile_name>è un profilo AWS CLI valido che hai preconfigurato durante la configurazione di AWS CLI.	Developer

Creazione dello stack

Attività	Descrizione	Competenze richieste
Implementa il CloudFormation modello.	Per distribuire il CloudFormation modello, esegui il seguente comando AWS CLI: aws cloudformation deploy --stack-name <stack_name> --template-file packaged.template --parameter-overrides file://parameter.json --capabilities CAPABILITY_IAM --profile <profile_name> dove: <stack_name>è un identificatore univoco per lo stack. CloudFormation <profile-name>è il tuo profilo AWS CLI preconfigurato.	Developer
Verifica lo stato di avanzamento.	Sulla CloudFormation console AWS, controlla lo stato di avanzamento dello sviluppo dello stack. Quando lo stato èCREATE_COMPLETE, lo stack è stato distribuito correttamente.	Developer
Nota il nome del database AWS Glue.	La scheda Outputs per lo stack mostra il nome del database AWS Glue. Il nome chiave è. GlueDBOutput	Developer

Prova la pipeline

Attività	Descrizione	Competenze richieste
Avvia la pipeline ETL.	Vai alla cartella di origine (sourceo al nome della cartella che hai impostato nel parameter.json file) all'interno del bucket S3. Carica un file CSV di esempio in questa cartella. (L'archivio del codice fornisce un file di esempio chiamato Sample_Bank_Transaction_Raw_Dataset.csv che puoi usare.) Il caricamento del file avvierà la pipeline ETL tramite Step Functions. Nella console Step Functions, controlla lo stato della pipeline ETL.	Developer
Controlla il set di dati partizionato.	Al termine della pipeline ETL, verifica che il set di dati partizionato sia disponibile nella cartella di trasformazione di Amazon S3 (o nel nome della cartella che hai transform impostato nel file). parameter.json	Developer
Verifica la presenza del database AWS Glue partizionato.	Nella console AWS Glue, seleziona il database AWS Glue creato dallo stack (questo è il database che hai annotato nell'epopea precedente). Verifica che la tabella partizionata sia disponibile nel catalogo dati di AWS Glue.	Developer
Esegui interrogazioni.	(Facoltativo) Usa Amazon Athena per eseguire query ad hoc sul database partizionato e trasformato. Per istruzioni, consulta Esecuzione di query SQL con Amazon Athena nella documentazione AWS.	Analista di database

Risoluzione dei problemi

Problema	Soluzione
Autorizzazioni AWS Identity and Access Management (IAM) per il job e il crawler AWS Glue	Se personalizzi ulteriormente il job AWS Glue o il crawler, assicurati di concedere le autorizzazioni IAM appropriate nel ruolo IAM utilizzato dal job AWS Glue o di fornire le autorizzazioni per i dati ad AWS Lake Formation. Per ulteriori informazioni, consulta la documentazione di AWS.

Risorse correlate

Documentazione del servizio AWS

• AWS Step Functions

• AWS Glue

• AWS Lambda

• Amazon S3

• Amazon SNS

Informazioni aggiuntive

Il diagramma seguente mostra il flusso di lavoro di AWS Step Functions per una pipeline ETL di successo, dal pannello Step Functions Inspector.

Il diagramma seguente mostra il flusso di lavoro di AWS Step Functions per una pipeline ETL che fallisce a causa di un errore di convalida dell'input, dal pannello Step Functions Inspector.