Creazione e costruzione manuale di un flusso di lavoro in AWS Glue

Puoi utilizzare la console AWS Glue per creare e costruire manualmente un flusso di lavoro, un nodo alla volta.

Un flusso di lavoro contiene processi, crawler e trigger. Prima di creare un flusso di lavoro manualmente, è necessario creare i processi e i crawler che devono essere inclusi nel flusso di lavoro. Per i flussi di lavoro è consigliabile specificare dei crawler di tipo run-on demand. È possibile creare nuovi trigger durante la creazione del flusso di lavoro oppure è possibile clonare i trigger già esistenti nel flusso di lavoro. Quando si clona un trigger, tutti gli oggetti catalogo associati al trigger, ovvero i processi o i crawler che lo attivano e i processi o crawler che avvia, vengono aggiunti al flusso di lavoro.

Importante

Limita il numero totale di processi, crawler e attivazioni all'interno di un flusso di lavoro a 100 o meno. Se includi più di 100, potresti riscontrare errori durante il tentativo di riprendere o interrompere l'esecuzione del flusso di lavoro.

È possibile creare il proprio flusso di lavoro aggiungendo trigger al diagramma del flusso di lavoro e definendo gli eventi osservati e le operazioni di ogni trigger. Si inizia con un trigger di attivazione, che può essere un trigger on demand o pianificato, e si completa il diagramma aggiungendo trigger basati su evento (condizionali).

Fase 1: creazione del flusso di lavoro

1. Accedi alla AWS Management Console, quindi apri la console AWS Glue all'indirizzo https://console.aws.amazon.com/glue/.

2. Nel pannello di navigazione, in ETL, scegliere Workflows (Flussi di lavoro).

3. Scegliere Add workflow (Aggiungi flusso di lavoro) e completare il modulo Add a new ETL workflow (Aggiungi un nuovo flusso di lavoro ETL).

   Qualsiasi proprietà opzionale di default per l'esecuzione aggiuntiva viene resa disponibile come argomento a tutti i processi del flusso di lavoro. Per ulteriori informazioni, consulta Recupero e impostazione delle proprietà di esecuzione del flusso di lavoro in AWS Glue.

4. Scegliere Add workflow (Aggiungi flusso di lavoro).

   Il nuovo flusso di lavoro verrà visualizzato nell'elenco sulla pagina Workflows (Flussi di lavoro).

Fase 2: aggiunta di un trigger di attivazione

1. Nella pagina Workflows (Flussi di lavoro), selezionare il nuovo flusso di lavoro. Quindi, nella parte inferiore della pagina, assicurarsi che grafico sia selezionato.

2. Scegliere Add trigger (Aggiungi trigger) e nella finestra di dialogo Add trigger (Aggiungi trigger), procedere in uno dei seguenti modi:

   • Scegliere Clone existing (Clona esistente) e scegliere un trigger da clonare. Quindi scegliere Add (Aggiungi).

     Il trigger viene visualizzato sul diagramma, insieme ai processi e ai crawler che lo attivano e i processi o i crawler che lancia.

     Se è stato selezionato inavvertitamente il trigger sbagliato, selezionare il trigger nel diagramma e quindi scegliere Remove (Rimuovi).

   • Scegliere Add new (Aggiungi nuovo) e completare il modulo Add trigger (Aggiungi trigger).

     1. Per Trigger type (Tipo di trigger), selezionare Schedule (Pianificazione), On demand oppure EventBridge.

        Per il tipo di trigger Schedule (Pianificazione), scegliere una delle opzioni di Frequency (Frequenza). Scegliere Custom (Personalizza) per immettere un'espressione cron.

        Per il tipo di trigger EventBridge immettere il Number of events (Numero di eventi) (dimensione batch) e, facoltativamente, immettere Time delay (Ritardo) (finestra batch). Omettendo Time delay (Ritardo), la finestra batch viene impostata per impostazione predefinita su 15 minuti. Per ulteriori informazioni, consulta Panoramica di flussi di lavoro in AWS Glue.

     2. Scegli Add (Aggiungi).

     Il trigger viene visualizzato sul diagramma, insieme a un nodo segnaposto nodo (etichettato Add node (Aggiungi nodo)). Nell'esempio seguente, il trigger di avvio è un trigger di pianificazione denominato Month-close1.

     A questo punto, il trigger non è ancora salvato.

     

3. Se è stato aggiunto un nuovo trigger, completare i seguenti passaggi:

   1. Completa una delle seguenti operazioni:

      • Scegliere il nodo segnaposto (Add node (Aggiungi nodo)).

      • Verificare che il trigger di avvio sia selezionato e, dal menu Operazione sopra al diagramma, scegliere Add jobs/crawlers to trigger (Aggiungi processi/crawler al trigger).

   2. Nella finestra di dialogo Add jobs(s) and crawler(s) to trigger (Aggiungi processo/i e crawler al trigger) selezionare uno o più processi o crawler e quindi scegliere Add (Aggiungi).

      Il trigger viene salvato e i processi o crawler selezionati vengono visualizzati sul diagramma con connettori che hanno origine dal trigger.

      Se sono stati aggiunti inavvertitamente processi o crawler sbagliati, è possibile selezionare il trigger o un connettore e scegliere Remove (Rimuovi).

Fase 3: aggiunta di più trigger

Continuare a creare il flusso di lavoro aggiungendo ulteriori trigger di tipo Event (Evento). Per incrementare o ridurre il livello di dettaglio o per ingrandire l'area di disegno del diagramma, utilizzare le icone a destra. Per ogni trigger da aggiungere, completare i seguenti passaggi:

Nota

Non viene eseguita alcuna azione per salvare il flusso di lavoro. Dopo aver aggiunto l'ultimo trigger e assegnato azioni al trigger, il flusso di lavoro è completato e salvato. È sempre possibile tornare successivamente e aggiungere altri nodi.

1. Completa una delle seguenti operazioni:

   • Per clonare un trigger esistente, accertarsi che non sia selezionato nessun nodo del diagramma e, nel menu Action (Operazione), scegliere Add trigger (Aggiungi trigger).

   • Per aggiungere un nuovo trigger che monitori un determinato processo o crawler del diagramma, selezionare il nodo del processo o del crawler e quindi scegliere il nodo segnaposto Add trigger (Aggiungi trigger).

     È possibile aggiungere ulteriori processi o crawler da far monitorare a questo trigger in un secondo momento.

2. Nella finestra di dialogo Add Folder (Aggiungi cartella), effettuare una delle operazioni indicate di seguito:

   • Scegliere Add new (Aggiungi nuovo) e completare il modulo Add trigger (Aggiungi trigger). Quindi scegliere Add (Aggiungi).

     Il trigger viene visualizzato sul diagramma. È possibile completare il trigger in un secondo momento.

   • Scegliere Clone existing (Clona esistente) e scegliere un trigger da clonare. Quindi scegliere Add (Aggiungi).

     Il trigger viene visualizzato sul diagramma, insieme ai processi e ai crawler che lo attivano e i processi o i crawler che lancia.

     Se è stato selezionato inavvertitamente il trigger sbagliato, selezionare il trigger nel diagramma e quindi scegliere Remove (Rimuovi).

3. Se è stato aggiunto un nuovo trigger, completare i seguenti passaggi:

   1. Selezionare il nuovo trigger.

      Come mostra il seguente diagramma, il trigger De-dupe/fix succeeded è selezionato e i nodi segnaposto appaiono per (1) eventi da monitorare e (2) operazioni.

      

   2. (Facoltativo se il trigger monitora già un evento e si desidera aggiungere ulteriori processi o crawler da monitorare) Scegliere il nodo segnaposto degli eventi da monitorare e, nella finestra di dialogo Add job(s) and crawler(s) to watch (Aggiungi processo/i e crawler da monitorare), selezionare uno o più processi o crawler. Scegli un evento da monitorare (SUCCEEDED, FAILED, ecc.) e scegliere Add (Aggiungi).

   3. Verificare che il trigger sia selezionato e scegliere il nodo segnaposto delle operazioni.

   4. Nella finestra di dialogo Add job(s) and crawler(s) to watch (Aggiungi processo/i e crawler da monitorare), selezionare uno o più processi o crawler e scegliere Add (Aggiungi).

      I processi e crawler selezionati vengono visualizzati sul diagramma con connettori che hanno origine dal trigger.

Per ulteriori informazioni sui flussi di lavoro e sui progetti, consulta i seguenti argomenti.

• Panoramica di flussi di lavoro in AWS Glue

• Esecuzione e monitoraggio di un flusso di lavoro in AWS Glue

• Creazione di un flusso di lavoro da uno schema in AWS Glue