Avvio di lavori ETL visivi in AWS Glue Studio

È possibile utilizzare la semplice interfaccia visiva in AWS Glue Studio per creare i tuoi lavori ETL. Puoi la pagina Jobs (Processi) per creare nuovi processi. Puoi anche usare un editor di script o un taccuino per lavorare direttamente con il codice contenuto in AWS Glue Studio Script di lavoro ETL.

Nella pagina Jobs, puoi vedere tutti i lavori che hai creato con AWS Glue Studio oppure AWS Glue. Puoi visualizzare, gestire ed eseguire i tuoi lavori in questa pagina.

Vedi anche il tutorial del blog su un altro esempio di come creare lavori ETL con AWS Glue Studio.

Avvio di lavori in AWS Glue Studio

AWS Glue consente di creare un lavoro tramite un'interfaccia visiva, un taccuino di codice interattivo o un editor di script. È possibile avviare un processo facendo clic su una delle opzioni o creare un nuovo processo basato su un processo di esempio.

I processi di esempio creano processi con lo strumento che preferisci. Ad esempio, i job di esempio consentono di creare un processo ETL visivo che unisce i file CSV in una tabella di catalogo, di creare un lavoro in un taccuino di codici interattivo con AWS Glue per Ray o AWS Glue per Spark quando lavori con i panda o crea un lavoro in un taccuino di codice interattivo con SparkSQL.

Creare un lavoro in AWS Glue Studio da zero

1. Accedi a AWS Management Console e apri il AWS Glue Studio console all'indirizzo https://console.aws.amazon.com/gluestudio/.

2. Nel riquadro di navigazione, seleziona Processi ETL.

3. Nella sezione Crea processo, scegli un'opzione di configurazione per il processo.

   

   Opzioni per creare un processo da zero:

   • ETL visivo: crea il processo in un'interfaccia visiva incentrata sul flusso di dati

   • Crea processi utilizzando un notebook a codice interattivo: crea processi in modo interattivo in un'interfaccia notebook basata su notebook Jupyter

     Prima di selezionare questa opzione e creare una sessione di creazione di processi tramite notebook, è necessario fornire informazioni aggiuntive. Per ulteriori informazioni su come specificare queste informazioni, consulta Guida introduttiva ai notebook in AWS Glue Studio.

   • Crea codice con un editor di script: se hai familiarità con la programmazione e la scrittura di script ETL, scegli questa opzione per creare un nuovo processo ETL di Spark. Scegli il motore: shell Python, Ray, Spark (Python) o Spark (Scala). Quindi, scegli Inizia da zero o Carica script per caricare uno script esistente da un file locale. Se scegli di utilizzare l'editor di script, per progettare o modificare il tuo processo, non potrai utilizzare l'editor visivo dei processi.

     Un job Spark viene eseguito in un ambiente Apache Spark gestito da AWS Glue. Per impostazione predefinita, i nuovi script sono codificati in Python. Per scrivere un nuovo script Scala, consulta Creazione e modifica degli script di Scala in AWS Glue Studio.

Creare un lavoro in AWS Glue Studio da un esempio di lavoro

Puoi scegliere di creare un processo da un processo di esempio. Nella sezione Processi di esempio, scegli un processo di esempio, quindi scegli Crea processo di esempio. La creazione di un processo di esempio da una delle opzioni fornisce un modello rapido per iniziare a lavorare.

1. Accedi a AWS Management Console e apri AWS Glue Studio console all'indirizzo https://console.aws.amazon.com/gluestudio/.

2. Nel riquadro di navigazione, seleziona Processi ETL.

3. Seleziona un'opzione per creare un processo da un processo di esempio:

   • Processo ETL visivo per eseguire il join di più origini: leggi tre file CSV, combina i dati, modifica i tipi di dati, quindi scrivi i dati su Amazon S3 e catalogali per le query successive.

   • Notebook Spark con Pandas: esplora e visualizza i dati utilizzando il popolare framework Pandas combinato con Spark.

   • Notebook Spark con SQL: inizia rapidamente a utilizzare Apache Spark tramite SQL. Accedi ai dati tramite AWS Glue Data Catalog e trasformalo utilizzando comandi familiari.

4. Scegli Crea un processo di esempio.