Creazione di un nodo di origine BigQuery

Prerequisiti necessari

• Una connessione al Catalogo dati AWS Glue di tipo BigQuery

• Un segreto AWS Secrets Manager per le credenziali di Google BigQuery, utilizzato dalla connessione.

• Autorizzazioni appropriate sul processo per leggere il segreto utilizzato dalla connessione.

• Il nome e il set di dati della tabella e del progetto Google Cloud corrispondente che si desidera leggere.

Aggiunta di un'origine dati BigQuery

Per aggiungere un nodo Origine dati: BigQuery:

1. Scegli la connessione per la tua origine dati BigQuery. Dato che l'hai creato, dovrebbe essere disponibile nel menu a discesa. Se devi creare una connessione, scegli Crea connessione BigQuery. Per ulteriori informazioni, consulta la pagina Overview of using connectors and connections.

   Dopo aver scelto una connessione, puoi visualizzare le proprietà della connessione facendo clic su Visualizza proprietà.

2. Identifica quali dati BigQuery vorresti leggere, quindi scegli un'opzione Origine BigQuery

   • Scegli una singola tabella: ti consente di estrarre tutti i dati da una tabella.

   • Inserisci una query personalizzata: ti consente di personalizzare i dati recuperati fornendo una query.

3. Descrivi i dati che desideri leggere

   (Obbligatorio) imposta il Progetto padre sul progetto contenente la tabella o su un progetto padre di fatturazione, se pertinente.

   Se hai scelto una singola tabella, imposta Tabella sul nome di una tabella di Google BigQuery nel seguente formato: [dataset].[table]

   Se hai scelto una query, forniscila a Query. Nella tua query, fai riferimento alle tabelle con il loro nome di tabella completo, nel formato: [project].[dataset].[tableName].

4. Fornisci le proprietà di BigQuery

   Se hai scelto una singola tabella, non è necessario fornire proprietà aggiuntive.

   Se hai scelto una query, devi fornire le seguenti proprietà personalizzate di Google BigQuery:

   • Imposta viewsEnabled su true.

   • Imposta materializationDataset su un set di dati. Il principale GCP autenticato dalle credenziali fornite tramite la connessione AWS Glue deve essere in grado di creare tabelle in questo set di dati.