Creazione di una connessione BigQuery

Per connetterti a Google BigQuery da AWS Glue, dovrai creare e archiviare le tue credenziali di Google Cloud Platform in un segreto AWS Secrets Manager, quindi associare tale segreto a una connessione AWS Glue Google BigQuery.

Per configurare una connessione a BigQuery:

1. In Google Cloud Platform, crea e identifica le risorse pertinenti:

   • Crea o identifica un progetto GCP contenente tabelle BigQuery a cui desideri connetterti.

   • Abilita l'API BigQuery. Per ulteriori informazioni, consulta la pagina Utilizzo dell'API di lettura dell'archiviazione BigQuery per leggere i dati delle tabelle .

2. In Google Cloud Platform, crea ed esporta le credenziali dell'account del servizio:

   Puoi utilizzare la procedura guidata per le credenziali di BigQuery per accelerare questo passaggio: Crea credenziali.

   Per creare un account di servizio in GCP, segui il tutorial disponibile in Creazione di account di servizio.

   • Quando selezioni il progetto, seleziona il progetto contenente la tua tabella BigQuery.

   • Quando selezioni i ruoli IAM di GCP per il tuo account di servizio, aggiungi o crea un ruolo che conceda le autorizzazioni appropriate per eseguire processi BigQuery per leggere, scrivere o creare tabelle BigQuery.

   Per creare le credenziali per il tuo account di servizio, segui il tutorial disponibile in Creazione della chiave di un account di servizio.

   • Quando selezioni il tipo di chiave, seleziona JSON.

   Ora dovresti avere scaricato un file JSON con le credenziali per il tuo account di servizio. La schermata visualizzata dovrebbe risultare simile a quella nell'immagine seguente:

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. base64 codifica il tuo file di credenziali scaricato. In una sessione AWS CloudShell o simile, puoi farlo dalla riga di comando eseguendo cat credentialsFile.json | base64 -w 0. Conserva l'output di questo comando, credentialString.

4. In AWS Secrets Manager, crea un segreto utilizzando le tue credenziali di Google Cloud Platform. Per creare un segreto in Secrets Manager, segui il tutorial disponibile in Create an AWS Secrets Manager secret nella documentazione di AWS Secrets Manager. Dopo aver creato il segreto, prendi nota del nome, secretName, per il passaggio successivo.

   • Quando selezioni le coppie chiave/valore, crea una coppia per la chiave credentials con il valore credentialString.

5. Nel Catalogo dati AWS Glue, crea una connessione seguendo i passaggi riportati in https://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Dopo aver creato la connessione, prendi nota del nome, connectionName, per il passaggio successivo.

   • Quando selezioni un tipo di connessione, seleziona Google BigQuery.

   • Quando selezioni il Segreto AWS, fornisci secretName.

6. Concedi al ruolo IAM associato al tuo processo AWS Glue il permesso di leggere secretName.

7. Nella configurazione del processo AWS Glue, fornisci connectionName come Connessione di rete aggiuntiva.