Créer une connexion BigQuery

Pour vous connecter à Google BigQuery depuis AWS Glue, vous devez créer et stocker vos informations d'identification Google Cloud Platform dans un secret AWS Secrets Manager, puis associer ce secret à une connexion Google BigQuery AWS Glue.

Pour configurer une connexion à BigQuery :

1. Dans Google Cloud Platform, créez et identifiez les ressources pertinentes :

   • Créez ou identifiez un projet GCP contenant des tables BigQuery auxquelles vous souhaitez vous connecter.

   • Activez l'API BigQuery. Pour plus d'informations, consultez la section Use the BigQuery Storage Read API to read table data.

2. Dans Google Cloud Platform, créez et exportez les informations d'identification du compte de service :

   Vous pouvez utiliser l'assistant relatif aux informations d'identification BigQuery pour accélérer l'étape de création des informations d'identification.

   Pour créer un compte de service dans GCP, suivez le didacticiel disponible dans la section Créer des comptes de service.

   • Lorsque vous sélectionnez un projet, choisissez celui qui contient votre table BigQuery.

   • Lorsque vous sélectionnez des rôles IAM GCP pour votre compte de service, ajoutez ou créez un rôle qui accordera les autorisations appropriées pour exécuter des tâches BigQuery afin de lire, écrire ou créer des tables BigQuery.

   Pour créer des informations d'identification pour votre compte de service, suivez le didacticiel disponible dans la section Créer une clé de compte de service.

   • Lorsque vous sélectionnez le type de clé, sélectionnez JSON.

   Vous devriez maintenant avoir téléchargé un fichier JSON contenant les informations d'identification de votre compte de service. Il doit ressembler à l'exemple ci-dessous.

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. Encodez en base64 le fichier d'informations d'identification que vous avez téléchargé. Lors d'une session AWS CloudShell ou similaire, vous pouvez le faire depuis la ligne de commande en exécutant cat credentialsFile.json | base64 -w 0. Conservez le résultat de cette commande, credentialString.

4. DansAWS Secrets Manager, créez un secret à l'aide de vos informations d'identification de Google Cloud Platform. Pour créer un secret dans Secrets Manager, suivez le didacticiel disponible dans la section Créer un secret AWS Secrets Manager dans la documentation AWS Secrets Manager. Après avoir créé le secret, conservez le nom du secret, secretName, pour l'étape suivante.

   • Lorsque vous sélectionnez Paires clé/valeur, créez une paire pour la clé credentials avec la valeur credentialString.

5. Dans le catalogue de données AWS Glue, créez une connexion en suivant les étapes décrites dans https://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Après avoir créé la connexion, conservez le nom de la connexion, connectionName, pour l'étape suivante.

   • Lorsque vous sélectionnez un Type de connexion, sélectionnez Google BigQuery.

   • Lorsque vous sélectionnez un Secret AWS, fournissez secretName.

6. Accordez au rôle IAM associé à votre tâche AWS Glue l'autorisation de lire secretName.

7. Dans la configuration de votre tâche AWS Glue, indiquez connectionName en tant que Connexion réseau supplémentaire.