Créer un nœud cible BigQuery

Prérequis

• Une connexion au catalogue de données AWS Glue de type BigQuery.

• Un secret AWS Secrets Manager pour vos informations d'identification Google BigQuery, utilisé par la connexion.

• Les autorisations appropriées sur votre tâche pour lire le secret utilisé par la connexion.

• Le nom et le jeu de données de la table et du projet Google Cloud correspondant dans lequel vous souhaitez écrire.

Ajouter une cible de données BigQuery

Pour ajouter un nœud Cible de données – BigQuery :

1. Choisissez la connexion pour votre cible de données BigQuery. Puisque vous l'avez créé, il devrait être disponible dans le menu déroulant. Si vous devez créer une connexion, choisissez Créer une connexion BigQuery. Pour en savoir plus, consultez Overview of using connectors and connections .

   Une fois que vous avez choisi une connexion, vous pouvez afficher ses propriétés en cliquant sur Afficher les propriétés.

2. Identifiez la table BigQuery dans laquelle vous souhaitez écrire, puis choisissez une Méthode d'écriture.

   • Direct : écrit directement dans BigQuery à l'aide de l'API BigQuery Storage Write.

   • Indirect : écrit dans Google Cloud Storage, puis copie dans BigQuery.

   Si vous souhaitez écrire indirectement, indiquez un emplacement GCS de destination avec un Compartiment GCS temporaire. Vous devrez fournir une configuration supplémentaire dans votre connexion AWS Glue. Pour de plus amples informations, consultez Utilisation de l'écriture indirecte avec Google BigQuery.

3. Décrivez les données que vous souhaitez lire.

   (Obligatoire) Définissez le Projet parent sur le projet contenant votre table, ou sur un projet parent de facturation, le cas échéant.

   Si vous avez choisi une seule table, attribuez à Table le nom d'une table Google BigQuery au format suivant : [dataset].[table]