Créer un nœud source BigQuery

Prérequis

• Une connexion au catalogue de données AWS Glue de type BigQuery.

• Un secret AWS Secrets Manager pour vos informations d'identification Google BigQuery, utilisé par la connexion.

• Les autorisations appropriées sur votre tâche pour lire le secret utilisé par la connexion.

• Le nom et le jeu de données de la table et du projet Google Cloud correspondant que vous souhaitez lire.

Ajouter une source de données BigQuery

Pour ajouter un nœud Source de données – BigQuery :

1. Choisissez la connexion pour votre source de données BigQuery. Puisque vous l'avez créé, il devrait être disponible dans le menu déroulant. Si vous devez créer une connexion, choisissez Créer une connexion BigQuery. Pour en savoir plus, consultez Overview of using connectors and connections .

   Une fois que vous avez choisi une connexion, vous pouvez afficher ses propriétés en cliquant sur Afficher les propriétés.

2. Identifiez les données BigQuery que vous souhaitez lire, puis choisissez une option Source BigQuery.

   • Choisissez une seule table : cela vous permet d'extraire toutes les données d'une table.

   • Saisissez une requête personnalisée : cela vous permet de personnaliser les données extraites en fournissant une requête.

3. Décrivez les données que vous souhaitez lire.

   (Obligatoire) Définissez le Projet parent sur le projet contenant votre table, ou sur un projet parent de facturation, le cas échéant.

   Si vous avez choisi une seule table, attribuez à Table le nom d'une table Google BigQuery au format suivant : [dataset].[table]

   Si vous avez choisi une requête, indiquez-la à Requête. Dans votre requête, faites référence aux tables avec leur nom de table complet, au format suivant : [project].[dataset].[tableName].

4. Fournissez des propriétés BigQuery.

   Si vous avez choisi une seule table, vous n'avez pas besoin de fournir de propriétés supplémentaires.

   Si vous avez choisi une requête, vous devez fournir les Propriétés personnalisées Google BigQuery suivantes :

   • Définissez viewsEnabled sur true.

   • Définissez materializationDataset sur un jeu de données. Le principal GCP authentifié par les informations d'identification fournies via la connexion AWS Glue doit être en mesure de créer des tables dans ce jeu de données.