Ajout de paramètres source et cible au AWS Glue nœud Data Catalog

AWS Glue Studio permet de paramétrer les tâches visuelles. Comme les noms des tables de catalogue peuvent être différents dans les environnements de production et de développement, vous pouvez définir et sélectionner des paramètres d'exécution pour les bases de données et les tables qui s'exécuteront lors de l'exécution de votre tâche.

Le paramétrage de la tâche vous permet de configurer les sources et les cibles,et d'enregistrer ces paramètres dans la tâche lorsque vous utilisez le nœud Data Catalog AWS Glue. Lorsque vous spécifiez des sources et des cibles en tant que paramètres, vous activez la réutilisabilité des tâches, en particulier lorsque vous utilisez la même tâche dans plusieurs environnements. Cela s'avère utile lors de la promotion du code dans les environnements de déploiement, en économisant en temps et en énergie lors de la gestion de vos sources et cibles. Par ailleurs, les paramètres personnalisés que vous définissez remplaceront tous les paramètres par défaut pour des exécutions spécifiques des tâches AWS Glue.

Ajouter des paramètres source et cible

Que vous utilisiez le nœud AWS Glue Data Catalog en tant que source ou cible, vous pouvez définir les paramètres d'exécution dans la section Advanced properties (Propriétés avancées) dans l'onglet Job details (Détails de la tâche).

1. Choisissez le nœud AWS Glue Data Catalog en tant que nœud source ou nœud cible.

2. Sélectionnez l'onglet Job details (Détails de la tâche).

3. Choisissez Advanced properties (Propriétés avancées).

4. Dans la section Job parameters (Paramètres de la tâche), saisissez une valeur clé. Par exemple, --db.source serait le paramètre d'une source de base de données. Vous pouvez saisir n'importe quel nom pour la clé, à condition que le nom de la clé soit suivi d'un « tiret ».

   

5. Saisissez la valeur. Par exemple, databasename serait la valeur d'une source de base de données paramétrée.

6. Choisissez Add new parameter (Ajouter de nouveaux paramètres) si vous souhaitez ajouter d'autres paramètres. Un maximum de 50 paramètres est autorisé. Une fois que la paire clé-valeur a été définie, vous pouvez utiliser le paramètre dans le nœud AWS Glue Data Catalog.

Sélectionner un paramètre d'exécution

Note

Le processus de sélection des paramètres d'exécution pour les bases de données et les tables est le même, que le nœud AWS Glue Data Catalog soit la source ou la cible.

1. Choisissez le nœud AWS Glue Data Catalog en tant que nœud source ou nœud cible.

2. Dans l'onglet Data source properties - Data Catalog (Propriétés de la source de données - Catalogue de données), sous Database (Base de données), choisissez Use runtime parameters (Utiliser les paramètres d'exécution).

   

3. Choisissez un paramètre dans le menu déroulant. Par exemple, lorsque vous sélectionnez un paramètre que vous avez défini pour une base de données source, la base de données est automatiquement renseignée dans le menu déroulant de la base de données lorsque vous choisissez Apply (Appliquer).

4. Dans la section Table, choisissez un paramètre que vous avez déjà défini comme table source. Lorsque vous choisissez Apply (Appliquer), la table est automatiquement renseignée en tant que table à utiliser.

5. Lorsque vous enregistrez et exécutez la tâche, AWS Glue Studio référencera les paramètres sélectionnés lors de l'exécution de la tâche.