Ajout de paramètres source et cible au AWS Glue Nœud de catalogue de données

AWS Glue Studio vous permet de paramétrer les tâches visuelles. Comme les noms des tables de catalogue peuvent être différents dans les environnements de production et de développement, vous pouvez définir et sélectionner des paramètres d'exécution pour les bases de données et les tables qui s'exécuteront lors de l'exécution de votre tâche.

Le paramétrage des tâches vous permet de paramétrer les sources et les cibles, et d'enregistrer ces paramètres dans la tâche lorsque vous utilisez le AWS Glue Nœud de catalogue de données. Lorsque vous spécifiez des sources et des cibles en tant que paramètres, vous activez la réutilisabilité des tâches, en particulier lorsque vous utilisez la même tâche dans plusieurs environnements. Cela s'avère utile lors de la promotion du code dans les environnements de déploiement, en économisant en temps et en énergie lors de la gestion de vos sources et cibles. En outre, les paramètres personnalisés que vous spécifiez remplaceront tous les arguments par défaut pour des exécutions spécifiques de AWS Glue emplois.

Ajouter des paramètres source et cible

Que vous utilisiez le AWS Glue Nœud du catalogue de données en tant que source ou cible, vous pouvez définir les paramètres d'exécution dans la section Propriétés avancées de l'onglet Détails du Job.

1. Cliquez sur l'onglet AWS Glue Nœud du catalogue de données en tant que nœud source ou nœud cible.

2. Sélectionnez l'onglet Job details (Détails de la tâche).

3. Choisissez Advanced properties (Propriétés avancées).

4. Dans la section Job parameters (Paramètres de la tâche), saisissez une valeur clé. Par exemple, --db.source serait le paramètre d'une source de base de données. Vous pouvez saisir n'importe quel nom pour la clé, à condition que le nom de la clé soit suivi d'un « tiret ».

   

5. Saisissez la valeur. Par exemple, databasename serait la valeur d'une source de base de données paramétrée.

6. Choisissez Add new parameter (Ajouter de nouveaux paramètres) si vous souhaitez ajouter d'autres paramètres. Un maximum de 50 paramètres est autorisé. Une fois que la paire clé-valeur a été définie, vous pouvez utiliser le paramètre dans AWS Glue Nœud de catalogue de données.

Sélectionner un paramètre d'exécution

Note

Le processus de sélection des paramètres d'exécution pour les bases de données et les tables est le même, que le AWS Glue Le nœud du catalogue de données est la source ou la cible.

1. Cliquez sur l'onglet AWS Glue Nœud du catalogue de données en tant que nœud source ou nœud cible.

2. Dans l'onglet Data source properties - Data Catalog (Propriétés de la source de données - Catalogue de données), sous Database (Base de données), choisissez Use runtime parameters (Utiliser les paramètres d'exécution).

   

3. Choisissez un paramètre dans le menu déroulant. Par exemple, lorsque vous sélectionnez un paramètre que vous avez défini pour une base de données source, la base de données est automatiquement renseignée dans le menu déroulant de la base de données lorsque vous choisissez Apply (Appliquer).

4. Dans la section Table, choisissez un paramètre que vous avez déjà défini comme table source. Lorsque vous choisissez Apply (Appliquer), la table est automatiquement renseignée en tant que table à utiliser.

5. Lorsque vous enregistrez et exécutez la tâche, AWS Glue Studio fera référence aux paramètres sélectionnés lors de l'exécution de la tâche.