Tâches (hérité)

Un script contient le code qui exécute les tâches d'extraction, de transformation et de chargement (ETL). Vous pouvez fournir votre propre script, ou AWS Glue peut générer un script à partir de vos indications. Pour plus d'informations sur la création de vos propres scripts, consultez Fournir vos propres scripts personnalisés.

Vous pouvez modifier un script dans la console AWS Glue. Lorsque vous modifiez un script, vous pouvez ajouter des sources, des cibles et des transformations.

Pour modifier un script

1. Connectez-vous à la AWS Glue console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/glue/. Ensuite, choisissez l'onglet Jobs (Tâches).

2. Choisissez une tâche dans la liste, puis choisissez Action, Edit script (Modifier le script) pour ouvrir l'éditeur de script.

   Vous pouvez également accéder à l'éditeur de script à partir de la page des détails de la tâche. Sélectionnez l’onglet Script, puis Edit script (Modifier le script).

Éditeur de script

L'éditeur de script AWS Glue vous permet d'insérer, de modifier et de supprimer des sources, des cibles et des transformations dans votre script. L'éditeur de script affiche à la fois le script et un diagramme pour vous aider à visualiser le flux de données.

Pour créer un diagramme pour le script, choisissez Générer un diagramme. AWS Glue utilise des lignes d'annotation dans le script commençant par # # pour afficher le schéma. Pour représenter correctement votre script dans le diagramme, vous devez conserver la synchronisation entre les paramètres dans les annotations et les paramètres dans le code Apache Spark.

L'éditeur de script vous permet d'ajouter des modèles de code à chaque fois que votre curseur est positionné dans le script. Dans la partie supérieure de l'éditeur, choisissez l'une des options suivantes :

• Pour ajouter une table source au script, choisissez Source (Source).

• Pour ajouter une table cible au script, choisissez Target (Cible).

• Pour ajouter un emplacement cible au script, choisissez Target location (Emplacement cible).

• Pour ajouter une transformation au script, choisissez Transform (Transformation). Pour plus d'informations sur les fonctions appelées dans votre script, consultez Programmez des scripts AWS Glue ETL dans PySpark.

• Pour ajouter une transformation Spigot au script, choisissez Spigot.

Dans le code inséré, modifiez l'élément parameters dans les annotations et dans le code Apache Spark. Par exemple, si vous ajoutez une transformation Spigot, vérifiez que l'élément path est remplacé dans la ligne d'annotation @args et dans la ligne de code output.

L'onglet Logs (Journaux) présente les journaux associés à votre travail pendant son exécution. Les 1 000 lignes les plus récentes sont affichées.

L'onglet Schema (Schéma) présente le schéma des sources et des cibles sélectionnées, lorsqu'elles sont disponibles dans Data Catalog.