Création d'un flux de travail à partir d'un plan dans AWS Glue - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Création d'un flux de travail à partir d'un plan dans AWS Glue

Vous pouvez créer un flux de travail AWS Glue manuellement, en ajoutant un composant à la fois, ou vous pouvez créer un flux de travail à partir d'un plan AWS Glue. AWS Glue comprend des plans pour les cas d'utilisation courants. Vos développeurs AWS Glue peuvent créer des plans supplémentaires.

Important

Limitez le nombre total de tâches, de crawlers et de déclencheurs au sein d'un flux de travail à 100 ou moins. Si vous en incluez plus de 100, vous risquez de rencontrer des erreurs lorsque vous tentez de reprendre ou d'arrêter les exécutions du flux de travail.

Lorsque vous utilisez un modèle, vous pouvez générer rapidement un flux de travail pour un cas d'utilisation spécifique basé sur le cas d'utilisation généralisé défini par le modèle. Vous définissez le cas d'utilisation spécifique en fournissant des valeurs pour les paramètres de modèle. Par exemple, un modèle qui partitionne un jeu de données peut avoir les chemins source et cible Amazon S3 comme paramètres.

AWS Glue crée un flux de travail à partir d'un plan en exécutant celui-ci. L'exécution du modèle directeur enregistre les valeurs des paramètres que vous avez fournies et est utilisée pour suivre la progression et le résultat de la création du flux de travail et de ses composants. Lors du dépannage d'un flux de travail, vous pouvez afficher l'exécution du modèle pour déterminer les valeurs des paramètres de modèle qui ont été utilisées pour créer un flux de travail.

Pour créer et afficher des flux de travail, vous avez besoin de certaines autorisations IAM. Pour consulter un exemple de politique IAM, veuillez consulter Autorisations d'analyste des données pour les plans.

Vous pouvez créer un flux de travail à partir d'un plan en utilisant la console AWS Glue, l'API AWS Glue ou AWS Command Line Interface (AWS CLI).

Pour créer un flux de travail à partir d'un modèle (console)

  1. Ouvrez la console AWS Glue, à l'adresse https://console.aws.amazon.com/glue/.

    Connectez-vous en tant qu'utilisateur disposant des autorisations pour créer un flux de travail.

  2. Dans le panneau de navigation, sélectionnez Plans.

  3. Sélectionnez un modèle, puis dans le menu Actions, sélectionnez Create workflow (Créer un flux de travail).

  4. Dans la page Create a workflow from <blueprint-name> (Créer un flux de travail à partir de <blueprint-name>), saisissez les informations suivantes :

    Paramètres des modèles

    Ceux-ci varient en fonction de la conception du modèle. Pour toute question concernant les paramètres, veuillez consulter le développeur. Les plans incluent généralement un paramètre pour le nom du flux de travail.

    Rôle IAM

    Le rôle que AWS Glue endosse pour créer le flux de travail et ses composants. Le rôle doit disposer des autorisations pour créer et supprimer des flux de travail, des tâches, des crawlers et des déclencheurs. Pour obtenir un exemple de politique pour le rôle, veuillez consulter Autorisations des rôles de plans.

  5. Sélectionnez Submit (Envoyer).

    La page Blueprint Details (Détails du modèle) s'affiche et affiche une liste des exécutions de modèle en bas.

  6. Dans la liste des exécutions de modèle, vérifiez l'exécution de modèle en tête de liste pour connaître l'état de création du flux de travail.

    L'état initial est RUNNING. Cliquez sur le bouton d'actualisation jusqu'à ce que le statut devienne SUCCEEDED ou FAILED.

  7. Effectuez l'une des actions suivantes :

    • Si le statut d'achèvement est SUCCEEDED, vous pouvez accéder à la page Workflows (Flux de travail), puis sélectionnez le flux de travail qui vient d'être créé et exécutez-le. Avant d'exécuter le flux de travail, vous pouvez consulter le graphique de conception.

    • Si le statut d'achèvement est FAILED, sélectionnez l'exécution du modèle, puis dans la fenêtre Actions, sélectionnez View (Afficher) pour afficher le message d'erreur.

Pour en savoir plus sur les flux de travail et les plans, consultez les rubriques suivantes.