Utilisation des DAG sur Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Présentation du bucket Amazon S3

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation des DAG sur Amazon MWAA

Pour exécuter des graphes acycliques dirigés (DAG) dans un environnement Amazon Managed Workflows pour Apache Airflow, vous copiez vos fichiers dans le compartiment de stockage Amazon S3 attaché à votre environnement, puis vous indiquez à Amazon MWAA où se trouvent vos DAG et les fichiers de support sur la console Amazon MWAA. Amazon MWAA se charge de synchroniser les DAG entre les travailleurs, les planificateurs et le serveur Web. Ce guide explique comment ajouter ou mettre à jour vos DAG, et comment installer des plugins personnalisés et des dépendances Python dans un environnement Amazon MWAA.

Rubriques

Présentation du bucket Amazon S3

L'accès public d'un compartiment Amazon S3 pour un environnement Amazon MWAA doit être bloqué. Par défaut, toutes les ressources Amazon S3 (compartiments, objets et sous-ressources associées (par exemple, configuration du cycle de vie) sont privées.

  • Seul le propriétaire de la ressource, le AWS compte qui a créé le compartiment, peut accéder à la ressource. Le propriétaire de la ressource (par exemple, votre administrateur) peut accorder des autorisations d'accès à d'autres personnes en rédigeant une politique de contrôle d'accès.

  • La politique d'accès que vous configurez doit être autorisée à ajouter des DAG, des plug-ins personnalisés et des dépendances Python requirements.txt à votre compartiment Amazon S3. plugins.zip Pour un exemple de politique contenant les autorisations requises, consultez AmazonMWAA. FullConsoleAccess

Le contrôle de version d'un compartiment Amazon S3 pour un environnement Amazon MWAA doit être activé. Lorsque le versionnement des compartiments Amazon S3 est activé, chaque fois qu'une nouvelle version est créée, une nouvelle copie est créée.

  • La gestion des versions est activée pour les plugins personnalisés dans un compartimentplugins.zip, et les dépendances Python dans un requirements.txt compartiment Amazon S3.

  • Vous devez spécifier la version d'un plugins.zip et requirements.txt sur la console Amazon MWAA chaque fois que ces fichiers sont mis à jour dans votre compartiment Amazon S3.