Création d'un plugin personnalisé qui génère des variables d'environnement d'exécution

L'exemple suivant vous explique les étapes à suivre pour créer un plugin personnalisé qui génère des variables d'environnement lors de l'exécution dans un environnement Amazon Managed Workflows pour Apache Airflow.

Version

• L'exemple de code de cette page peut être utilisé avec Apache Airflow v1 dans Python 3.7.

Prérequis

Pour utiliser l'exemple de code de cette page, vous avez besoin des éléments suivants :

• Un environnement Amazon MWAA.

Autorisations

• Aucune autorisation supplémentaire n'est requise pour utiliser l'exemple de code de cette page.

Prérequis

• Pour utiliser cet exemple de code avec Apache Airflow v1, aucune dépendance supplémentaire n'est requise. Le code utilise l'installation de base d'Apache Airflow v1 sur votre environnement.

Plug-in personnalisé

Apache Airflow exécutera le contenu des fichiers Python dans le dossier des plugins au démarrage. Ceci est utilisé pour définir et modifier des variables d'environnement. Les étapes suivantes décrivent l'exemple de code pour le plugin personnalisé.

1. Dans votre invite de commande, accédez au répertoire dans lequel sont stockés vos plugins. Par exemple :

   cd plugins

2. Copiez le contenu de l'exemple de code suivant et enregistrez-leenv_var_plugin.py sous.

   from airflow.plugins_manager import AirflowPlugin
   import os
   
   os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" 
   os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"
   
   class EnvVarPlugin(AirflowPlugin):                
        name = 'env_var_plugin'

Plugins.zip

Les étapes suivantes montrent comment créerplugins.zip. Le contenu de cet exemple peut être combiné avec d'autres plugins et binaires dans un seulplugins.zip fichier.

1. Dans votre invite de commande, accédez auhive_plugin répertoire de l'étape précédente. Par exemple :

   cd plugins

2. Compressez le contenu dans votreplugins dossier.

   zip -r ../plugins.zip ./

Options de configuration du débit d'air

Si vous utilisez Apache Airflow v2, ajoutez-lecore.lazy_load_plugins : False comme option de configuration d'Apache Airflow. Pour en savoir plus, consultez Utiliser les options de configuration pour charger des plugins dans 2.

Quelle est la prochaine étape ?

• Découvrez comment charger lerequirements.txt fichier dans cet exemple vers votre compartiment Amazon S3 dansInstallation des dépendances Python.

• Découvrez comment charger le code DAG de cet exemple vers ledags dossier de votre compartiment Amazon S3 dansAjout ou mise à jour des DAG.

• Découvrez comment charger leplugins.zip fichier dans cet exemple vers votre compartiment Amazon S3 dansInstallation de plugins personnalisés.