Erstellen eines benutzerdefinierten Plugins, das Laufzeitumgebungsvariablen generiert

Das folgende Beispiel führt Sie durch die Schritte zur Erstellung eines benutzerdefinierten Plug-ins, das zur Laufzeit Umgebungsvariablen in einer Amazon Managed Workflows for Apache Airflow-Umgebung generiert.

Version

• Der Beispielcode auf dieser Seite kann mit Apache Airflow v1 in Python 3.7 verwendet werden.

Voraussetzungen

Um den Beispiel-Code auf dieser Seite zu verwenden.

• Eine Amazon MWAA-Umgebung.

Berechtigungen

• Für die Verwendung des Codebeispiels auf dieser Seite sind keine zusätzlichen Berechtigungen erforderlich.

Voraussetzungen

• Um dieses Codebeispiel mit Apache Airflow v1 zu verwenden, sind keine zusätzlichen Abhängigkeiten erforderlich. Der Code verwendet die Apache Airflow v1-Basisinstallation in Ihrer Umgebung.

Benutzerdefiniertes Plugin

Apache Airflow führt beim Start den Inhalt der Python-Dateien im Plugins-Ordner aus. Dies wird verwendet, um Umgebungsvariablen festzulegen und zu ändern. Im folgenden wird den Beispiel-Code für das benutzerdefinierte Plug-In in den Standard die.

1. Navigieren Sie in Ihrer Eingabeaufforderung zu dem Verzeichnis. Beispiel:

   cd plugins

2. Kopieren Sie den Inhalt des folgenden Codebeispiels und speichern Sie es lokal alsenv_var_plugin.py im obigen Ordner.

   from airflow.plugins_manager import AirflowPlugin
   import os
   
   os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" 
   os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"
   
   class EnvVarPlugin(AirflowPlugin):                
        name = 'env_var_plugin'

Plugins.zip

Im folgenden wird die folgenden folgenden Schritte denplugins.zip. Der Inhalt dieses Beispiels kann mit anderen Plugins und Binärdateien in einer einzigenplugins.zip Datei kombiniert werden.

1. Navigieren Sie in der Eingabeaufforderung zu demhive_plugin Verzeichnis aus dem vorherigen Schritt. Beispiel:

   cd plugins

2. Komprimieren Sie den Inhalt Ihresplugins Ordners.

   zip -r ../plugins.zip ./

Airflow-Konfigurationsoptionen für den Luftstrom

Wenn Sie Apache Airflow v2 verwenden, fügen Sie escore.lazy_load_plugins : False als Apache Airflow-Konfigurationsoption hinzu. Weitere Informationen finden Sie unter Verwenden von Konfigurationsoptionen zum Laden von Plugins in 2.

Als nächstes

• Erfahren Sie, wie Sie dierequirements.txt Datei in diesem Beispiel in Ihren Amazon S3 S3-Bucket hochladenPython-Abhängigkeiten installieren.

• Erfahren Sie, wie Sie den DAG-Code in diesem Beispiel in dendags Ordner in Ihrem Amazon S3 S3-Bucket hochladenHinzufügen oder Aktualisieren von DAGs.

• Erfahren Sie mehr darüber, wie Sie dieplugins.zip Datei in diesem Beispiel in Ihren Amazon S3 S3-Bucket hochladen könnenInstallation benutzerdefinierter Plugins.