Arbeiten mit DAGs auf Amazon MWAA - Amazon Managed Workflows für Apache Airflow
Überblick über den Amazon S3 S3-Bucket

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Arbeiten mit DAGs auf Amazon MWAA

Um Directed Acyclic Graphs (DAGs) in einer Amazon Managed Workflows for Apache Airflow-Umgebung auszuführen, kopieren Sie Ihre Dateien in den Amazon S3 S3-Speicher-Bucket, der mit Ihrer Umgebung verbunden ist, und teilen Amazon MWAA dann mit, wo sich Ihre DAGs und unterstützenden Dateien auf der Amazon MWAA-Konsole befinden. Amazon MWAA kümmert sich um die Synchronisation der DAGs zwischen Workern, Schedulern und dem Webserver. In diesem Handbuch wird beschrieben, wie Sie Ihre DAGs hinzufügen oder aktualisieren und benutzerdefinierte Plugins und Python-Abhängigkeiten in einer Amazon MWAA-Umgebung installieren.

Themen

Überblick über den Amazon S3 S3-Bucket

Bei einem Amazon S3 S3-Bucket für eine Amazon MWAA-Umgebung muss der öffentliche Zugriff gesperrt sein. Standardmäßig sind alle Amazon S3 S3-Ressourcen — Buckets, Objekte und zugehörige Unterressourcen (z. B. Lebenszykluskonfiguration) — privat.

  • Nur der Eigentümer der Ressource, das AWS Konto, das den Bucket erstellt hat, kann auf die Ressource zugreifen. Der Ressourcenbesitzer (z. B. Ihr Administrator) kann anderen Zugriffsberechtigungen gewähren, indem er eine Zugriffskontrollrichtlinie verfasst.

  • Die von Ihnen eingerichtete Zugriffsrichtlinie muss berechtigt sein, DAGs, benutzerdefinierte Plug-ins plugins.zip und Python-Abhängigkeiten requirements.txt zu Ihrem Amazon S3 S3-Bucket hinzuzufügen. Eine Beispielrichtlinie, die die erforderlichen Berechtigungen enthält, finden Sie unter FullConsoleAccessAmazonMWAA.

Für einen Amazon S3 S3-Bucket für eine Amazon MWAA-Umgebung muss Versioning aktiviert sein. Wenn die Amazon S3 S3-Bucket-Versionierung aktiviert ist, wird bei jeder Erstellung einer neuen Version eine neue Kopie erstellt.

  • Die Versionierung ist für die benutzerdefinierten Plug-ins in a plugins.zip und die Python-Abhängigkeiten in a in Ihrem requirements.txt Amazon S3 S3-Bucket aktiviert.

  • Sie müssen jedes Malplugins.zip, wenn diese Dateien in Ihrem Amazon S3-Bucket aktualisiert werden, die Version von und requirements.txt auf der Amazon MWAA-Konsole angeben.