Konfiguration der Amazon MWAA-Umgebungsklasse - Amazon Managed Workflows für Apache Airflow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Konfiguration der Amazon MWAA-Umgebungsklasse

Die Umgebungsklasse, die Sie für Ihre Amazon MWAA-Umgebung wählen, bestimmt die Größe der AWS-verwalteten AWS Fargate Container, in denen der Celery Executor ausgeführt wird, und der -verwalteten Amazon Aurora PostgreSQL-Metadatendatenbank, in der die AWS Apache Airflow-Scheduler Task-Instances erstellen. Auf dieser Seite werden die einzelnen Amazon MWAA-Umgebungsklassen und die Schritte zur Aktualisierung der Umgebungsklasse auf der Amazon MWAA-Konsole beschrieben.

Funktionen der Umgebung

Der folgende Abschnitt enthält die standardmäßigen gleichzeitigen Apache Airflow-Aufgaben, Random Access Memory (RAM) und die virtuellen zentralen Verarbeitungseinheiten (vCPUs) für jede Umgebungsklasse. Bei den aufgeführten gleichzeitigen Aufgaben wird davon ausgegangen, dass die Parallelität der Aufgaben die Apache Airflow Worker-Kapazität in der Umgebung nicht überschreitet.

In der folgenden Tabelle bezieht sich die DAG-Kapazität auf DAG-Definitionen, nicht auf Ausführungen, und es wird davon ausgegangen, dass Ihre DAGs dynamisch in einer einzigen Python-Datei sind und mit den Best Practices von Apache Airflow geschrieben wurden.

Die Ausführung von Aufgaben hängt davon ab, wie viele gleichzeitig geplant sind. Dabei wird davon ausgegangen, dass die Anzahl der DAG-Ausführungen, die zur gleichen Zeit gestartet werden sollen, die Standardeinstellung nicht überschreitet max_dagruns_per_loop_to_schedule, ebenso wie die Größe und Anzahl der Worker, wie in diesem Thema beschrieben.

mw1.small
  • Bis zu 50 DAG-Kapazität

  • 5 gleichzeitige Aufgaben (standardmäßig)

  • 1 vCPUs

  • 2 GB RAM

mw1.medium
  • Bis zu 200 DAG-Kapazität

  • 10 gleichzeitige Aufgaben (standardmäßig)

  • 2 vCPUs

  • 4 GB RAM

mw1.large
  • Bis zu 1000 DAG-Kapazität

  • 20 gleichzeitige Aufgaben (standardmäßig)

  • 4 vCPUs

  • 8 GB RAM

mw1.xlarge
  • Bis zu 2000 DAG-Kapazität

  • 40 gleichzeitige Aufgaben (standardmäßig)

  • 8 vCPUs

  • 24 GB RAM

mw1.2xlarge
  • Bis zu 4000 DAG-Kapazität

  • 80 gleichzeitige Aufgaben (standardmäßig)

  • 16 vCPUs

  • 48 GB RAM

Sie können es verwendencelery.worker_autoscale, um die Anzahl der Aufgaben pro Mitarbeiter zu erhöhen. Weitere Informationen hierzu finden Sie unter Beispiel für einen Hochleistungs-Anwendungsfall.

Apache Airflow Scheduler

Der folgende Abschnitt enthält die Apache Airflow-Scheduler-Optionen, die auf der Amazon MWAA verfügbar sind, und wie sich die Anzahl der Scheduler auf die Anzahl der Trigger auswirkt.

In Apache Airflow verwaltet ein Trigger Aufgaben, die er aufschiebt, bis bestimmte, mithilfe eines Triggers festgelegte Bedingungen erfüllt sind. In Amazon MWAA wird der Triggerer zusammen mit dem Scheduler für dieselbe Fargate-Aufgabe ausgeführt. Eine Erhöhung der Anzahl der Scheduler erhöht entsprechend die Anzahl der verfügbaren Trigger und optimiert so die Art und Weise, wie die Umgebung verzögerte Aufgaben verwaltet. Dadurch wird eine effiziente Bearbeitung von Aufgaben gewährleistet und sie werden umgehend so geplant, dass sie ausgeführt werden, wenn die Bedingungen erfüllt sind.

Apache Airflow v2
  • v2 — Akzeptiert zwischen 2 bis5. Standardeinstellung: 2.