Amazon MWAA-Netzwerkarchitektur

Im folgenden Abschnitt werden die Hauptkomponenten einer Amazon MWAA-Umgebung sowie die AWS Services beschrieben, in die jede Umgebung integriert ist, um ihre Ressourcen zu verwalten, Ihre Daten zu schützen und Ihre Workflows zu überwachen und sichtbar zu machen.

Amazon MWAA-Komponenten

Amazon MWAA-Umgebungen bestehen aus den folgenden vier Hauptkomponenten:

1. Scheduler — Analysiert und überwacht all Ihre DAGs und stellt Aufgaben zur Ausführung in eine Warteschlange, wenn die Abhängigkeiten einer DAG erfüllt sind. Amazon MWAA stellt den Scheduler als Cluster mit mindestens 2 Schedulern bereit. AWS Fargate Sie können die Anzahl der Scheduler je nach Arbeitslast auf bis zu fünf erhöhen. Weitere Informationen zu Amazon MWAA-Umgebungsklassen finden Sie unter Amazon MWAA-Umgebungsklasse.

2. Mitarbeiter — Eine oder mehrere Fargate-Aufgaben, die Ihre geplanten Aufgaben ausführen. Die Anzahl der Mitarbeiter für Ihre Umgebung wird durch einen Bereich zwischen einer von Ihnen angegebenen Mindest - und Höchstzahl bestimmt. Amazon MWAA beginnt mit der auto-scaling von Workern, wenn die Anzahl der in der Warteschlange stehenden und laufenden Aufgaben höher ist, als Ihre vorhandenen Worker bewältigen können. Wenn die Summe laufender Aufgaben und Aufgaben in der Warteschlange länger als zwei Minuten Null ergibt, reduziert Amazon MWAA die Anzahl der Mitarbeiter auf das Minimum. Weitere Informationen darüber, wie Amazon MWAA mit automatischer Skalierung von Workern umgeht, finden Sie unter auto-scaling von Amazon MWAA.

3. Webserver — Führt die Apache Airflow-Weboberfläche aus. Sie können den Webserver mit privatem oder öffentlichem Netzwerkzugriff konfigurieren. In beiden Fällen wird der Zugriff auf Ihre Apache Airflow-Benutzer durch die Zugriffskontrollrichtlinie gesteuert, die Sie in AWS Identity and Access Management (IAM) definieren. Weitere Informationen zur Konfiguration von IAM-Zugriffsrichtlinien für Ihre Umgebung finden Sie unter Zugreifen auf eine Amazon MWAA-Umgebung.

4. Datenbank — Speichert Metadaten über die Apache Airflow-Umgebung und Ihre Workflows, einschließlich des DAG-Ausführungsverlaufs. Bei der Datenbank handelt es sich um eine Aurora PostgreSQL Single-Tenant-DatenbankAWS, die von den Containern Scheduler und Workers 'Fargate verwaltet wird und auf die über einen privat gesicherten Amazon VPC-Endpunkt zugegriffen werden kann.

Jede Amazon MWAA-Umgebung interagiert außerdem mit einer Reihe von AWS Services, um eine Vielzahl von Aufgaben zu bewältigen, darunter das Speichern und Zugreifen auf DAGs und Aufgabenabhängigkeiten, die Sicherung Ihrer Daten im Ruhezustand sowie die Protokollierung und Überwachung Ihrer Umgebung. Das folgende Diagramm zeigt die verschiedenen Komponenten einer Amazon MWAA-Umgebung.

Anmerkung

Der Service Amazon VPC ist keine gemeinsam genutzte VPC. Amazon MWAA erstellt für jede Umgebung, die Sie erstellen, eine AWS eigene VPC.

• Amazon S3 — Amazon MWAA speichert all Ihre Workflow-Ressourcen wie DAGs, Anforderungen und Plugin-Dateien in einem Amazon S3 S3-Bucket. Weitere Informationen zum Erstellen des Buckets als Teil der Umgebungserstellung und zum Hochladen Ihrer Amazon MWAA-Ressourcen finden Sie unter Erstellen eines Amazon S3 S3-Buckets für Amazon MWAA im Amazon MWAA-Benutzerhandbuch.

• Amazon SQS — Amazon MWAA verwendet Amazon SQS, um Ihre Workflow-Aufgaben mit einem Celery Executor in die Warteschlange zu stellen.

• Amazon ECR — Amazon ECR hostet alle Apache Airflow-Images. Amazon MWAA unterstützt AWS nur verwaltete Apache Airflow-Images.

• AWS KMS— Amazon MWAA verwendet, AWS KMS um sicherzustellen, dass Ihre Daten im Ruhezustand sicher sind. Standardmäßig verwendet Amazon MWAA AWSverwaltete AWS KMS Schlüssel, aber Sie können Ihre Umgebung so konfigurieren, dass Ihr eigener, vom Kunden verwalteter Schlüssel verwendet wird. AWS KMS Weitere Informationen zur Verwendung Ihres eigenen, vom Kunden verwalteten AWS KMS Schlüssels finden Sie unter Vom Kunden verwaltete Schlüssel für die Datenverschlüsselung im Amazon MWAA-Benutzerhandbuch.

• CloudWatch— Amazon MWAA ist in Apache Airflow-Protokolle CloudWatch und Umgebungsmetriken integriert und stellt diese bereit CloudWatch, sodass Sie Ihre Amazon MWAA-Ressourcen überwachen und Probleme beheben können.

Konnektivität

Ihre Amazon MWAA-Umgebung benötigt Zugriff auf alle Services, in die sie integriert ist. AWS Die Amazon MWAA-Ausführungsrolle steuert, wie Amazon MWAA Zugriff gewährt wird, um in Ihrem Namen eine Verbindung zu anderen Diensten herzustellen. AWS Für die Netzwerkkonnektivität können Sie entweder öffentlichen Internetzugang für Ihre Amazon VPC bereitstellen oder Amazon VPC-Endpunkte erstellen. Weitere Informationen zur Konfiguration von Amazon VPC-Endpunkten (AWS PrivateLink) für Ihre Umgebung finden Sie unter Verwaltung des Zugriffs auf VPC-Endpunkte auf Amazon MWAA im Amazon MWAA-Benutzerhandbuch.

Amazon MWAA installiert Anforderungen für den Scheduler und den Worker. Wenn Ihre Anforderungen aus einem öffentlichen PyPiRepository stammen, benötigt Ihre Umgebung eine Verbindung zum Internet, um die erforderlichen Bibliotheken herunterladen zu können. Für private Umgebungen können Sie entweder ein privates PyPi Repository verwenden oder die Bibliotheken in .whlDateien als benutzerdefinierte Plugins für Ihre Umgebung bündeln.

Wenn Sie Apache Airflow im privaten Modus konfigurieren, kann Ihre Amazon VPC nur über Amazon VPC-Endpunkte auf die Apache Airflow-Benutzeroberfläche zugreifen.

Weitere Informationen über Netzwerke finden Sie unter Networking im Amazon MWAA-Benutzerhandbuch.