Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Erstellen Sie eine MWAA Amazon-Umgebung
Amazon Managed Workflows for Apache Airflow richtet Apache Airflow in einer Umgebung in der von Ihnen ausgewählten Version ein und verwendet dabei denselben Open-Source-Apache Airflow und dieselbe Benutzeroberfläche, die von Apache erhältlich sind. In diesem Handbuch werden die Schritte zum Erstellen einer MWAA Amazon-Umgebung beschrieben.
Inhalt
Bevor Sie beginnen
-
Das VPCNetzwerk, das Sie für Ihre Umgebung angeben, kann nach der Erstellung der Umgebung nicht geändert werden.
-
Sie benötigen einen Amazon S3 S3-Bucket, der so konfiguriert ist, dass er den gesamten öffentlichen Zugriff blockiert und die Bucket-Versionierung aktiviert ist.
-
Sie benötigen ein AWS Konto mit Berechtigungen zur Nutzung von Amazon und die Erlaubnis in AWS Identity and Access Management (IAM)MWAA, um IAM Rollen zu erstellen. Wenn Sie den privaten Netzwerkzugriffsmodus für den Apache Airflow-Webserver wählen, der den Apache Airflow-Zugriff innerhalb Ihres Amazon einschränktVPC, benötigen Sie eine Genehmigung IAM zum Erstellen von VPC Amazon-Endpunkten.
Apache Airflow-Versionen
Die folgenden Apache Airflow-Versionen werden von Amazon Managed Workflows for Apache Airflow unterstützt.
Anmerkung
-
Ab Apache Airflow v2.2.2 MWAA unterstützt Amazon die Installation von Python-Anforderungen, Provider-Paketen und benutzerdefinierten Plugins direkt auf dem Apache Airflow-Webserver.
-
Ab Apache Airflow v2.7.2 muss Ihre Anforderungsdatei eine Erklärung enthalten.
--constraintWenn Sie keine Einschränkung angeben, gibt Amazon MWAA eine für Sie an, um sicherzustellen, dass die in Ihren Anforderungen aufgeführten Pakete mit der Version von Apache Airflow, die Sie verwenden, kompatibel sind.Weitere Informationen zum Einrichten von Einschränkungen in Ihrer Anforderungsdatei finden Sie unter Python-Abhängigkeiten installieren.
| Apache Airflow-Version | Apache Airflow-Leitfaden | Einschränkungen bei Apache Airflow | Python-Version |
|---|---|---|---|
Erstellen einer Umgebung
Im folgenden Abschnitt werden die Schritte zum Erstellen einer MWAA Amazon-Umgebung beschrieben.
Erster Schritt: Geben Sie Details an
Um Details für die Umgebung anzugeben
-
Öffnen Sie die MWAAAmazon-Konsole
. -
Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.
-
Wählen Sie Create environment (Umgebung erstellen) aus.
-
Gehen Sie auf der Seite „Details angeben“ unter Umgebungsdetails wie folgt vor:
-
Geben Sie im Feld Name einen eindeutigen Namen für Ihre Umgebung ein.
-
Wählen Sie die Apache Airflow-Version in der Airflow-Version.
Anmerkung
Wenn kein Wert angegeben ist, wird standardmäßig die neueste Apache Airflow-Version verwendet. Die neueste verfügbare Version ist Apache Airflow v2.9.2.
-
-
Geben Sie unter DAGCode in Amazon S3 Folgendes an:
-
S3-Bucket. Wählen Sie Browse S3 und wählen Sie Ihren Amazon S3-Bucket aus, oder geben Sie Amazon S3 einURI.
-
DAGsOrdner. Wählen Sie Browse S3 und wählen Sie den
dagsOrdner in Ihrem Amazon S3-Bucket aus, oder geben Sie Amazon S3 einURI. -
Plugin-Datei — optional. Wählen Sie Browse S3 und wählen Sie die
plugins.zipDatei in Ihrem Amazon S3-Bucket aus, oder geben Sie Amazon S3 einURI. -
Anforderungsdatei — optional. Wählen Sie Browse S3 und wählen Sie die
requirements.txtDatei in Ihrem Amazon S3-Bucket aus, oder geben Sie Amazon S3 einURI. -
Startskriptdatei — optional, wählen Sie Durchsuchen S3 und wählen Sie die Skriptdatei in Ihrem Amazon S3-Bucket aus, oder geben Sie Amazon S3 einURI.
-
-
Wählen Sie Weiter.
Schritt zwei: Konfigurieren Sie erweiterte Einstellungen
Konfigurieren von erweiterten Einstellungen
-
Gehen Sie auf der Seite Erweiterte Einstellungen konfigurieren unter Netzwerk wie folgt vor:
-
Wählen Sie Ihr Amazon VPC.
In diesem Schritt werden zwei der privaten Subnetze in Ihrem Amazon aufgefüllt. VPC
-
-
Wählen Sie unter Webserverzugriff Ihren bevorzugten Apache Airflow-Zugriffsmodus aus:
-
Privates Netzwerk. Dadurch wird der Zugriff auf die Apache Airflow-Benutzeroberfläche auf Benutzer in Ihrem Amazon beschränktVPC, denen Zugriff auf die IAMRichtlinie für Ihre Umgebung gewährt wurde. Für diesen Schritt benötigen Sie die Erlaubnis, VPC Amazon-Endpunkte zu erstellen.
Anmerkung
Wählen Sie die Option Privates Netzwerk, wenn auf Ihre Apache Airflow-Benutzeroberfläche nur innerhalb eines Unternehmensnetzwerks zugegriffen wird und Sie für die Installation der Webserveranforderungen keinen Zugriff auf öffentliche Repositorys benötigen. Wenn Sie diese Option für den Zugriffsmodus wählen, müssen Sie einen Mechanismus für den Zugriff auf Ihren Apache Airflow-Webserver in Ihrem Amazon VPC einrichten. Weitere Informationen finden Sie unter Zugreifen auf den VPC-Endpunkt für Ihren Apache Airflow Webserver (privater Netzwerkzugriff).
-
Öffentliches Netzwerk. Auf diese Weise können Benutzer, denen Zugriff auf die IAMRichtlinie für Ihre Umgebung gewährt wurde, über das Internet auf die Apache Airflow-Benutzeroberfläche zugreifen.
-
-
Wählen Sie unter Sicherheitsgruppe (n) die Sicherheitsgruppe aus, die zum Schutz Ihres Amazon verwendet wirdVPC:
-
Standardmäßig MWAA erstellt Amazon in Ihrem Amazon eine Sicherheitsgruppe VPC mit spezifischen Regeln für eingehenden und ausgehenden Datenverkehr unter Neue Sicherheitsgruppe erstellen.
-
Optional. Deaktivieren Sie das Kontrollkästchen unter Neue Sicherheitsgruppe erstellen, um bis zu 5 Sicherheitsgruppen auszuwählen.
Anmerkung
Eine bestehende VPC Amazon-Sicherheitsgruppe muss mit bestimmten Regeln für eingehenden und ausgehenden Datenverkehr konfiguriert werden, um Netzwerkverkehr zuzulassen. Weitere Informationen hierzu finden Sie unter Sicherheit in Ihrer VPC auf Amazon MWAA.
-
-
Wählen Sie unter Umgebungsklasse eine Umgebungsklasse aus.
Wir empfehlen, die kleinste Größe zu wählen, die zur Unterstützung Ihrer Arbeitslast erforderlich ist. Sie können die Umgebungsklasse jederzeit ändern.
-
Geben Sie für Maximale Anzahl von Workern die maximale Anzahl von Apache Airflow-Workern an, die in der Umgebung ausgeführt werden sollen.
Weitere Informationen finden Sie unter Beispiel für einen Hochleistungs-Anwendungsfall.
-
Geben Sie die maximale Anzahl an Webservern und die minimale Anzahl an Webservern an, um zu konfigurieren, wie Amazon die Apache Airflow-Webserver in Ihrer Umgebung MWAA skaliert.
Weitere Informationen zur automatischen Skalierung von Webservern finden Sie unterKonfiguration der automatischen Skalierung des Amazon MWAA-Webservers.
-
Wählen Sie unter Verschlüsselung eine Datenverschlüsselungsoption aus:
-
Standardmäßig MWAA verwendet Amazon einen AWS eigenen Schlüssel, um Ihre Daten zu verschlüsseln.
-
Optional. Wählen Sie Verschlüsselungseinstellungen anpassen (erweitert), um einen anderen AWS KMS Schlüssel auszuwählen. Wenn Sie in diesem Schritt einen vom Kunden verwalteten Schlüssel angeben möchten, müssen Sie eine AWS KMS Schlüssel-ID oder angebenARN. AWS KMS Aliase und Schlüssel für mehrere Regionen werden von Amazon nicht unterstützt. MWAA Wenn Sie in Ihrem Amazon S3-Bucket einen Amazon S3-Schlüssel für die serverseitige Verschlüsselung angegeben haben, müssen Sie denselben Schlüssel für Ihre MWAA Amazon-Umgebung angeben.
Anmerkung
Sie müssen über Berechtigungen für den Schlüssel verfügen, um ihn auf der MWAA Amazon-Konsole auswählen zu können. Sie müssen Amazon auch die Erlaubnis MWAA zur Verwendung des Schlüssels erteilen, indem Sie die unter beschriebene Richtlinie anhängen. Wichtige Richtlinien anhängen
-
-
Empfohlen. Wählen Sie unter Überwachung eine oder mehrere Protokollkategorien für die Airflow-Protokollierungskonfiguration aus, um Apache Airflow-Protokolle an Logs zu senden: CloudWatch
-
Airflow-Aufgabenprotokolle. Wählen Sie den Typ der Apache Airflow-Taskprotokolle aus, die an Logs auf CloudWatch Protokollebene gesendet werden sollen.
-
Airflow-Webserver-Protokolle. Wählen Sie den Typ der Apache Airflow-Webserver-Protokolle aus, die an Logs in CloudWatch Log-Ebene gesendet werden sollen.
-
Airflow Scheduler-Protokolle. Wählen Sie den Typ der Apache Airflow Scheduler-Protokolle aus, die an Protokolle auf Protokollebene gesendet werden sollen CloudWatch .
-
Airflow-Worker-Protokolle. Wählen Sie den Typ der Apache Airflow-Worker-Protokolle aus, die an Logs auf CloudWatch Protokollebene gesendet werden sollen.
-
Protokolle zur DAGVerarbeitung von Airflow. Wählen Sie den Typ der Apache DAG Airflow-Verarbeitungsprotokolle aus, die an Protokolle auf CloudWatch Protokollebene gesendet werden sollen.
-
-
Optional. Wählen Sie für Airflow-Konfigurationsoptionen die Option Benutzerdefinierte Konfigurationsoption hinzufügen aus.
Sie können aus der vorgeschlagenen Dropdownliste der Apache Airflow-Konfigurationsoptionen für Ihre Apache Airflow-Version wählen oder benutzerdefinierte Konfigurationsoptionen angeben. Zum Beispiel:.
core.default_task_retries3 -
Optional. Wählen Sie unter Tags die Option Neues Tag hinzufügen aus, um Ihrer Umgebung Tags zuzuordnen. Zum Beispiel
Environment:Staging. -
Wählen Sie unter Berechtigungen eine Ausführungsrolle aus:
-
Standardmäßig MWAA erstellt Amazon unter Neue Rolle erstellen eine Ausführungsrolle. Sie müssen über die Berechtigung zum Erstellen von IAM Rollen verfügen, um diese Option verwenden zu können.
-
Optional. Wählen Sie Rolle eingebenARN, um den Amazon-Ressourcennamen (ARN) einer vorhandenen Ausführungsrolle einzugeben.
-
-
Wählen Sie Weiter.
Schritt drei: Überprüfen und erstellen
Um eine Zusammenfassung der Umgebung zu überprüfen
-
Sehen Sie sich die Zusammenfassung der Umgebung an und wählen Sie Umgebung erstellen aus.
Anmerkung
Das Erstellen einer Umgebung dauert etwa zwanzig bis dreißig Minuten.
