Änderung der Apache Airflow Airflow-Version

Amazon MWAA unterstützt kleinere Versions-Upgrades und -Downgrades. Das bedeutet, dass Sie Ihre Umgebung von Version x.4.z zu x.5.z oder von bis aktualisieren können. x.5.z x.4.z Um ein Upgrade einer Hauptversion durchzuführen, z. B. von Version 1.y.z zu Version2.y.z, müssen Sie eine neue Umgebung erstellen und Ihre Ressourcen migrieren. Weitere Informationen zum Upgrade auf eine neue Hauptversion von Apache Airflow finden Sie unter Migration zu einer neuen Amazon MWAA-Umgebung im Amazon MWAA-Migrationshandbuch.

Während des Upgrade- oder Downgrade-Vorgangs erfasst Amazon MWAA einen Snapshot der Metadaten Ihrer Umgebung, führt ein Upgrade oder Downgrade der Worker, Scheduler und des Webservers auf die neue Apache Airflow Airflow-Version durch und stellt schließlich die Metadatendatenbank mithilfe des Snapshots wieder her.

Stellen Sie vor dem Upgrade oder Downgrade sicher, dass Ihre DAGs und andere Workflow-Ressourcen mit der neuen Apache Airflow Airflow-Version kompatibel sind, auf die Sie aktualisieren. Wenn Sie a requirements.txt zur Verwaltung von Abhängigkeiten verwenden, müssen Sie auch sicherstellen, dass die Abhängigkeiten, die Sie in Ihren Anforderungen angeben, mit der neuen Version kompatibel sind.

Führen Sie ein Upgrade oder Downgrade Ihrer Workflow-Ressourcen durch

Wenn Sie Apache Airflow Airflow-Versionen ändern, stellen Sie sicher, dass Sie in Ihrem requirements.txtauf die richtige --constraint URL verweisen.

Warnung

Wenn Sie während eines Upgrades oder Downgrades Anforderungen angeben, die mit Ihrer Apache Airflow-Zielversion nicht kompatibel sind, kann dies zu einem langwierigen Rollback-Prozess auf die vorherige Version von Apache Airflow mit der vorherigen Anforderungsversion führen.

Migrieren Sie Ihre Workflow-Ressourcen

1. Erstellen Sie einen Fork des aws-mwaa-local-runnerRepositorys und klonen Sie eine Kopie des lokalen Amazon MWAA-Runners.

2. Gehen Sie zu dem Zweig des aws-mwaa-local-runner Repositorys, der der Version entspricht, auf die Sie ein Upgrade oder Downgrade durchführen.

3. Verwenden Sie das Amazon MWAA Local Runner CLI-Tool, um das Docker-Image zu erstellen und Apache Airflow lokal auszuführen. Weitere Informationen finden Sie in der README-Datei für den lokalen Runner im Repository. GitHub

4. Um Ihre zu aktualisierenrequirements.txt, folgen Sie den bewährten Methoden, die wir unter Verwaltung von Python-Abhängigkeiten im Amazon MWAA-Benutzerhandbuch empfehlen.

5. (Optional) Um den Upgrade- oder Downgrade-Prozess zu beschleunigen, bereinigen Sie die Metadaten-Datenbank der Umgebung. Das Upgrade von Umgebungen mit einer großen Menge an Metadaten kann erheblich länger dauern.

6. Nachdem Sie Ihre Workflow-Ressourcen erfolgreich getestet haben, kopieren Sie Ihre DAGsrequirements.txt, und Plugins in den Amazon S3 S3-Bucket Ihrer Umgebung.

Sie sind jetzt bereit, die Umgebung zu bearbeiten, eine neue Apache Airflow Airflow-Version anzugeben und den Aktualisierungsvorgang zu starten.

Geben Sie die neue Version an

Nachdem Sie die Aktualisierung Ihrer Workflow-Ressourcen abgeschlossen haben, um die Kompatibilität mit der neuen Apache Airflow-Version sicherzustellen, gehen Sie wie folgt vor, um die Umgebungsdetails zu bearbeiten und die Version von Apache Airflow anzugeben, auf die Sie aktualisieren möchten.

Anmerkung

Wenn Sie ein Upgrade oder Downgrade durchführen, werden alle Aufgaben, die derzeit in der Umgebung ausgeführt werden, während des Vorgangs beendet. Der Aktualisierungsvorgang kann bis zu zwei Stunden dauern. Während dieser Zeit ist Ihre Umgebung nicht verfügbar.

Geben Sie mithilfe der Konsole eine neue Version an

1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

2. Wählen Sie aus der Liste der Umgebungen die Umgebung aus, für die Sie ein Upgrade oder Downgrade durchführen möchten.

3. Wählen Sie auf der Umgebungsseite Bearbeiten aus, um die Umgebung zu bearbeiten.

4. Wählen Sie im Abschnitt Umgebungsdetails für die Airflow-Version die Apache Airflow Airflow-Versionsnummer, auf die Sie die Umgebung aktualisieren oder herabstufen möchten, aus der Dropdownliste aus.

5. Wählen Sie Weiter, bis Sie auf der Seite Überprüfen und speichern sind.

6. Überprüfen Sie auf der Seite Überprüfen und speichern Ihre Änderungen und wählen Sie dann Speichern.

Wenn Sie die Änderungen übernehmen, beginnt Ihre Umgebung mit dem Upgrade- oder Downgrade-Verfahren. Während dieses Zeitraums gibt der Status Ihrer Umgebung an, welche Maßnahmen Amazon MWAA ergreift und ob das Verfahren erfolgreich ist.

In einem erfolgreichen Upgrade- oder Downgrade-Szenario wird der Status angezeigtUPDATING, CREATING_SNAPSHOT während Amazon MWAA eine Sicherungskopie Ihrer Metadaten erfasst. Schließlich wird der Status zuerst zu und dann zu dem AVAILABLE ZeitpunktUPDATING, zu dem der Vorgang abgeschlossen ist, zurückgesetzt.

Wenn das Upgrade oder Downgrade der Umgebung fehlschlägt, wird Ihr Umgebungsstatus angezeigt. ROLLING_BACK Wenn das Rollback erfolgreich ist, wird zunächst der Status angezeigt, was darauf hinweistUPDATE_FAILED, dass das Update fehlgeschlagen ist, die Umgebung jedoch verfügbar ist. Wenn das Rollback fehlschlägt, wird der Status angezeigt, was darauf hinweistUNAVAILABLE, dass Sie nicht auf die Umgebung zugreifen können.