Aktualisierung der Apache Airflow-Version

Amazon MWAA unterstützt kleinere Versions-Upgrades. Das bedeutet, dass Sie Ihre Umgebung von Version zu Version x.4.z aktualisieren können. x.5.z Um ein Upgrade einer Hauptversion durchzuführen, z. B. von Version 1.y.z zu Version2.y.z, müssen Sie eine neue Umgebung erstellen und Ihre Ressourcen migrieren. Weitere Informationen zum Upgrade auf eine neue Hauptversion von Apache Airflow finden Sie unter Migration zu einer neuen Amazon MWAA-Umgebung im Amazon MWAA-Migrationshandbuch.

Während des Upgrade-Vorgangs erfasst Amazon MWAA einen Snapshot Ihrer Umgebungsmetadaten, aktualisiert die Worker, Scheduler und den Webserver auf die neue Apache Airflow-Version und stellt schließlich die Metadaten-Datenbank mithilfe des Snapshots wieder her.

Anmerkung

Sie können die Apache Airflow-Version für Ihre Umgebung nicht herunterstufen.

Stellen Sie vor dem Upgrade sicher, dass Ihre DAGs und andere Workflow-Ressourcen mit der neuen Apache Airflow-Version kompatibel sind, auf die Sie aktualisieren. Wenn Sie a requirements.txt zur Verwaltung von Abhängigkeiten verwenden, müssen Sie auch sicherstellen, dass die Abhängigkeiten, die Sie in Ihren Anforderungen angeben, mit der neuen Version kompatibel sind.

Aktualisieren Sie Ihre Workflow-Ressourcen

Wenn Sie Apache Airflow-Versionen ändern, stellen Sie sicher, dass Sie in Ihrer requirements.txt Version auf die richtige --constraint URL verweisen.

Warnung

Wenn Sie während eines Upgrades Anforderungen angeben, die mit Ihrer Apache Airflow-Zielversion nicht kompatibel sind, kann dies zu einem langwierigen Rollback-Prozess auf die vorherige Version von Apache Airflow mit der vorherigen Anforderungsversion führen.

Um Ihre Workflow-Ressourcen zu migrieren

1. Erstellen Sie einen Fork des aws-mwaa-local-runnerRepositorys und klonen Sie eine Kopie des lokalen Amazon MWAA-Runners.

2. Gehen Sie zu dem Zweig des aws-mwaa-local-runner Repositorys, der der Version entspricht, auf die Sie ein Upgrade durchführen.

3. Verwenden Sie das Amazon MWAA Local Runner CLI-Tool, um das Docker-Image zu erstellen und Apache Airflow lokal auszuführen. Weitere Informationen finden Sie in der README-Datei für den lokalen Runner im Repository. GitHub

4. Um Ihre zu aktualisierenrequirements.txt, folgen Sie den bewährten Methoden, die wir unter Verwaltung von Python-Abhängigkeiten im Amazon MWAA-Benutzerhandbuch empfehlen.

5. (Optional) Um den Upgrade-Prozess zu beschleunigen, bereinigen Sie die Metadaten-Datenbank der Umgebung. Das Upgrade von Umgebungen mit einer großen Menge an Metadaten kann erheblich länger dauern.

6. Nachdem Sie Ihre Workflow-Ressourcen erfolgreich getestet haben, kopieren Sie Ihre DAGs und Plugins in den Amazon S3 S3-Bucket Ihrer Umgebung. requirements.txt

Sie sind jetzt bereit, die Umgebung zu bearbeiten, eine neue Apache Airflow-Version anzugeben und den Aktualisierungsvorgang zu starten.

Geben Sie die neue Version an

Nachdem Sie die Aktualisierung Ihrer Workflow-Ressourcen abgeschlossen haben, um die Kompatibilität mit der neuen Apache Airflow-Version sicherzustellen, gehen Sie wie folgt vor, um die Umgebungsdetails zu bearbeiten und die Version von Apache Airflow anzugeben, auf die Sie aktualisieren möchten.

Anmerkung

Wenn Sie ein Upgrade durchführen, werden alle Aufgaben, die derzeit in der Umgebung ausgeführt werden, während des Vorgangs beendet. Der Aktualisierungsvorgang kann bis zu zwei Stunden dauern. Während dieser Zeit ist Ihre Umgebung nicht verfügbar.

Um eine neue Version mithilfe der Konsole anzugeben

1. Öffnen Sie die Seite Umgebungen auf der Amazon MWAA-Konsole.

2. Wählen Sie aus der Liste Umgebungen die Umgebung aus, für die Sie ein Upgrade durchführen möchten.

3. Wählen Sie auf der Umgebungsseite Bearbeiten aus, um die Umgebung zu bearbeiten.

4. Wählen Sie im Abschnitt Umgebungsdetails für die Airflow-Version die neue Apache Airflow-Versionsnummer, auf die Sie die Umgebung aktualisieren möchten, aus der Dropdownliste aus.

5. Wählen Sie Weiter, bis Sie auf der Seite Überprüfen und speichern sind.

6. Überprüfen Sie auf der Seite Überprüfen und speichern Ihre Änderungen und wählen Sie dann Speichern.

Wenn Sie die Änderungen übernehmen, beginnt Ihre Umgebung mit dem Upgrade-Vorgang. Während dieses Zeitraums gibt der Status Ihrer Umgebung an, welche Maßnahmen Amazon MWAA ergreift und ob das Verfahren erfolgreich ist.

In einem erfolgreichen Upgrade-Szenario wird der Status angezeigtUPDATING, CREATING_SNAPSHOT während Amazon MWAA eine Sicherungskopie Ihrer Metadaten erfasst. Schließlich kehrt der Status zuerst zu und dann zu dem AVAILABLE Zeitpunkt zurückUPDATING, an dem der Vorgang abgeschlossen ist.

Wenn die Umgebung nicht aktualisiert werden kann, wird Ihr Umgebungsstatus angezeigtROLLING_BACK. Wenn das Rollback erfolgreich ist, wird zunächst der Status angezeigt, was darauf hinweistUPDATE_FAILED, dass das Update fehlgeschlagen ist, die Umgebung jedoch verfügbar ist. Wenn das Rollback fehlschlägt, wird der Status angezeigt, was darauf hinweistUNAVAILABLE, dass Sie nicht auf die Umgebung zugreifen können.