Mise à niveau de la version d'Apache Airflow

Amazon MWAA prend en charge les mises à niveau de versions mineures. Cela signifie que vous pouvez mettre à niveau votre environnement de la version x.4.z àx.5.z. Pour effectuer une mise à niveau de version majeure, par exemple de la version 1.y.z vers2.y.z, vous devez créer un nouvel environnement et migrer vos ressources. Pour plus d'informations sur la mise à niveau vers une nouvelle version majeure d'Apache Airflow, consultez la section Migration vers un nouvel environnement Amazon MWAA dans le guide de migration Amazon MWAA.

Au cours du processus de mise à niveau, Amazon MWAA capture un instantané des métadonnées de votre environnement, met à niveau les travailleurs, les planificateurs et le serveur Web vers la nouvelle version d'Apache Airflow, puis restaure la base de données de métadonnées à l'aide de l'instantané.

Note

Vous ne pouvez pas rétrograder la version d'Apache Airflow pour votre environnement.

Avant de procéder à la mise à niveau, assurez-vous que vos DAG et autres ressources de flux de travail sont compatibles avec la nouvelle version d'Apache Airflow vers laquelle vous effectuez la mise à niveau. Si vous utilisez a requirements.txt pour gérer les dépendances, vous devez également vous assurer que les dépendances que vous spécifiez dans vos exigences sont compatibles avec la nouvelle version.

Améliorez les ressources de votre flux de travail

Chaque fois que vous modifiez la version d'Apache Airflow, assurez-vous de référencer l'--constraintURL correcte dans votrerequirements.txt.

Avertissement

La spécification d'exigences incompatibles avec votre version cible d'Apache Airflow lors d'une mise à niveau peut entraîner un long processus de restauration vers la version précédente d'Apache Airflow par rapport à la version précédente des exigences.

Pour migrer les ressources de votre flux de travail

1. Créez un fork du aws-mwaa-local-runnerréférentiel et clonez une copie du runner local Amazon MWAA.

2. Accédez à la branche du aws-mwaa-local-runner référentiel qui correspond à la version vers laquelle vous effectuez la mise à niveau.

3. Utilisez l'outil CLI Amazon MWAA local Runner pour créer l'image Docker et exécuter Apache Airflow localement. Pour plus d'informations, consultez le fichier README du lanceur local dans le GitHub référentiel.

4. Pour mettre à jour votre requirements.txt compte, suivez les meilleures pratiques que nous recommandons dans la section Gestion des dépendances Python, dans le guide de l'utilisateur Amazon MWAA.

5. (Facultatif) Pour accélérer le processus de mise à niveau, nettoyez la base de données de métadonnées de l'environnement. La mise à niveau des environnements contenant une grande quantité de métadonnées peut prendre beaucoup plus de temps.

6. Après avoir testé avec succès les ressources de votre flux de travail, copiez vos DAG et vos plugins dans le compartiment Amazon S3 de votre environnement. requirements.txt

Vous êtes maintenant prêt à modifier l'environnement, à spécifier une nouvelle version d'Apache Airflow et à démarrer la procédure de mise à jour.

Spécifiez la nouvelle version

Après avoir mis à jour les ressources de votre flux de travail pour garantir la compatibilité avec la nouvelle version d'Apache Airflow, procédez comme suit pour modifier les détails de l'environnement et spécifier la version d'Apache Airflow vers laquelle vous souhaitez effectuer la mise à niveau.

Note

Lorsque vous effectuez une mise à niveau, toutes les tâches en cours d'exécution sur l'environnement sont interrompues au cours de la procédure. La procédure de mise à jour peut prendre jusqu'à deux heures, période pendant laquelle votre environnement ne sera pas disponible.

Pour spécifier une nouvelle version à l'aide de la console

1. Ouvrez la page Environnements sur la console Amazon MWAA.

2. Dans la liste Environnements, choisissez l'environnement que vous souhaitez mettre à niveau.

3. Sur la page de l'environnement, choisissez Modifier pour modifier l'environnement.

4. Dans la section Détails de l'environnement, pour la version d'Airflow, choisissez le nouveau numéro de version d'Apache Airflow vers lequel vous souhaitez mettre à niveau l'environnement dans la liste déroulante.

5. Choisissez Suivant jusqu'à ce que vous soyez sur la page Réviser et enregistrer.

6. Sur la page Réviser et enregistrer, passez en revue vos modifications, puis choisissez Enregistrer.

Lorsque vous appliquez des modifications, votre environnement lance la procédure de mise à niveau. Au cours de cette période, l'état de votre environnement indique les actions entreprises par Amazon MWAA et indique si la procédure est réussie.

Dans un scénario de mise à niveau réussi, le statut s'afficheraUPDATING, CREATING_SNAPSHOT alors qu'Amazon MWAA capture une sauvegarde de vos métadonnées. Enfin, le statut reviendra d'abord àUPDATING, puis à une AVAILABLE fois la procédure terminée.

Si la mise à niveau de l'environnement échoue, l'état de votre environnement s'afficheraROLLING_BACK. Si la restauration est réussie, le statut s'affichera d'abordUPDATE_FAILED, indiquant que la mise à jour a échoué mais que l'environnement est disponible. Si la restauration échoue, le statut s'afficheraUNAVAILABLE, indiquant que vous ne pouvez pas accéder à l'environnement.