Mettre à jour un environnement Amazon MWAA

Note

Les mises à jour progressives d'Amazon MWAA ne sont pas encore prises en charge dans les régions de l'Ouest du Canada (Calgary) et de l'Asie-Pacifique (Malaisie).

Les mises à jour de l'environnement Amazon MWAA appliquent les dernières modifications et correctifs de sécurité. Vous pouvez également modifier les configurations existantes et mettre à niveau la version d'Apache Airflow. Ce guide décrit les étapes de mise à jour d'un environnement Amazon MWAA.

Table des matières

• Avant de commencer

• Stratégie de remplacement des travailleurs

• Mettre à jour les ressources environnementales

• Mettre à jour un environnement

  • Première étape : Spécifier les détails

  • Deuxième étape : configurer les paramètres avancés

  • Troisième étape : révision et mise à jour

Avant de commencer

• Le réseau VPC que vous avez spécifié pour votre environnement ne peut pas être modifié une fois l'environnement créé.

• Vous avez besoin d'un compartiment Amazon S3 configuré pour bloquer tout accès public, avec activation de la gestion des versions des compartiments.

• Vous devez disposer d'un AWS compte autorisé pour utiliser Amazon MWAA et d'un droit d'accès AWS Identity and Access Management (IAM) pour créer des rôles IAM. Si vous choisissez le mode d'accès réseau privé pour le serveur Web Apache Airflow, qui limite l'accès à Apache Airflow au sein de votre Amazon VPC, vous aurez besoin d'une autorisation dans IAM pour créer des points de terminaison Amazon VPC.

• Pour activer les mises à jour de l'environnement Graceful, vous devez effectuer une mise à niveau vers Apache Airflow version 2.4.3 ou supérieure. Pour mettre à niveau la version Airflow, voirMise à niveau de la version d'Apache Airflow.

Stratégie de remplacement des travailleurs

Vous pouvez choisir une stratégie de remplacement des travailleurs pour contrôler la manière dont Amazon MWAA gère les travailleurs actifs lors d'une mise à jour de l'environnement. Vous pouvez sélectionner l'une des stratégies suivantes :

Mises à jour forcées

La mise à jour forcée est la stratégie de remplacement des travailleurs par défaut. Les mises à jour forcées arrêtent immédiatement tous les travailleurs actifs, ce qui entraîne l'échec des tâches en cours d'exécution pendant la mise à jour.

Mises à jour gracieuses

Les mises à jour gracieuses permettent aux employés de continuer à exécuter des tâches jusqu'à 12 heures avant de les arrêter. Il empêche les tâches d'échouer en raison d'interruptions de mise à jour, à condition qu'elles se terminent en moins de 12 heures. Les nouvelles tâches sont acheminées vers les travailleurs mis à jour.

Pour activer les mises à jour gracieuses sur un environnement existant, vous devez effectuer une mise à jour forcée et vous assurer que l'environnement fonctionne sur Apache Airflow version 2.4.3 ou supérieure.

Note

Si vous effectuez une mise à jour alors que l'MAINTENANCEétat de votre environnement est en cours, la stratégie de remplacement du personnel pour toute mise à jour continue de l'environnement passe de GRACEFUL àFORCED. Votre mise à jour est effectuée une fois la maintenance terminée.

Mettre à jour les ressources environnementales

Les mises à jour de l'environnement Amazon MWAA utilisent la configuration d'environnement existante par défaut. Pour mettre à jour l'environnement sans modifier votre configuration actuelle :

1. Ouvrez la page Environnements sur la console Amazon MWAA.

2. Dans la liste Environnements, choisissez l'environnement que vous souhaitez mettre à jour.

3. Sur la page de l'environnement, choisissez Modifier pour modifier l'environnement.

4. Choisissez Suivant jusqu'à ce que vous soyez sur la page Réviser et enregistrer.

5. Sur la page Réviser et enregistrer, passez en revue vos modifications, puis choisissez Enregistrer.

Mettre à jour un environnement

La section suivante décrit les étapes de mise à jour d'un environnement Amazon MWAA.

Première étape : Spécifier les détails

Pour spécifier les détails de l'environnement

1. Ouvrez la page Environnements sur la console Amazon MWAA.

2. Dans la liste Environnements, choisissez l'environnement que vous souhaitez mettre à jour.

3. Sur la page de l'environnement, choisissez Modifier pour modifier l'environnement.

4. Dans la section Détails de l'environnement, pour la version d'Airflow, choisissez le nouveau numéro de version d'Apache Airflow vers lequel vous souhaitez mettre à niveau l'environnement dans la liste déroulante.

   Note

   Avant de procéder à la mise à niveau, assurez-vous que vos ressources de flux de travail DAGs et les autres sont compatibles avec la nouvelle version d'Apache Airflow. Pour de plus amples informations, veuillez consulter Mise à niveau de la version d'Apache Airflow.

5. Sous le code DAG dans Amazon S3, spécifiez les éléments suivants :

   1. Seau S3. Choisissez Browse S3 et sélectionnez votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   2. DAGs folder. Choisissez Browse S3 et sélectionnez le dags dossier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   3. Fichier de plugins : facultatif. Choisissez Browse S3 et sélectionnez le plugins.zip fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   4. Fichier des exigences : facultatif. Choisissez Browse S3 et sélectionnez le requirements.txt fichier dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

   5. Fichier de script de démarrage : facultatif. Choisissez Browse S3 et sélectionnez le fichier de script dans votre compartiment Amazon S3, ou entrez l'URI Amazon S3.

6. Choisissez Suivant.

Deuxième étape : configurer les paramètres avancés

Pour configurer les paramètres avancés

1. Sous Accès au serveur Web, sélectionnez votre mode d'accès Apache Airflow préféré :

   1. Réseau privé. Cela limite l'accès à l'interface utilisateur d'Apache Airflow aux utilisateurs de votre Amazon VPC qui ont obtenu l'accès à la politique IAM de votre environnement. Pour cette étape, vous devez disposer d'une autorisation pour créer des points de terminaison Amazon VPC.

      Note

      Choisissez l'option Réseau privé si votre interface utilisateur Apache Airflow est uniquement accessible au sein d'un réseau d'entreprise et si vous n'avez pas besoin d'accéder aux référentiels publics pour l'installation des exigences du serveur Web. Si vous choisissez cette option de mode d'accès, vous devez créer un mécanisme pour accéder à votre serveur Web Apache Airflow dans votre Amazon VPC. Pour de plus amples informations, veuillez consulter Accès au point de terminaison VPC de votre serveur Web Apache Airflow (accès réseau privé).

   2. Réseau public. Cela permet aux utilisateurs autorisés à accéder à l'interface utilisateur d'Apache Airflow via Internet à la politique IAM de votre environnement.

2. Sous Groupe (s) de sécurité, choisissez le groupe de sécurité utilisé pour sécuriser votre Amazon VPC :

   1. Par défaut, Amazon MWAA crée un groupe de sécurité dans votre Amazon VPC avec des règles d'entrée et de sortie spécifiques dans Créer un nouveau groupe de sécurité.

   2. Facultatif. Décochez la case dans Créer un nouveau groupe de sécurité pour sélectionner jusqu'à 5 groupes de sécurité.

      Note

      Un groupe de sécurité Amazon VPC existant doit être configuré avec des règles entrantes et sortantes spécifiques pour autoriser le trafic réseau. Pour en savoir plus, veuillez consulter la section Sécurité de votre VPC sur Amazon MWAA.

3. Sous Classe d'environnement, choisissez une classe d'environnement.

   Nous vous recommandons de choisir la plus petite taille nécessaire pour supporter votre charge de travail. Vous pouvez modifier la classe d'environnement à tout moment.

4. Pour Nombre maximal de travailleurs, spécifiez le nombre maximal de travailleurs Apache Airflow à exécuter dans l'environnement.

   Pour de plus amples informations, veuillez consulter Exemple de cas d'utilisation à hautes performances.

5. Spécifiez le nombre maximal de serveurs Web et le nombre minimal de serveurs Web pour configurer la manière dont Amazon MWAA adapte les serveurs Web Apache Airflow dans votre environnement.

   Pour plus d'informations sur le dimensionnement automatique du serveur Web, consultezConfiguration du dimensionnement automatique du serveur Web Amazon MWAA.

6. Sous Chiffrement, choisissez une option de chiffrement des données :

   1. Par défaut, Amazon MWAA utilise une AWS clé propre pour chiffrer vos données.

   2. Facultatif. Choisissez Personnaliser les paramètres de chiffrement (avancés) pour choisir une autre AWS KMS clé. Si vous choisissez de spécifier une clé gérée par le client à cette étape, vous devez spécifier un ID de AWS KMS clé ou un ARN. AWS KMS les alias et les clés multirégionales ne sont pas pris en charge par Amazon MWAA. Si vous avez spécifié une clé Amazon S3 pour le chiffrement côté serveur sur votre compartiment Amazon S3, vous devez spécifier la même clé pour votre environnement Amazon MWAA.

      Note

      Vous devez être autorisé à accéder à la clé pour la sélectionner sur la console Amazon MWAA. Vous devez également autoriser Amazon MWAA à utiliser la clé en joignant la politique décrite dansJoindre une politique clé.

7. Recommandé Sous Surveillance, choisissez une ou plusieurs catégories de journaux pour la configuration de journalisation Airflow afin d'envoyer les journaux Apache Airflow à CloudWatch Logs :

   1. Journaux des tâches Airflow. Choisissez le type de journaux de tâches Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   2. Journaux du serveur Web Airflow. Choisissez le type de journaux du serveur Web Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   3. Journaux du planificateur de débit d'air. Choisissez le type de journaux du planificateur Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   4. Journaux des travailleurs de Airflow. Choisissez le type de journaux de travail Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

   5. Journaux de traitement Airflow DAG. Choisissez le type de journaux de traitement du DAG Apache Airflow à envoyer au niveau CloudWatch Logs in Log.

8. Facultatif. Pour les options de configuration Airflow, choisissez l'option Ajouter une configuration personnalisée.

   Vous pouvez choisir parmi la liste déroulante suggérée des options de configuration d'Apache Airflow pour votre version d'Apache Airflow ou spécifier des options de configuration personnalisées. Par exemple, core.default_task_retries :3.

9. Sous Autorisations, choisissez un rôle d'exécution :

   1. Par défaut, Amazon MWAA crée un rôle d'exécution dans Create a new role. Vous devez être autorisé à créer des rôles IAM pour utiliser cette option.

   2. Facultatif. Choisissez Enter role ARN pour saisir le Amazon Resource Name (ARN) d'un rôle d'exécution existant.

10. Sous Spécifications de mise à jour, choisissez un Stratégie de remplacement des travailleurs pour contrôler la manière dont les travailleurs actifs sont traités lors d'une mise à jour.

11. Choisissez Suivant.

Troisième étape : révision et mise à jour

Pour consulter un résumé de l'environnement

• Consultez le résumé de l'environnement, puis choisissez Enregistrer.

  Note

  Il faut environ vingt à trente minutes pour mettre à jour un environnement à l'aide de mises à jour forcées. Les mises à jour régulières de l'environnement peuvent prendre jusqu'à douze heures, en attendant la fin de vos tâches en cours.