Architecture réseau Amazon MWAA

La section suivante décrit les principaux composants d'un environnement Amazon MWAA, ainsi que l'ensemble des AWS services auxquels chaque environnement s'intègre pour gérer ses ressources, assurer la sécurité de vos données et assurer la surveillance et la visibilité de vos flux de travail.

Composants Amazon MWAA

Les environnements Amazon MWAA se composent des quatre composants principaux suivants :

1. Planificateur : analyse et surveille tous vos DAG, et met en file d'attente les tâches à exécuter lorsque les dépendances d'un DAG sont satisfaites. Amazon MWAA déploie le planificateur sous la forme d'un AWS Fargate cluster avec un minimum de 2 planificateurs. Vous pouvez augmenter le nombre de planificateurs jusqu'à cinq, en fonction de votre charge de travail. Pour plus d'informations sur les classes d'environnement Amazon MWAA, consultez la section Classe d'environnement Amazon MWAA.

2. Travailleurs : une ou plusieurs tâches Fargate qui exécutent vos tâches planifiées. Le nombre de travailleurs pour votre environnement est déterminé par une plage comprise entre le nombre minimum et maximum que vous spécifiez. Amazon MWAA démarre l'auto-scaling des travailleurs lorsque le nombre de tâches en attente et en cours d'exécution est supérieur à ce que vos employés actuels peuvent gérer. Lorsque la somme des tâches en cours d'exécution et en file d'attente est nulle pendant plus de deux minutes, Amazon MWAA réduit le nombre de travailleurs à son minimum. Pour plus d'informations sur la façon dont Amazon MWAA gère le dimensionnement automatique des travailleurs, consultez Amazon MWAA automatic scaling.

3. Serveur Web : exécute l'interface utilisateur Web d'Apache Airflow. Vous pouvez configurer le serveur Web avec un accès réseau privé ou public. Dans les deux cas, l'accès à vos utilisateurs Apache Airflow est contrôlé par la politique de contrôle d'accès que vous définissez dans AWS Identity and Access Management (IAM). Pour plus d'informations sur la configuration des politiques d'accès IAM pour votre environnement, consultez Accès à un environnement Amazon MWAA.

4. Base de données — Stocke les métadonnées relatives à l'environnement Apache Airflow et à vos flux de travail, y compris l'historique des exécutions du DAG. La base de données est une base de données Aurora PostgreSQL à locataire unique gérée et accessible AWS par le Scheduler et les conteneurs Fargate du Workers via un point de terminaison Amazon VPC sécurisé de manière privée.

Chaque environnement Amazon MWAA interagit également avec un ensemble de AWS services pour gérer diverses tâches, notamment le stockage et l'accès aux DAG et aux dépendances des tâches, la sécurisation de vos données au repos, ainsi que la journalisation et la surveillance de votre environnement. Le schéma suivant illustre les différents composants d'un environnement Amazon MWAA.

Note

Le service Amazon VPC n'est pas un VPC partagé. Amazon MWAA crée un VPC AWS propriétaire pour chaque environnement que vous créez.

• Amazon S3 — Amazon MWAA stocke toutes les ressources de votre flux de travail, telles que les DAG, les exigences et les fichiers de plug-in dans un compartiment Amazon S3. Pour plus d'informations sur la création du compartiment dans le cadre de la création de l'environnement et sur le téléchargement de vos ressources Amazon MWAA, consultez la section Créer un compartiment Amazon S3 pour Amazon MWAA dans le guide de l'utilisateur Amazon MWAA.

• Amazon SQS — Amazon MWAA utilise Amazon SQS pour mettre en file d'attente vos tâches de flux de travail avec un exécuteur Celery.

• Amazon ECR — Amazon ECR héberge toutes les images Apache Airflow. Amazon MWAA prend uniquement en charge les AWS images Apache Airflow gérées.

• AWS KMS— Amazon MWAA les utilise AWS KMS pour garantir la sécurité de vos données au repos. Par défaut, Amazon MWAA utilise des AWS KMSclés AWS gérées, mais vous pouvez configurer votre environnement pour utiliser votre propre clé gérée par le clientAWS KMS. Pour plus d'informations sur l'utilisation de votre propre AWS KMS clé gérée par le client, consultez la section Clés gérées par le client pour le chiffrement des données dans le guide de l'utilisateur Amazon MWAA.

• CloudWatch— Amazon MWAA s'intègre à Apache Airflow CloudWatch et fournit des journaux et des métriques d'environnement CloudWatch, ce qui vous permet de surveiller vos ressources Amazon MWAA et de résoudre les problèmes.

Connectivité

Votre environnement Amazon MWAA doit avoir accès à tous les AWS services auxquels il s'intègre. Le rôle d'exécution Amazon MWAA contrôle la manière dont l'accès est accordé à Amazon MWAA pour se connecter à d'autres AWS services en votre nom. Pour la connectivité réseau, vous pouvez fournir un accès Internet public à votre Amazon VPC ou créer des points de terminaison Amazon VPC. Pour plus d'informations sur la configuration des points de terminaison Amazon VPC (AWS PrivateLink) pour votre environnement, consultez la section Gestion de l'accès aux points de terminaison VPC sur Amazon MWAA dans le guide de l'utilisateur Amazon MWAA.

Amazon MWAA installe les exigences sur le planificateur et le programme de travail. Si vos besoins proviennent d'un PyPiréférentiel public, votre environnement doit être connecté à Internet pour télécharger les bibliothèques requises. Pour les environnements privés, vous pouvez soit utiliser un PyPi dépôt privé, soit regrouper les bibliothèques dans des .whlfichiers sous forme de plugins personnalisés pour votre environnement.

Lorsque vous configurez Apache Airflow en mode privé, l'interface utilisateur d'Apache Airflow ne peut être accessible à votre Amazon VPC que via les points de terminaison Amazon VPC.

Pour plus d'informations sur la mise en réseau, consultez la section Mise en réseau dans le guide de l'utilisateur Amazon MWAA.