Arquitetura de rede Amazon MWAA

A seção a seguir descreve os principais componentes que compõem um ambiente Amazon MWAA e o conjunto de serviços da AWS aos quais cada ambiente se integra para gerenciar os próprios recursos, manter seus dados seguros e fornecer monitoramento e visibilidade para seus fluxos de trabalho.

Componentes do Amazon MWAA

Os ambientes Amazon MWAA consistem nos quatro componentes principais a seguir:

1. Progrmador: analisa e monitora todos os seus DAGs e enfileira tarefas para execução quando as dependências de um DAG são atendidas. O Amazon MWAA implanta o programador como um cluster AWS Fargate com no mínimo dois programadores. Você pode aumentar a contagem de programadores em até cinco, dependendo da workload. Para obter mais informações sobre as classes de ambiente do Amazon MWAA, consulte Amazon MWAA environment class (Classe de ambiente do Amazon MWAA).

2. Operadores: uma ou mais tarefas do Fargate que executam suas tarefas programadas. O número de operadores em seu ambiente é determinado por um intervalo entre o número mínimo e máximo que você especifica. O Amazon MWAA começa os operadores de ajuste de escala automático quando o número de tarefas em fila e em execução é maior do que o número de tarefas que seus operadores atuais podem lidar. Quando as tarefas em execução e em fila somam zero por mais de dois minutos, o Amazon MWAA reduz a escala verticalmente do número de operadores ao mínimo. Para obter mais informações sobre como o Amazon MWAA lida com operadores de ajuste de escala automático, consulte Amazon MWAA automatic scaling (Ajuste de escala automático do Amazon MWAA).

3. Servidor web: executa a IU web do Apache Airflow. Você pode configurar o servidor web com acesso à rede pública ou privada. Em ambos os casos, o acesso aos seus usuários do Apache Airflow é controlado pela política de controle de acesso que você define em AWS Identity and Access Management (IAM). Para obter mais informações sobre como configurar políticas de acesso do IAM para seu ambiente, consulte Accessing an Amazon MWAA environment (Como acessar um ambiente Amazon MWAA).

4. Banco de dados: armazena metadados sobre o ambiente do Apache Airflow e seus fluxos de trabalho, incluindo o histórico de execução do DAG. O banco de dados é um banco de dados Aurora PostgreSQL de locatário único gerenciado pela AWS e acessível aos contêineres Fargate do Programador e Operadores por meio de um Amazon VPC endpoint protegido de forma privada.

Cada ambiente do Amazon MWAA também interage com um conjunto de serviços da AWS para lidar com uma variedade de tarefas, incluindo armazenar e acessar DAGs e dependências de tarefas, proteger seus dados em repouso e registrar em log e monitorar seu ambiente. O diagrama a seguir demonstra os diferentes componentes de um ambiente do Amazon MWAA.

nota

O serviço Amazon VPC não é uma VPC compartilhada. O Amazon MWAA cria uma VPC pertencente à AWS para cada ambiente que você cria.

• Amazon S3: o Amazon MWAA armazena todos os seus recursos de fluxo de trabalho, como DAGs, requisitos e arquivos de plug-in em um bucket do Amazon S3. Para obter mais informações sobre a criação do bucket como parte da criação do ambiente e o upload de seus recursos do Amazon MWAA, consulte Criar um bucket do Amazon S3 para o Amazon MWAA no Guia do usuário do Amazon MWAA.

• Amazon SQS: o Amazon MWAA usa o Amazon SQS para enfileirar suas tarefas de fluxo de trabalho com um executor Celery.

• Amazon ECR: o Amazon ECR é o host de todas as imagens do Apache Airflow. O Amazon MWAA só oferece suporte a imagens gerenciadas pela AWS do Apache Airflow.

• AWS KMS: o Amazon MWAA usa AWS KMS para garantir que seus dados estejam seguros em repouso. Por padrão, o Amazon MWAA usa chaves AWS KMS gerenciadas pela AWS, mas você pode configurar seu ambiente para usar sua própria chave AWS KMS gerenciada pelo cliente. Para obter mais informações sobre como usar sua própria chave AWS KMS gerenciada pelo cliente, consulte Chaves gerenciadas pelo cliente para criptografia de dados no Guia do usuário do Amazon MWAA.

• CloudWatch: o Amazon MWAA se integra ao CloudWatch e fornece logs e métricas de ambiente do Apache Airflow para o CloudWatch, permitindo que você monitore seus recursos do Amazon MWAA e solucione problemas.

Conectividade

Seu ambiente Amazon MWAA precisa acessar todos os serviços da AWS aos quais se integra. O perfil de execução do Amazon MWAA controla como o acesso é concedido ao Amazon MWAA para se conectar a outros serviços AWS em seu nome. Para conectividade de rede, você pode fornecer acesso público à Internet à sua Amazon VPC ou criar Amazon VPC endpoints. Para obter mais informações sobre a configuração de Amazon VPC endpoints (AWS PrivateLink) para seu ambiente, consulte Gerenciamento do acesso aos endpoints da VPC no Amazon MWAA no Guia do usuário do Amazon MWAA.

O Amazon MWAA instala requisitos no programador e no operador. Se seus requisitos forem provenientes de um repositório público do PyPI, seu ambiente precisará de conectividade com a Internet para baixar as bibliotecas necessárias. Para ambientes privados, você pode usar um repositório PyPI privado ou empacotar bibliotecas em arquivos .whl como plug-ins personalizados para seu ambiente.

Quando você configura o Apache Airflow no modo privado, a IU do Apache Airflow só pode ser acessada pelo seu Amazon VPC por meio de Amazon VPC endpoints.

Para obter informações sobre rede, consulte Networking (Rede) em Amazon MWAA User Guide (Guia do usuário da Amazon VPC).