Como explorar a arquitetura de rede do Amazon MWAA

A seção a seguir descreve os principais componentes que compõem um ambiente Amazon MWAA e o conjunto de AWS serviços aos quais cada ambiente se integra para gerenciar seus recursos, manter seus dados seguros e fornecer monitoramento e visibilidade para seus fluxos de trabalho.

Componentes do Amazon MWAA

Os ambientes Amazon MWAA consistem nos quatro componentes principais a seguir:

1. Agendador — analisa e monitora todas as suas DAGs tarefas e enfileira tarefas para execução quando as dependências de um DAG são atendidas. O Amazon MWAA implanta o agendador como um AWS Fargate cluster com no mínimo 2 agendadores. É possível aumentar a contagem de programadores em até cinco, dependendo da workload. Para obter mais informações sobre as classes de ambiente do Amazon MWAA, consulte Amazon MWAA environment class (Classe de ambiente do Amazon MWAA).

2. Operadores: uma ou mais tarefas do Fargate que executam suas tarefas programadas. O número de operadores em seu ambiente é determinado por um intervalo entre o número mínimo e máximo que você especifica. O Amazon MWAA começa os operadores de ajuste de escala automático quando o número de tarefas em fila e em execução é maior do que o número de tarefas que seus operadores atuais podem lidar. Quando as tarefas em execução e em fila somam zero por mais de dois minutos, o Amazon MWAA reduz a escala verticalmente do número de operadores ao mínimo. Para obter mais informações sobre como o Amazon MWAA lida com operadores de ajuste de escala automático, consulte Amazon MWAA automatic scaling (Ajuste de escala automático do Amazon MWAA).

3. Servidor web: executa a IU web do Apache Airflow. É possível configurar o servidor web com acesso à rede pública ou privada. Em ambos os casos, o acesso aos seus usuários do Apache Airflow é controlado pela política de controle de acesso que você define em AWS Identity and Access Management (IAM). Para obter mais informações sobre como configurar políticas de acesso do IAM para seu ambiente, consulte Como acessar um ambiente Amazon MWAA.

4. Banco de dados: armazena metadados sobre o ambiente do Apache Airflow e seus fluxos de trabalho, incluindo o histórico de execução do DAG. O banco de dados é um banco de dados Aurora PostgreSQL de inquilino único AWS, gerenciado e acessível aos contêineres Scheduler e Workers' Fargate por meio de um endpoint Amazon VPC protegido de forma privada.

Cada ambiente Amazon MWAA também interage com um conjunto de AWS serviços para lidar com uma variedade de tarefas, incluindo armazenar, acessar DAGs e dependências de tarefas, proteger seus dados em repouso e registrar e monitorar seu ambiente. O diagrama a seguir demonstra os diferentes componentes de um ambiente do Amazon MWAA.

nota

O serviço Amazon VPC não é uma VPC compartilhada. O Amazon MWAA cria uma AWS VPC própria para cada ambiente que você cria.

• Amazon S3 — O Amazon MWAA armazena todos os seus recursos de fluxo de trabalho, como DAGs requisitos e arquivos de plug-in, em um bucket do Amazon S3. Para obter mais informações sobre a criação do bucket como parte da criação do ambiente e o upload de seus recursos do Amazon MWAA, consulte Criar um bucket do Amazon S3 para o Amazon MWAA no Guia do usuário do Amazon MWAA.

• Amazon SQS: o Amazon MWAA usa o Amazon SQS para enfileirar suas tarefas de fluxo de trabalho com um executor Celery.

• Amazon ECR: o Amazon ECR é o host de todas as imagens do Apache Airflow. O Amazon MWAA só oferece suporte a imagens AWS gerenciadas do Apache Airflow.

• AWS KMS— O Amazon MWAA usa AWS KMS para garantir que seus dados estejam seguros em repouso. Por padrão, o Amazon MWAA usa AWS KMS chaves AWS gerenciadas, mas você pode configurar seu ambiente para usar sua própria chave gerenciada pelo cliente AWS KMS . Para obter mais informações sobre como usar sua própria AWS KMS chave gerenciada pelo cliente, consulte Chaves gerenciadas pelo cliente para criptografia de dados no Guia do usuário do Amazon MWAA.

• CloudWatch— O Amazon MWAA se integra CloudWatch e fornece registros e métricas de ambiente do Apache Airflow CloudWatch, permitindo que você monitore seus recursos do Amazon MWAA e solucione problemas.

Conectividade

Seu ambiente Amazon MWAA precisa acessar todos os AWS serviços aos quais se integra. A função de execução do Amazon MWAA controla como o acesso é concedido ao Amazon MWAA para se conectar a outros AWS serviços em seu nome. Para conectividade de rede, é possível fornecer acesso público à Internet à sua Amazon VPC ou criar Amazon VPC endpoints. Para obter mais informações sobre a configuração de Amazon VPC endpoints (AWS PrivateLink) para seu ambiente, consulte Gerenciamento do acesso aos endpoints da VPC no Amazon MWAA no Guia do usuário do Amazon MWAA.

O Amazon MWAA instala requisitos no programador e no operador. Se seus requisitos forem provenientes de um PyPirepositório público, seu ambiente precisará de conectividade com a Internet para baixar as bibliotecas necessárias. Para ambientes privados, você pode usar um PyPi repositório privado ou agrupar as bibliotecas em .whlarquivos como plug-ins personalizados para seu ambiente.

Quando você configura o Apache Airflow no modo privado, a IU do Apache Airflow só pode ser acessada pelo seu Amazon VPC por meio de Amazon VPC endpoints.

Para obter informações sobre rede, consulte Rede em Guia do usuário da Amazon MWAA.