Como configurar a classe de ambiente do Amazon MWAA

A classe de ambiente que você escolhe para seu ambiente Amazon MWAA determina o tamanho dos AWS Fargate contêineres AWS gerenciados nos quais o Celery Executor é executado e do banco de dados de metadados Amazon Aurora PostgreSQL gerenciado em que os AWS programadores do Apache Airflow criam instâncias de tarefas. Esta página descreve cada classe de ambiente do Amazon MWAA e as etapas para atualizar a classe de ambiente no console Amazon MWAA.

Funcionalidades do ambiente

A seção a seguir contém as tarefas simultâneas padrão do Apache Airflow, a Memória de Acesso Aleatório (RAM) e as unidades de processamento virtual centralizadas (vCPUs) para cada classe de ambiente. As tarefas simultâneas listadas pressupõem que a simultaneidade de tarefas não exceda a capacidade de operadores do Apache Airflow no ambiente.

Na tabela a seguir, a capacidade do DAG se refere às definições do DAG, não às execuções, e pressupõe que seus DAGs sejam dinâmicos em um único arquivo Python e escritos com as melhores práticas do Apache Airflow.

As execuções de tarefas dependem de quantas são agendadas simultaneamente, pressupondo que o número de execuções do DAG definidas para iniciar ao mesmo tempo, não exceda o padrão max_dagruns_per_loop_to_schedule, bem como o tamanho e o número de operadores, conforme detalhado neste tópico.

mw1.small

• Capacidade de até 50 DAG

• 5 tarefas simultâneas (por padrão)

• 1 vCPUs

• RAM de 2 GB

mw1.medium

• Capacidade de até 200 DAG

• 10 tarefas simultâneas (por padrão)

• 2 vCPUs

• RAM de 4 GB

mw1.large

• Capacidade de até 1000 DAG

• 20 tarefas simultâneas (por padrão)

• 4 vCPUs

• RAM de 8 GB

mw1.xlarge

• Capacidade de até 2000 DAG

• 40 tarefas simultâneas (por padrão)

• 8 vCPUs

• 24 GB DE MEMÓRIA RAM

mw1.2xlarge

• Capacidade de até 4000 DAG

• 80 tarefas simultâneas (por padrão)

• 16 vCPUs

• 48 GB DE MEMÓRIA RAM

Você pode usar celery.worker_autoscale para aumentar as tarefas por operador. Para obter mais informações, consulte Exemplo de caso de uso de alto desempenho.

Programadores do Apache Airflow

A seção a seguir contém as opções de programadores do Apache Airflow disponíveis no Amazon MWAA e como o número de programadores afeta o número de acionadores.

No Apache Airflow, um acionador gerencia tarefas que são adiadas até que certas condições, especificadas usando um acionador sejam atendidas. No Amazon MWAA, o acionador é executado com o programador na mesma tarefa do Fargate. Aumentar a contagem de programadores aumenta correspondentemente o número de acionadores disponíveis, otimizando a forma como o ambiente gerencia tarefas adiadas. Isso garante o manuseio eficiente das tarefas, programando-as prontamente para serem executadas quando as condições forem atendidas.

Apache Airflow v2

• v2: aceita de 2 a 5. Padronizado como 2.