Configuración de la clase de entorno Amazon MWAA

La clase de entorno que elija para su entorno Amazon MWAA determinará el tamaño de los AWS Fargate contenedores AWS gestionados en los que se ejecuta Celery Executor y de la base de datos de metadatos Amazon AWS Aurora PostgreSQL gestionada en la que los programadores de Apache Airflow crean instancias de tareas. En esta página se describe cada clase de entorno de Amazon MWAA y los pasos para actualizar la clase de entorno en la consola Amazon MWAA.

Capacidades del entorno

La siguiente sección contiene las tareas simultáneas predeterminadas de Apache Airflow, la memoria de acceso aleatorio (RAM) y las unidades de procesamiento centralizado virtuales (vCPU) de cada clase de entorno. Las tareas simultáneas enumeradas suponen que la simultaneidad de las tareas no supera la capacidad de procesamiento de trabajo de Apache Airflow en el entorno.

En la siguiente tabla, la capacidad del DAG se refiere a las definiciones del DAG, no a las ejecuciones, y supone que los DAG son dinámicos en un único archivo de Python y están escritos con las mejores prácticas de Apache Airflow.

Las ejecuciones de tareas dependen del número de tareas programadas simultáneamente y se parte del supuesto de que el número de ejecuciones de DAG programadas para que comiencen al mismo tiempo no supere el valor predeterminado de max_dagruns_per_loop_to_schedule, así como el tamaño y la cantidad de procesos de trabajo, tal como se detalla en este tema.

mw1.small

• Capacidad de hasta 50 DAG

• 5 tareas simultáneas (de forma predeterminada)

• 1 vCPU

• 2 GB de RAM

mw1.medium

• Capacidad de hasta 200 DAG

• 10 tareas simultáneas (de forma predeterminada)

• 2 vCPU

• 4 GB de RAM

mw1.large

• Capacidad de hasta 1000 DAG

• 20 tareas simultáneas (de forma predeterminada)

• 4 vCPU

• 8 GB de RAM

mw1.xlarge

• Capacidad de hasta 2000 DAG

• 40 tareas simultáneas (de forma predeterminada)

• 8 vCPU

• 24 GB DE RAM

mw1.2xlarge

• Capacidad de hasta 4000 DAG

• 80 tareas simultáneas (de forma predeterminada)

• 16 vCPU

• 48 GB DE RAM

Se puede utilizar celery.worker_autoscale para aumentar las tareas por proceso de trabajo. Para obtener más información, consulte Ejemplo de caso de uso de alto rendimiento.

Programadores de Apache Airflow

La siguiente sección contiene las opciones de programadores de Apache Airflow disponibles en Amazon MWAA y de qué modo el número de programadores afecta al número de desencadenadores.

En Apache Airflow, un desencadenador administra las tareas y las aplaza hasta que se cumplan determinadas condiciones especificadas mediante un desencadenador. En Amazon MWAA, el desencadenador se ejecuta junto con el programador en la misma tarea de Fargate. Al aumentar el número de programadores, se aumenta, en consecuencia, el número de desencadenadores disponibles, lo que optimiza la forma en que el entorno administra las tareas aplazadas. Esto garantiza una administración eficiente de las tareas, programándolas rápidamente para que se ejecuten cuando se cumplan las condiciones.

Apache Airflow v2

• v2: acepta entre 2 y 5. El valor predeterminado es 2.