本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
配置 Amazon MWAA 环境类
您为亚马逊MWAA环境选择的环境类决定了运行 Celery Executor 的 AWS托管 AWS Fargate 容器的大小,以及 Apache AWS Airflow 计划程序在其中创建任务实例的托管的 Amazon Aurora SQL Postgre 元数据数据库的大小。本主题介绍每个 Amazon MWAA 环境类以及如何在 Amazon MWAA 控制台上更新环境类。
环境功能
下一节包含每个环境类别的默认并发 Apache Airflow 任务、随机存取存储器 (RAM) 和虚拟集中处理单元 (vCPUs)。列出的并发任务假设任务并发性不超过环境中的 Apache Airflow 工作线程容量。
在下表中,DAG容量指的是DAG定义,而不是执行,并假设您在单个 Python 文件中DAGs是动态的,并且使用 Apache Airflow 最佳实践编写。
任务执行取决于同时安排的运行次数,并假设设置为同时启动的DAG运行次数不超过默认值 max_dagruns_per_loop_to_schedule
,以及本主题中详细介绍的工作人员的大小和数量。
- mw1.micro
-
-
最多 25 个DAG容量
-
3 个并发任务(默认)
-
组件:
-
网络服务器:1 v CPU、3GB RAM
-
工作程序和调度程序:1 vCPU,3GB RAM
-
数据库:2 v CPU、4GB RAM
- mw1.small
-
-
最多 50 个DAG容量
-
5 个并发任务(默认)
-
组件:
-
网络服务器:1 vCPU,每台 2GB RAM
-
工作人员:1 vCPU,每个 2GB RAM
-
调度器:1 vCPU,每个 2GB RAM
-
数据库:2 v CPU、4GB RAM
- mw1.medium
-
-
最多可容纳 250 个DAG容量
-
10 个并发任务(默认)
-
组件:
-
网络服务器:每台 1 v CPU 2GB RAM
-
工作人员:每人 2 v CPU 4GB RAM
-
调度器:每个 2 v CPU 4GB RAM
-
数据库:2 v CPU 8GB RAM
- mw1.large
-
-
最多可容纳 1000 个DAG容量
-
20 个并发任务(默认)
-
组件:
-
网络服务器:每台 2 v CPU 4GB RAM
-
工作人员:每人 4 v CPU 8GB RAM
-
调度器:每个 4 v CPU 8GB RAM
-
数据库:2 v CPU 8GB RAM
- mw1.xlarge
-
-
最多可DAG容纳 2000
-
40 个并发任务(默认)
-
组件:
- mw1.2xlarge
-
-
容量高达 4000 DAG
-
80 个并发任务(默认)
-
组件:
您可以使用 celery.worker_autoscale
来增加每个工作线程的任务数。有关更多信息,请参阅 高性能用例示例。
Apache Airflow 计划程序
以下部分包含 Amazon 上可用的 Apache Airflow 调度器选项MWAA,以及计划程序的数量如何影响触发器的数量。
在 Apache Airflow 中,触发器负责管理由其延迟的任务,直到满足使用触发器指定的特定条件时为止。在 Amazon MWAA 中,触发器与调度器一起运行相同的 Fargate 任务。增加计划程序计数会相应地增加可用触发器的数量,从而优化环境管理延迟任务的方式。这样可以确保高效处理任务,在条件满足时及时安排任务运行。
- Apache Airflow v2
-