Amazon MWAA 環境クラスの構成

Amazon MWAA 環境用に選択した環境クラスによって、Celery Executor が実行される AWSマネージド AWS Fargate コンテナのサイズと、Apache Airflow スケジューラがタスクインスタンスを作成する AWSマネージド Amazon Aurora PostgreSQL メタデータデータベースが決まります。このページでは、Amazon MWAA の各環境クラスと、Amazon MWAA コンソールで環境クラスを更新する手順について説明します。

環境機能

次のセクションには、各環境クラスのデフォルトの同時 Apache Airflow タスク、ランダムアクセスメモリ (RAM)、および仮想中央処理装置 (vCPUs) が含まれています。記載されている同時実行タスクは、タスクの同時実行性が環境内の Apache Airflow ワーカーのキャパシティを超えないことを前提としています。

次の表では、DAG 容量は実行ではなく DAG 定義を参照し、DAGs が単一の Python ファイルで動的であり、Apache Airflow のベストプラクティス で記述されていることを前提としています。

タスクの実行は、同時にスケジュールされる DAG の数によって異なり、同時に開始するように設定されている DAG 実行の数と、このトピックで詳しく説明するワーカーのサイズと数がデフォルト「max_dagruns_per_loop_to_schedule」を超えないことを前提としています。

mw1.small

• 最大 50 個の DAG 容量

• 同時 5 タスク (デフォルト)

• 1 vCPU

• 2 GB RAM

mw1.medium

• 最大 200 個の DAG 容量

• 同時 10 タスク (デフォルト)

• 2 vCPU

• 4 GB RAM

mw1.large

• 最大 1000 個の DAG 容量

• 同時 20 タスク (デフォルト)

• 4 vCPU

• 8 GB RAM

mw1.xlarge

• 最大 2000 個の DAG 容量

• 40 個の同時タスク (デフォルト）

• 8 vCPUs

• 24 GB RAM

mw1.2xlarge

• 最大 4000 個の DAG 容量

• 80 個の同時タスク (デフォルト）

• 16 vCPU

• 48 GB RAM

celery.worker_autoscale を使用して、作業者 1 人あたりのタスク数を増やすことができます。詳細については、「高パフォーマンスのユースケースの例」を参照してください。

Apache Airflow スケジューラー

以下のセクションでは、Amazon MWAA で使用できる Apache Airflow スケジューラーオプションと、スケジューラーの数がトリガーの数にどのように影響するかについて説明します。

Apache Airflow では、「トリガー」を使用して指定された特定の条件が満たされるまでタスクを延期するトリガーがタスクを管理します。Amazon MWAA では、トリガーは同じ Fargate タスクでスケジューラーと並行して実行されます。スケジューラーの数を増やすと、それに応じて使用可能なトリガーの数も増え、遅延されたタスクを環境がどのように管理するかが最適化されます。これにより、タスクを効率的に処理できるようになり、条件が満たされた時点でタスクを迅速に実行するようにスケジューリングできます。

Apache Airflow v2

• v2 - 2 から 5 までを受け入れます。デフォルトは 2 です。