Amazon MWAA 環境クラスの構成

Amazon MWAA 環境用に選択した環境クラスによって、「Celery Executor」が実行される AWS マネージド AWS Fargate コンテナと、Apache Airflow スケジューラがタスクインスタンスを作成する AWS マネージドの Amazon Aurora PostgreSQL メタデータデータベースのサイズが決まります。このページでは、Amazon MWAA の各環境クラスと、Amazon MWAA コンソールで環境クラスを更新する手順について説明します。

環境クラス

以下の画像は、Amazon MWAA コンソールで [環境クラス] を更新できる場所を示しています。

注記

DAG キャパシティとは、実行ではなく DAG 定義を指し、DAG が 1 つの Python ファイル内で「動的」であり、「Apache Airflow のベストプラクティス」に従って記述されていることを前提としています。

タスクの実行は、同時にスケジュールされる DAG の数によって異なり、同時に開始するように設定されている DAG 実行の数と、このトピックで詳しく説明するワーカーのサイズと数がデフォルト「max_dagruns_per_loop_to_schedule」を超えないことを前提としています。

環境機能

次のセクションには、各環境クラスのデフォルトの同時 Apache Airflow タスク、ランダムアクセスメモリ (RAM)、および仮想中央処理装置 (vCPUs) が含まれています。記載されている同時実行タスクは、タスクの同時実行性が環境内の Apache Airflow ワーカーのキャパシティを超えないことを前提としています。

mw1.small

• 同時 5 タスク (デフォルト)

• 1 vCPU

• 2 GB RAM

mw1.medium

• 同時 10 タスク (デフォルト)

• 2 vCPU

• 4 GB RAM

mw1.large

• 同時 20 タスク (デフォルト)

• 4 vCPU

• 8 GB RAM

celery.worker_autoscale を使用して、作業者 1 人あたりのタスク数を増やすことができます。詳細については、高パフォーマンスのユースケースの例 を参照してください。

Apache Airflow スケジューラー

以下のセクションでは、Amazon MWAA で使用できる Apache Airflow スケジューラーオプションと、スケジューラーの数がトリガーの数にどのように影響するかについて説明します。

Apache Airflow では、「トリガー」を使用して指定された特定の条件が満たされるまでタスクを延期するトリガーがタスクを管理します。Amazon MWAA では、トリガーは同じ Fargate タスクでスケジューラーと並行して実行されます。スケジューラーの数を増やすと、それに応じて使用可能なトリガーの数も増え、遅延されたタスクを環境がどのように管理するかが最適化されます。これにより、タスクを効率的に処理できるようになり、条件が満たされた時点でタスクを迅速に実行するようにスケジューリングできます。

Apache Airflow v2

• v2 - 2 から 5 までを受け入れます。デフォルトは 2 です。