設定 Amazon MWAA 環境類別 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定 Amazon MWAA 環境類別

您為 Amazon MWAA 環境選擇的環境類別會決定 C elle 執行程式執行程式執行所在的 AWS受管 AWS Fargate 容器的大小,以及由 Apache AWS氣流排程器建立任務執行個體的受管 Amazon Aurora PostgreSQL 中繼資料資料庫。本頁說明每個 Amazon MWAA 環境類別,以及在 Amazon MWAA 主控台上更新環境類別的步驟。

環境能力

下節包含每個環境類別的預設並行 Apache Airflow 工作、隨機存取記憶體 (RAM) 以及虛擬集中處理單元 (vCPUs)。列出的並行工作假設工作並行性未超過環境中的 Apache Airflow Worker 容量。

在下表中,DAG 容量是指 DAG 定義,而不是執行項目,並假設您的 DAG 在單一 Python 檔案中是動態的,並以 Apache 氣流最佳作法撰寫。

工作執行取決於同時排定的數目,並假設設定為同時啟動的 DAG 執行數目不超過預設值 max_dagruns_per_loop_to_schedule,以及本主題中詳述的 Worker 大小和數目。

mw1.small
  • 最多 50 個天儲存容量

  • 5 個並發任務(默認情況下)

  • 1 個 vCPUs

  • 2 GB 內存

mw1.medium
  • 最高可達 200 天儲存容量

  • 10 個並發任務(默認情況下)

  • 2 個 vCPUs

  • 4 GB 公羊

mw1.large
  • 最高可達 1000 天儲存容量

  • 20 個並發任務(默認情況下)

  • 4 個 vCPUs

  • 8 GB RAM

mw1.xlarge
  • 高達 2000 個每日儲存容量

  • 40 個並發任務(默認情況下)

  • 8 個 vCPUs

  • 24 GB 記憶體

mw1.2xlarge
  • 最高可達 4000 天的儲存容量

  • 80 個並發任務(默認情況下)

  • 16 個 vCPU

  • 48 GB 公斤記憶體

您可以使用celery.worker_autoscale來增加每個工作者的工作。如需更多資訊,請參閱範例高效能使用案例

阿帕奇氣流調度

下節包含 Amazon MWAA 上可用的 Apache 氣流排程器選項,以及排程器數量如何影響觸發器的數量。

在 Apache Airflow 中,觸發器會管理工作,直到符合使用觸發器指定的特定條件為止。在 Amazon MWAA 中,觸發器會在同一個 Fargate 任務上與排程器一起執行。相應地增加排程器計數會增加可用的觸發器數目,進而最佳化環境管理延遲工作的方式。這樣可以確保任務的有效處理,並立即安排它們在滿足條件時運行。

Apache Airflow v2
  • v2-接受2到之間5。預設為 2