Amazon MWAA 文件歷史記錄 - Amazon Managed Workflows for Apache Airflow

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Amazon MWAA 文件歷史記錄

下表說明從 2020 年 11 月開始 Amazon MWAA 服務文件的重要新增項目。若要接收有關本文件更新的通知，請訂閱 RSS 摘要。

變更描述日期

環境更新

GRACEFUL FORCED 如果您在環境處於 MAINTENANCE 狀態時執行更新，則新增從 workerReplacementStrategy 變更為 的注意事項。

2025 年 8 月 6 日

版本棄用資訊

更新版本棄用主題，以包含 Apache Airflow v2.4.3、Apache Airflow v2.5.1 和 Apache Airflow v2.6.3 的棄用通知和時間表。

2025 年 6 月 24 日

新增了新的環境類別：mw1.micro

Amazon MWAA 現在提供新的環境類別：mw1.micro。

2024 年 11 月 19 日

支援更簡單的方法來存取 Apache Airflow REST API

Amazon MWAA 現在提供使用 AWS 登入資料與 Apache Airflow REST API 互動的簡化方法。

2024 年 10 月 23 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow v2.10.1。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow v2.10.1 的詳細資訊。

2024 年 9 月 26 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow 2.9.2 版。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow 2.9.2 版的詳細資訊。

2024 年 7 月 9 日

Amazon MWAA 支援設定自訂 Web 伺服器網域名稱

Amazon MWAA 支援為沒有網際網路存取的私有環境設定自訂 Web 伺服器網域名稱。此更新包含下列新主題，說明設定新的自訂網域。

2024 年 6 月 18 日

Amazon MWAA 支援 Web 伺服器自動擴展和 Apache Airflow REST API

Amazon MWAA 現在支援 Web 伺服器的自動擴展，以及存取和使用 Apache Airflow REST API 的功能。

2024 年 5 月 16 日

改善自動擴展行為的描述

更新了下列主題，以反映當工作者以 Fargate 工作者規模縮減的形式接收新任務時，新的 Amazon MWAA 自動擴展行為。

2024 年 5 月 10 日

支援較大的執行個體大小

Amazon MWAA 現在支援兩個較大的執行個體大小選項，適用於較大的工作負載： mw1.xlarge和 mw1.2xlarge

2024 年 4 月 16 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow v2.8.1。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow 2.8.1 版的詳細資訊。

2024 年 2 月 22 日

支援共用的 Amazon VPC

Amazon MWAA 支援為使用 Amazon OpenSearch Service 的組織建立跨帳戶環境，以使用擁有者帳戶中的中央共用 Amazon VPC 來管理 Amazon MWAA 資源。在此啟動過程中，Amazon MWAA 可讓您選擇建立和管理自己的 Amazon VPC 端點。

2023 年 11 月 15 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow 2.7.2 版。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow 2.7.2 版的詳細資訊。

2023 年 11 月 6 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow v2.6.3。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow 2.6.3 版的詳細資訊，

2023 年 8 月 9 日

版本棄用資訊

更新版本棄用主題，以包含 Apache Airflow v2.0.2 和 Apache Airflow v2.2.2 的棄用通知和時間表。

2023 年 7 月 31 日

新的主題和使用案例

Amazon MWAA 支援次要版本升級。此更新包含下列新主題，說明如何升級環境，並確保您的工作流程資源與您升級到的 Apache Airflow 版本相容：

2023 年 6 月 5 日

更新主題

更新了客戶受管 IAM 政策，將 Amazon MWAA 的完整主控台和 API 存取權授予使用者。更新說明為什麼您必須提供 iam:PassRole 的許可，以允許使用者將角色傳遞給 Amazon MWAA。Amazon MWAA 使用這些許可來代表使用者執行動作。

2023 年 4 月 12 日

新指引

更新有關將 AWS Secrets Manager 設定為 Amazon MWAA 後端的主題，以提供使用查詢模式的指引。使用查詢模式可縮小 Apache Airflow 搜尋的秘密，並減少 Amazon MWAA 呼叫 Secrets Manager 以擷取連線和變數的 API 次數。這可降低使用 Secrets Manager 做為後端的相關成本。

2023 年 4 月 12 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow v2.5.1。此更新包含更新後提供者套件的相關資訊，以及在 Amazon MWAA 上使用 Apache Airflow 2.5.1 版的詳細資訊，

2023 年 4 月 11 日

新的主題和使用案例

新增了有關搭配 Amazon MWAA 環境使用啟動指令碼的新主題。本主題說明為現有環境設定啟動指令碼、使用它來安裝 Linux 執行期，以及設定環境變數。

2023 年 4 月 3 日

已更新私有 Web 伺服器存取的章節

已更新私有 Web 伺服器存取的下列主題。更新闡明，在具有私有 Web 伺服器存取的環境中，您必須使用 Python wheel 封存檔 (.whl) 來封裝和安裝相依性。

2023 年 2 月 24 日

新增已棄用 Apache Airflow 版本的相關資訊

使用 Amazon MWAA 如何管理取代 Apache Airflow 版本的新資訊更新版本主題。已移除有關升級至較新版本 Apache Airflow 的章節，以及描述 Apache Airflow v1 和 Apache Airflow v2 之間變更的章節。如需遷移至 Apache Airflow 新版本的詳細資訊，請參閱 Amazon MWAA 遷移指南。

2023 年 2 月 17 日

Amazon MWAA 容器指標中的修正

更新容器指標主題，並移除維Cluster度下不存在的一組錯誤指標。新增額外章節，說明如何透過繪製AdditionalWorker元件的 CPUUtilization或 MemoryUtilization 指標，並將統計資料類型設定為 ，來評估環境在特定時間使用的其他工作者數量Sample Count。

2023 年 1 月 20 日

新的 Apache Airflow 版本

Amazon MWAA 現在支援 Apache Airflow 2.4.3 版。此更新包含更新後提供者套件的相關資訊、在 Amazon MWAA 上使用 Apache Airflow v2.4.3 的詳細資訊，以及 Amazon MWAA 上每個 Apache Airflow 版本支援哪些功能的合併資訊。

2023 年 1 月 5 日

更新服務連結角色的主題

更新 Amazon MWAA 用來代表您建立和管理 AWS 資源的服務連結角色相關資訊，包括如何在不再需要時刪除服務連結角色的相關資訊。這包括更新的服務連結角色許可政策，允許 Amazon MWAA 在AWS/MWAA命名空間下發佈其他 CloudWatch 指標。

2022 年 11 月 18 日

有關服務指標的新主題

新增了主題，說明 Amazon MWAA 在 AWS/MWAA 命名空間下發出的服務指標。這些包括 Amazon ECS 叢集指標排程器、工作者和 Web 伺服器、允許 Amazon MWAA 解耦排程器和工作者之佇列的 Amazon SQS 指標，以及中繼資料資料庫的 Amazon RDS 指標。

2022 年 11 月 18 日

新主題

已新增修改限制條件檔案的新指引，以指定要搭配 Amazon MWAA 環境使用的提供者套件新版本。

2022 年 11 月 18 日

已更新常見問答集項目

更新 Amazon MWAA HIPAA 資格的相關資訊。

2022 年 11 月 15 日

新主題

新增在 Amazon MWAA 執行角色信任政策中使用 aws:SourceArn和 aws:SourceAccount全域條件內容金鑰的新主題，以防止跨服務混淆代理人。

2022 年 10 月 21 日

新的範本程式碼

新增了將自訂作業系統層級指標寫入 CloudWatch 的更新指示和 DAG 程式碼範例。

2022 年 9 月 13 日

新的範本程式碼

新增了更新的指示和擷取 Apache Airflow CLI 字符的新 AWS Lambda Python 程式碼範例，然後在指定的 Amazon MWAA 環境中叫用 DAG。

2022 年 9 月 12 日

新的架構圖

新增架構圖，示範具有公有和私有 Web 伺服器的 Amazon MWAA 環境。

2022 年 9 月 12 日

新的範本程式碼

新增了更新的指示和擷取 Apache Airflow CLI 字符的新 DAG 程式碼範例，然後在不同的 Amazon MWAA 環境中調用另一個 DAG。

2022 年 8 月 16 日

新的範本程式碼

新增了更新的指示和新的 DAG，查詢環境的 Aurora PostgreSQL 以取得中繼資料資訊、將結果寫入 CSV 檔案，並將檔案存放在 Amazon S3 中。

2022 年 8 月 12 日

新的範本程式碼

新增更新的指示和新的 DAG，以在執行時間重新整理 AWS CodeArtifact 權杖並將結果儲存在 Amazon S3 中。

2022 年 8 月 3 日

新的範本程式碼

新增在 Amazon MWAA ECSOperator中使用 的更新指示和 DAG 程式碼範例。

2022 年 7 月 26 日

新的範本程式碼

新增在 Amazon MWAA SSHOperator中使用 的更新指示和 DAG 程式碼範例。

2022 年 7 月 15 日

新的範本程式碼

新增將 dbt Postgres 與 Amazon MWAA 搭配使用的新指示和 DAG 程式碼範例。

2022 年 6 月 17 日

新的主題和使用案例

新增了使用 Python wheel 檔案為具有公有和私有存取權的 Amazon MWAA 環境安裝相依性的新指示和 DAG 程式碼範例。

2022 年 5 月 13 日

新的主題和使用案例

新增了有關選擇 Amazon MWAA 傳送至 CloudWatch 之 Apache Airflow 指標的新指引。

2022 年 4 月 19 日

新指南

Amazon MWAA 提供從自我管理部署以及現有 Amazon MWAA 環境遷移 Apache Airflow 工作流程的遷移指南。

2022 年 3 月 7 日

新的主題和使用案例

新增使用 Apache Airflow 的新安全最佳實務，包括偵測 Apache Airflow 使用者權限變更的解決方案。

2022 年 2 月 18 日

新的範本程式碼

新增使用 Pendulum 建立時區感知 DAGs 的新程式碼範例，並釐清如何使用自訂外掛程式變更建立 Apache Airflow 日誌的時區。

2022 年 2 月 11 日

Apache Airflow 2.2.2 版啟動

Amazon Managed Workflows for Apache Airflow 現在支援 Apache Airflow v2.2.2。從 v2.2 開始，Amazon MWAA 將直接在 Apache Airflow Web 伺服器上安裝 Python 套件和自訂外掛程式，讓您更靈活地管理環境。如需更多資訊，請參閱下列內容。

2022 年 1 月 27 日

新的教學課程

新增了新的教學課程，示範建立新的自訂 Apache Airflow 角色，並將角色指派給從 IAM 映射的 Apache Airflow 使用者，以限制使用者對指定 DAGs 子集的存取。

2021 年 12 月 8 日

修正項目

已修正設定 值以最佳化 CPU scheduler.min_file_process_interval 用量的最佳實務建議。新增 IAM 政策範例，授予執行角色中 Secrets Manager 資源的存取權。新增使用 Secrets Manager 條件金鑰的疑難排解主題。

2021 年 11 月 22 日

新的範例程式碼

新增下列新程式碼範例，用於修改使用自訂外掛程式處理 DAGs的時區，以及從 bash 運算子內叫用 dags backfill Apache Airflow CLI 命令的新故障診斷主題。

2021 年 11 月 1 日

修正項目

修正 Amazon ECS 運算子程式碼範例的問題，並釐清 Amazon MWAA 執行角色所需的額外許可，以允許環境存取 CloudWatch Logs 中的 Amazon ECS 任務日誌群組。

2021 年 10 月 26 日

新的範例程式碼

新增程式碼範例，查詢 Aurora PostgreSQL 資料庫以取得與 DAG 執行相關的資訊，並將結果寫入 Amazon S3 上存放CSV的檔案。

2021 年 10 月 1 日

修正項目

更正 Amazon MWAA 如何自動將新物件和變更物件從目標 Amazon S3 儲存貯體同步至排程器和工作者的相關資訊。

2021 年 10 月 1 日

現在支援

Amazon MWAA 現在支援 Apache Airflow 2.0+ 的其他供應商套件。若要進一步了解支援的套件，請參閱以下內容：

2021 年 9 月 24 日

新的命令和程序

新增在不使用網際網路存取的情況下使用 Amazon VPC 時建立 Amazon S3 閘道端點的其他指導和 AWS CLI 命令範例：

2021 年 9 月 24 日

新的主題和使用案例

新增下列變更：

2021 年 9 月 19 日

新的支援區域

Amazon MWAA 現已在下列區域提供：

  • 亞太區域 (孟買) – ap-south-1

  • 亞太區域 (首爾) – ap-northeast-2

  • 歐洲 (倫敦) – eu-west-2

  • 歐洲 (巴黎) – eu-west-3

  • 加拿大 (中部) – ca-central-1

  • 南美洲 (聖保羅) – sa-east-1

如需區域可用性和服務端點的詳細資訊，請參閱下列內容：

2021 年 8 月 31 日

新的主題和使用案例

新增下列變更：

  • 更新範例政策，以允許 Amazon MWAA 在 中擷取帳戶層級的 Amazon S3 設定 (s3:GetAccountPublicAccessBlock)Amazon MWAA 執行角色。

2021 年 8 月 27 日

修正項目

新增下列變更：

2021 年 8 月 27 日

新的主題和使用案例

新增下列變更：

2021 年 8 月 20 日

新的主題和使用案例

新增下列變更：

2021 年 8 月 13 日

新的範本程式碼

新增下列變更：

2021 年 8 月 13 日

修正項目

新增下列變更：

2021 年 8 月 13 日

新的主題和使用案例

新增下列變更：

2021 年 8 月 6 日

新的範例程式碼

新增下列變更：

2021 年 8 月 6 日

新的主題和使用案例

新增下列變更：

2021 年 7 月 29 日

修正項目

新增下列變更：

2021 年 7 月 29 日

移除或移動主題

新增下列變更：

2021 年 7 月 23 日

新指南

新增下列變更：

2021 年 7 月 23 日

修正項目

新增下列變更：

2021 年 7 月 23 日

新的主題和使用案例

新增下列變更：

2021 年 7 月 16 日

新的主題和使用案例

新增下列變更：

2021 年 7 月 9 日

新指南

新增下列變更：

2021 年 7 月 9 日

新的主題和使用案例

新增下列變更：

2021 年 7 月 2 日

新的範本程式碼

新增下列變更：

2021 年 7 月 2 日

新的主題和使用案例

新增下列變更：

2021 年 6 月 25 日

新的範本程式碼

新增下列變更：

2021 年 6 月 25 日

新指南

新增下列變更：

2021 年 6 月 25 日

新的主題和使用案例

新增下列變更：

2021 年 6 月 18 日

新的範本程式碼

新增下列變更：

2021 年 6 月 18 日

新的主題和使用案例

新增下列變更：

2021 年 6 月 2 日

新的範本程式碼

新增下列變更：

2021 年 6 月 2 日

新指南

新增下列變更：

  • 已建立指南，說明如何在 的 Apache Airflow UI 中交替使用連線範本連線類型概觀。

2021 年 6 月 2 日

修正項目

新增下列變更：

  • 已將 Apache Airflow VPC 端點新增至選項三：建立沒有 網際網路存取權的 VPC 網路中的 AWS CloudFormation 範本建立 VPC 網路。

2021 年 6 月 2 日

Apache Airflow 2.0.2 版啟動

Apache Airflow v2.0.2 的一般可用性啟動。

2021 年 5 月 26 日

新的主題和使用案例

新增下列變更：

2021 年 5 月 14 日

修正項目

新增下列變更：

2021 年 5 月 12 日

移除或移動主題

新增下列變更：

2021 年 5 月 10 日

新的主題和使用案例

新增下列變更：

2021 年 5 月 10 日

移除或移動主題

新增下列變更：

2021 年 5 月 7 日

新的主題和使用案例

新增下列變更：

2021 年 5 月 7 日

新的主題和使用案例

新增下列變更：

2021 年 4 月 30 日

新的範本程式碼

新增下列變更：

2021 年 4 月 30 日

新指南

新增下列變更：

2021 年 4 月 30 日

修正項目

新增下列變更：

2021 年 4 月 30 日

新的主題和使用案例

新增下列變更：

2021 年 4 月 23 日

新的範本程式碼

新增下列變更：

2021 年 4 月 23 日

新指南

新增下列變更：

2021 年 4 月 23 日

新的主題和使用案例

新增下列變更：

2021 年 4 月 16 日

新的範例程式碼

新增下列變更：

2021 年 4 月 16 日

新的主題和使用案例

新增下列變更：

2021 年 4 月 9 日

新的範本程式碼

新增下列變更：

2021 年 4 月 9 日

修正項目

新增下列變更：

  • 糟糕！我們已更新 requirements.txt 的格式，並在 中新增與 Apache Airflow v1.10.12 相容的範例安裝 Python 相依性。

2021 年 3 月 31 日

新的主題和使用案例

新增下列變更：

2021 年 3 月 26 日

新的主題和使用案例

新增下列變更：

2021 年 3 月 19 日

新指南

新增下列變更：

2021 年 3 月 19 日

新的主題和使用案例

新增下列變更：

2021 年 3 月 12 日

新的範本程式碼

新增下列變更：

2021 年 3 月 12 日

新指南

新增下列變更：

2021 年 3 月 12 日

新的主題和使用案例

新增下列變更：

2021 年 3 月 5 日

現在支援

新增下列變更：

2021 年 3 月 4 日

修正項目

新增下列變更：

2021 年 3 月 4 日

新的主題和使用案例

新增下列變更：

2021 年 2 月 26 日

新的主題和使用案例

新增下列變更：

2021 年 2 月 25 日

新的教學課程

新增下列變更：

2021 年 2 月 22 日

新的主題和使用案例

新增下列變更：

2021 年 2 月 22 日

新的範本程式碼

新增下列變更：

2021 年 2 月 22 日

新的命令和程序

新增下列變更：

2021 年 2 月 22 日

新的範例程式碼

新增下列變更：

2021 年 2 月 17 日

新的命令和程序

新增下列變更：

  • 已將 AWS CLI 命令新增至在 Amazon MWAA 上使用 DAGs 頁面。

  • Apache Airflow 不支援 CLI 命令中的序列化 DAGs。由於 CLI 在基於安全考量而沒有外掛程式或需求的 Web 伺服器上執行，因此任何具有 plugins.zip 或 requirements.txt 的 MWAA 環境都不支援這些命令。將 Apache Airflow list_dags和backfill命令移至 不支援的命令存取 Apache Airflow。

2021 年 2 月 17 日

GitHub 啟動

使用者指南文件現在是 GitHub 上的開放原始碼。在任何頁面上選擇「在 GitHub 上編輯此頁面」。

2021 年 2 月 17 日

新主題和使用案例

新增下列變更：

2021 年 2 月 12 日

新的主題和使用案例

新增下列變更：

2021 年 2 月 5 日

移除或移動主題

新增下列變更：

2021 年 2 月 4 日

Amazon MWAA CloudFormation

更新參數以在 Amazon MWAA CloudFormation 建立環境。

  • 移除 SubnetList。

  • 移除 TagList。

  • 新增 NetworkConfiguration。

  • 新增 TagMap。

  • 新增建立環境請求範例。

2021 年 2 月 4 日

新的主題和使用案例

新增下列變更：

2021 年 1 月 29 日

Amazon MWAA 啟動

Amazon Managed Workflows for Apache Airflow 的一般可用性啟動。

  • 使用者指南文件

  • AWS CloudFormation 文件

2020 年 11 月 24 日