亚马逊MWAA文件历史记录 - Amazon Managed Workflows for Apache Airflow

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊MWAA文件历史记录

下表描述了自 2020 年 11 月起对亚马逊MWAA服务文档进行的重要补充。要接收有关本文档更新的通知，请订阅 RSS Feed。

变更说明日期

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.10.3。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.10.3 的详细信息。MWAA

2024年12月18日

添加了一个新的环境类：mw1.micro

亚马逊MWAA现在提供了一个新的环境类别：mw1.micro。

2024 年 11 月 19 日

Support 支持更简单的方法来访问 Apache Airflow REST API

亚马逊MWAA现在提供了一种RESTAPI使用 AWS 凭证与 Apache Airflow 进行交互的简化方法。

2024 年 10 月 23 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.10.1。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.10.1 的详细信息。MWAA

2024 年 9 月 26 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.9.2。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.9.2 的详细信息。MWAA

2024 年 7 月 9 日

Amazon MWAA 支持配置自定义 Web 服务器域名

Amazon MWAA 支持为无法访问互联网的私有环境配置自定义 Web 服务器域名。此更新包括以下新主题，其中说明了设置新自定义域的信息。

2024 年 6 月 18 日

亚马逊MWAA支持网络服务器自动扩展和 Apache Airflow REST API

亚马逊MWAA现在支持自动扩展 Web 服务器以及访问和使用 Apache Air REST API flow 的功能。

2024 年 5 月 16 日

完善了有关自动扩缩行为的说明

更新了以下主题，以反映在 Fargate 工作人员缩小规模时工作人员接管新任务时新的 Amazon MWAA 自动扩展行为。

2024 年 5 月 10 日

支持更大的实例大小

Amazon MWAA 现在支持两个更大的实例大小选项来处理更大的工作负载：mw1.xlarge、和 mw1.2xlarge

2024 年 4 月 16 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.8.1。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.8.1 的详细信息。MWAA

2024 年 2 月 22 日

Support 支持共享亚马逊 VPC

亚马逊MWAA支持使用亚马逊 OpenSearch 服务的组织创建跨账户环境，以便使用所有者账户VPC中的中央共享亚马逊来管理亚马逊MWAA资源。作为此次发布的一部分，亚马逊MWAA允许您选择创建和管理自己的亚马逊VPC终端节点。

2023 年 11 月 15 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.7.2。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.7.2 的详细信息。MWAA

2023 年 11 月 6 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.6.3。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.6.3 的详细信息，MWAA

2023 年 8 月 9 日

版本弃用信息

已更新有关版本弃用的主题，包括 Apache Airflow v2.0.2 和 Apache Airflow v2.2.2 的弃用通知和时间表。

2023 年 7 月 31 日

新主题和用例

Amazon MWAA 支持次要版本升级。此更新包括以下新主题，该主题描述了如何升级环境并确保您的工作流程资源与要升级到的 Apache Airflow 版本兼容：

2023 年 6 月 5 日

已更新主题

更新了授予用户完整控制台和API访问亚马逊权限的客户托管IAM政策MWAA。此更新描述了为什么您必须为提供权限才能允许用户将角色传递给 Amazon MWAA。iam:PassRoleAmazon MWAA 使用这些权限代表用户执行操作。

2023 年 4 月 12 日

新指南

更新了有关配置 AWS Secrets Manager 为 Amazon 后端的主题MWAA，以提供有关使用查询模式的指导。使用查找模式可以缩小 Apache Airflow 搜索的机密范围，并减少API亚马逊向 Secrets Manager 调用以检索连接和MWAA变量的次数。这样可以降低与使用 Secrets Manager 作为后端相关的成本。

2023 年 4 月 12 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.5.1。此更新包括有关更新的提供程序包的信息，以及有关在亚马逊上使用 Apache Airflow v2.5.1 的详细信息，MWAA

2023 年 4 月 11 日

新主题和用例

添加了有关在 Amazon MWAA 环境中使用启动脚本的新主题。本主题介绍了为现有环境配置启动脚本、使用它安装 Linux 运行时以及设置环境变量。

2023 年 4 月 3 日

已更新有关私有 Web 服务器访问权限的章节

已更新以下有关私有 Web 服务器访问的主题。该更新澄清说，在具有私有 Web 服务器访问权限的环境中，您必须使用 Python wheel 档案 (.whl) 来打包和安装依赖项。

2023 年 2 月 24 日

已添加有关已弃用的 Apache Airflow 版本的信息

更新了版本主题，提供了有关亚马逊如何MWAA设法弃用 Apache Airflow 版本的新信息。已删除关于升级到更新版本的 Apache Airflow 的章节，以及介绍 Apache Airflow v1 和 Apache Airflow v2 之间变更的章节。有关迁移到新版本的 Apache Airflow 的更多信息，请参阅《亚马逊MWAA迁移指南》。

2023 年 2 月 17 日

修复了 Amazon MWAA 容器指标中的问题

已更新容器指标主题，并已删除 Cluster 维度下不存在的一组错误指标。已添加一个章节，介绍如何通过绘制 AdditionalWorker 组件的 CPUUtilization 或 MemoryUtilization 指标并将统计数据类型设置为 Sample Count，来评估环境在给定时间使用的额外工作线程数。

2023 年 1 月 20 日

全新 Apache Airflow 版本

亚马逊MWAA现在支持 Apache Airflow v2.4.3。此更新包括有关更新的提供程序包的信息、有关在亚马逊上使用 Apache Airflow v2.4.3 的详细信息，以及有关MWAA亚马逊上每个 Apache Airflow 版本支持哪些功能的综合信息。MWAA

2023 年 1 月 5 日

已更新服务相关角色的主题

更新了有关 Amazon MWAA 用于代表您创建和管理 AWS 资源的服务相关角色的信息，包括有关在不再需要服务相关角色时如何删除该角色的信息。这包括更新的服务相关角色权限策略，该策略允许 Amazon MWAA 在命名空间下AWS/MWAA发布其他 CloudWatch 指标。

2022 年 11 月 18 日

关于服务指标的新主题

添加了描述 Amazon 在AWS/MWAA命名空间MWAA下发布的服务指标的新主题。这些指标包括亚马逊ECS集群指标调度器、工作程序和 Web 服务器、允许亚马逊SQSMWAA分离计划程序和工作程序的队列的亚马逊指标，以及元数据数据库的亚马逊RDS指标。

2022 年 11 月 18 日

新主题

添加了有关修改约束文件以指定要在您的 Amazon MWAA 环境中使用的提供商包的新版本的新指南。

2022 年 11 月 18 日

更新了FAQ条目

更新了与 Amaz MWAA on HIPAA 资格相关的信息。

2022 年 11 月 15 日

新主题

添加了有关在 Amazon MWAA 执行角色信任策略中使用aws:SourceArn和aws:SourceAccount全局条件上下文密钥的新主题，以防止跨服务混淆副手。

2022 年 10 月 21 日

新示例代码

添加了更新的说明和DAG代码示例，用于将自定义操作系统级别指标写入其中。 CloudWatch

2022 年 9 月 13 日

新示例代码

添加了更新的说明和新的 AWS Lambda Python 代码示例，用于检索 Apache Airfl CLI ow 令牌，然后在指定的亚马逊环境中DAG调用。MWAA

2022 年 9 月 12 日

新架构图

添加了新的架构图，演示了带有公共和私有 Web 服务器的 Amazon MWAA 环境。

2022 年 9 月 12 日

新示例代码

添加了更新的说明和新的DAG代码示例，用于检索 Apache Airfl CLI ow 令牌，然后在不同的 Amazon 环境中DAG调用另一个令牌。MWAA

2022 年 8 月 16 日

新示例代码

添加了更新的说明和新功能DAG，可查询环境的 Aurora Postgre 以SQL获取元数据信息，将结果写入CSV文件并将文件存储在 Amazon S3 中。

2022 年 8 月 12 日

新示例代码

添加了更新的说明和新指令DAG，可在运行时刷新 AWS CodeArtifact 令牌并将结果存储在 Amazon S3 中。

2022 年 8 月 3 日

新示例代码

添加了有关ECSOperator在 Amazon 中使用的最新说明和DAG代码示例MWAA。

2022 年 7 月 26 日

新示例代码

添加了有关SSHOperator在 Amazon 中使用的最新说明和DAG代码示例MWAA。

2022 年 7 月 15 日

新示例代码

添加了在亚马逊上使用 dbt Postgres 的新说明和DAG代码示例。MWAA

2022 年 6 月 17 日

新主题和用例

为具有公共和私有访问权限的 Amazon MWAA 环境添加了使用Python wheel文件安装依赖项的新说明和DAG代码示例。

2022 年 5 月 13 日

新主题和用例

添加了有关选择亚马逊向哪些 Apache Airflow 指标MWAA发送的新指南。 CloudWatch

2022 年 4 月 19 日

新指南

亚马逊MWAA提供了迁移指南，用于从自我管理的部署以及现有亚马逊环境中迁移 Apache Airflow 工作流程。MWAA

2022 年 3 月 7 日

新主题和用例

已添加新安全最佳实践，以与 Apache Airflow 配合使用，包括用于检测 Apache Airflow 用户权限更改的解决方案。

2022 年 2 月 18 日

新示例代码

添加了用于DAGs使用 Pendulum 创建时区感知功能的新代码示例，并阐明了如何使用自定义插件更改创建 Apache Airflow 日志的时区。

2022 年 2 月 11 日

Apache Airflow v2.2.2 发布

Amazon Managed Workflows for Apache Airflow 现在支持 Apache Airflow v2.2.2。从 v2.2 开始，亚马逊MWAA将直接在 Apache Airflow 网络服务器上安装 Python 软件包和自定义插件，这样您就可以更灵活地管理环境。有关更多信息，请参阅下列内容。

2022 年 1 月 27 日

新教程

添加了一个新教程，该教程演示了如何创建新的自定义 Apache Airflow 角色，以及将该角色分配给从IAM中映射的 Apache Airflow 用户，以便将该用户的访问权限限制为指定的子集。DAGs

2021 年 12 月 8 日

修复

修复了设置值以优化CPU使用情况的最佳做法建议。scheduler.min_file_process_interval添加了以执行角色授予对 Secrets Manager 资源的访问权限的IAM策略示例。已添加有关使用 Secrets Manager 条件密钥的故障排除主题。

2021 年 11 月 22 日

新示例代码

添加了以下用于修改使用自定义插件处理的时区的新代码示例，DAGs以及用于从 bash 运算符中调用 dags backfill Apache Airflow CLI 命令的新疑难解答主题。

2021 年 11 月 1 日

修复

修复了亚马逊ECS操作员代码示例中的问题，并阐明了亚马逊MWAA执行角色中允许环境访问日志中的 CloudWatch 亚马逊ECS任务日志组所需的额外权限。

2021 年 10 月 26 日

新示例代码

添加了新的代码示例，用于查询 Aurora Postgre SQL 数据库以获取与DAG运行相关的信息，并将结果写入存储在 Amazon S3 上的CSV文件。

2021 年 10 月 1 日

修复

更正了有关亚马逊如何MWAA自动将新的和已更改的对象从您的目标 Amazon S3 存储桶同步到您的计划程序和工作程序的信息。

2021 年 10 月 1 日

现在支持

亚马逊MWAA现在支持 Apache Airflow 2.0+ 的其他提供程序包。要了解有关支持的程序包的更多信息，请参阅以下内容：

2021 年 9 月 24 日

新的命令和程序

添加了其他指导和 AWS CLI 命令示例，用于在无法访问互联网VPC的情况下使用 Amazon S3 网关终端节点时创建 Amazon S3 网关终端节点：

2021 年 9 月 24 日

新主题和用例

已添加以下更改：

  • 已添加使用 Amazon 弹性容器服务运算符的新代码示例，请参阅 使用 ECSOperator 连接 Amazon ECS。

  • 已在配置 Apache Airflow 插件时出现的问题添加为新的故障排除主题，请参阅 插件。

2021 年 9 月 19 日

新增支持区域

Amazon MWAA 现已在以下地区上市：

  • 亚太地区（孟买）– ap-south-1

  • 亚太地区（首尔）– ap-northeast-2

  • 欧洲（伦敦）– eu-west-2

  • 欧洲（巴黎）– eu-west-3

  • 加拿大（中部）– ca-central-1

  • 南美洲（圣保罗）– sa-east-1

有关可用区域和服务端点的信息，请参阅如下：

2021 年 8 月 31 日

新主题和用例

已添加以下更改：

  • 更新了示例政策，MWAA允许亚马逊在中提取账户级别的 Amazon S3 设置 (s3:GetAccountPublicAccessBlock)。亚马逊MWAA执行角色

2021 年 8 月 27 日

修复

已添加以下更改：

2021 年 8 月 27 日

新主题和用例

已添加以下更改：

2021 年 8 月 20 日

新主题和用例

已添加以下更改：

2021 年 8 月 13 日

新示例代码

已添加以下更改：

2021 年 8 月 13 日

修复

已添加以下更改：

2021 年 8 月 13 日

新主题和用例

已添加以下更改：

2021 年 8 月 6 日

新示例代码

已添加以下更改：

2021 年 8 月 6 日

新主题和用例

已添加以下更改：

2021 年 7 月 29 日

修复

已添加以下更改：

2021 年 7 月 29 日

已删除或移动的主题

已添加以下更改：

2021 年 7 月 23 日

新指南

已添加以下更改：

2021 年 7 月 23 日

修复

已添加以下更改：

2021 年 7 月 23 日

新主题和用例

已添加以下更改：

2021 年 7 月 16 日

新主题和用例

已添加以下更改：

2021 年 7 月 9 日

新指南

已添加以下更改：

2021 年 7 月 9 日

新主题和用例

已添加以下更改：

2021 年 7 月 2 日

新示例代码

已添加以下更改：

2021 年 7 月 2 日

新主题和用例

已添加以下更改：

2021 年 6 月 25 日

新示例代码

已添加以下更改：

2021 年 6 月 25 日

新指南

已添加以下更改：

2021 年 6 月 25 日

新主题和用例

已添加以下更改：

2021 年 6 月 18 日

新示例代码

已添加以下更改：

2021 年 6 月 18 日

新主题和用例

已添加以下更改：

2021 年 6 月 2 日

新示例代码

已添加以下更改：

2021 年 6 月 2 日

新指南

已添加以下更改：

  • 已创建有关如何在 Apache Airflow UI 中互换使用连接模板的指南，请参阅 连接类型概述。

2021 年 6 月 2 日

修复

已添加以下更改：

  • 在选项三：创建无法访问互联网的VPC网络的 AWS CloudFormation 模板中添加了 Apache Airflo w VPC 端点。创建 VPC 网络

2021 年 6 月 2 日

Apache Airflow v2.0.2 发布

Apache Airflow v2.0.2 正式版发布

2021 年 5 月 26 日

新主题和用例

已添加以下更改：

2021 年 5 月 14 日

修复

已添加以下更改：

  • 我们已经更新了示例插件代码，以使用最新的 Java 版本，请参阅 使用 Apache Hive 和 Hadoop 创建自定义插件。以前，其版本为 os.environ["JAVA_HOME"]="/usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"。

2021 年 5 月 12 日

已删除或移动的主题

已添加以下更改：

2021 年 5 月 10 日

新主题和用例

已添加以下更改：

2021 年 5 月 10 日

已删除或移动的主题

已添加以下更改：

2021 年 5 月 7 日

新主题和用例

已添加以下更改：

2021 年 5 月 7 日

新主题和用例

已添加以下更改：

2021 年 4 月 30 日

新示例代码

已添加以下更改：

2021 年 4 月 30 日

新指南

已添加以下更改：

2021 年 4 月 30 日

修复

已添加以下更改：

2021 年 4 月 30 日

新主题和用例

已添加以下更改：

2021 年 4 月 23 日

新示例代码

已添加以下更改：

2021 年 4 月 23 日

新指南

已添加以下更改：

2021 年 4 月 23 日

新主题和用例

已添加以下更改：

2021 年 4 月 16 日

新示例代码

已添加以下更改：

2021 年 4 月 16 日

新主题和用例

已添加以下更改：

2021 年 4 月 9 日

新示例代码

已添加以下更改：

2021 年 4 月 9 日

修复

已添加以下更改：

  • 哎呀！我们更新了 requirements.txt 的格式，并添加了一个与 Apache Airflow v1.10.12 兼容的示例，请参阅 安装 Python 依赖项。

2021 年 3 月 31 日

新主题和用例

已添加以下更改：

2021 年 3 月 26 日

新主题和用例

已添加以下更改：

2021 年 3 月 19 日

新指南

已添加以下更改：

2021 年 3 月 19 日

新主题和用例

已添加以下更改：

2021 年 3 月 12 日

新示例代码

已添加以下更改：

2021 年 3 月 12 日

新指南

已添加以下更改：

2021 年 3 月 12 日

新主题和用例

已添加以下更改：

2021 年 3 月 5 日

现在支持

已添加以下更改：

  • 以前backend_kwargs，不支持，你需要一种变通方法来覆盖 Secrets Manager 函数调用。 AWS Secrets Manager 现在 支持 backend_kwargs。请参阅中的 AWS Secrets Manager 疑难解答主题Amazon MWAA 故障排除。

2021 年 3 月 4 日

修复

已添加以下更改：

2021 年 3 月 4 日

新主题和用例

已添加以下更改：

2021 年 2 月 26 日

新主题和用例

已添加以下更改：

2021 年 2 月 25 日

新教程

已添加以下更改：

2021 年 2 月 22 日

新主题和用例

已添加以下更改：

2021 年 2 月 22 日

新示例代码

已添加以下更改：

2021 年 2 月 22 日

新的命令和程序

已添加以下更改：

2021 年 2 月 22 日

新示例代码

已添加以下更改：

2021 年 2 月 17 日

新的命令和程序

已添加以下更改：

  • 向在 Amazon MWAA 上使用 DAG页面添加了 AWS CLI 命令。

  • Apache Airflow 不支持在命令中序列化。DAGs CLI由于它们在 Web 服务器上CLI运行，出于安全考虑，该服务器没有插件或要求，因此任何带有 plugins.zip 或 requirements.txt 的MWAA环境都不支持这些命令。已将 Apache Airflow list_dags 和 backfill 命令移动到不支持的命令，请参阅 访问 Apache Airflow。

2021 年 2 月 17 日

GitHub 发射

用户指南文档现已开源 GitHub。在任意页面上选择 “编辑此页面 GitHub”。

2021 年 2 月 17 日

新主题和用例

已添加以下更改：

2021 年 2 月 12 日

新主题和用例

已添加以下更改：

2021 年 2 月 5 日

已删除或移动的主题

已添加以下更改：

2021 年 2 月 4 日

Amazon MWAA CloudFormation

更新参数以在 Amazon 上创建环境MWAA CloudFormation。

  • 移除 SubnetList。

  • 移除 TagList。

  • 添加 NetworkConfiguration。

  • 添加 TagMap。

  • 添加创建环境请求示例。

2021 年 2 月 4 日

新主题和用例

已添加以下更改：

2021 年 1 月 29 日

亚马逊上MWAA线

Amazon MWAA 正式版发布。

  • 用户指南文档

  • AWS CloudFormation 文档

2020 年 11 月 24 日