创建Amazon MAA 环境

Amazon Apache Airflow 托管工作流程使用与 Apache 相同的开源 Afriflow 和用户界面，在您选择的版本的环境中设置 Apache Airflow。本指南介绍创建 Amazon MAA 环境的步骤。

目录

• 开始前的准备工作
• Apache Airfro
• 创建环境
  • 步骤一：指定详细信息
  • 步骤二：配置高级设置
  • 步骤三：审核和创建
• 接下来做什么？

开始前的准备工作

• VPC 创建后无法更改。

• 您需要将 Amazon S3 存储桶配置为阻止所有公共访问，同时启用存储桶版本控制。

• 您需要一个AWS拥有使用 Amazon MWAA 的权限和在AWS Identity and Access Management (IAM) 中创建 IAM 角色的权限。如果您为 Apache Airflow Web 服务器选择私有网络访问模式，从而限制 Apache Airflow 在您的亚马逊 VPC 内访问，则需要在 IAM 中获得权限才能创建 Amazon VPC 终端节点。

Apache Airfro

Apache Airflor Apache Airflor Apache Airflor Ap

注意

• 从 Apache Airflow v2.2.2 开始，亚马逊 MWAA 支持直接在 Apache Airflow Web 服务器上安装 Python 需求、提供程序包和自定义插件。

• 从 Apache Airflow v2.5.1 开始，如果您在使用安装依赖项时未指定该-c标志，Amazon MWAA 将使用requirements.txt该标志应用一条--constraint语句。亚马逊 MWAA 将应用与以下版本表中列出的 Apache Airflow 版本相对应的限制声明。

  有关在需求文件--constraint中使用的更多信息，请参阅安装 Python 依赖项。

Apache Airfro	Apache Aphe	Apache 气流限制	Python 版本
v2.5.1	Apache Airflow v2.5.1 参考指南	Apache Airflow v2.5.1 限制文件	Python 3.10
v2.4.3	Apache Airflow v2.4.3 参考指南	Apache Airflow v2.4.3 限制文件	Python 3.10
v2.2.2	Apache Airflow v2.2.2 参考指南	Apache Airflow v2.2.2 限制文件	Python 3.7
v2.2	Apache Airflow v2.0.2 参考指南	Apache Airflow v2.0.2 限制文件	Python 3.7
v1.12	Apache Airflow	Apache Airflow for 1.12，限制文件	Python 3.7

有关迁移自我管理的 Apache Airflow 部署或迁移现有 Amazon MWAA 环境的更多信息，包括备份元数据数据库的说明，请参阅 Amazon MWAA 迁移指南。

创建环境

以下部分介绍创建 Amazon MAA 环境的步骤。

步骤一：指定详细信息

指定环境的详细信息

1. 打开亚马逊 MWAA 控制台。

2. 使用AWS地区选择器选择您的区域。

3. 选择 Create environment（创建环境）。

4. 在 “指定详细信息” 页面上，在 “环境详细信息” 下：

   1. 在名称中输入环境的唯一名称。

   2. 在气流版本中选择 Apache A irflow 版本。

      注意

      如果未指定值，则默认为最新的 Airflow。可用的最新版本是 Apache Airflow v2.5.1。

5. 在 Amazon S3 的 DAG 代码下指定以下内容：

   1. S3 存储桶。选择浏览 S3 并选择您的 Amazon S3 存储桶，或者输入 Amazon S3 URI。

   2. DAG 文件夹。选择 Browse S3 并选择 Amazon S3 存储桶中的dags文件夹，或输入 Amazon S3 URI。

   3. 插件文件-可选。选择 Browse S3 并选择您的 Amazon S3 存储桶上的plugins.zip文件，或输入 Amazon S3 URI。

   4. 需求文件-可选。选择 Browse S3 并选择您的 Amazon S3 存储桶上的requirements.txt文件，或输入 Amazon S3 URI。

   5. 启动脚本文件-可选，选择 “浏览”S3 并选择 Amazon S3 存储桶上的脚本文件，或输入 Amazon S3 URI。

6. 选择下一步。

步骤二：配置高级设置

配置高级设置

1. 在 “配置高级设置” 页面上，在 “网络” 下：

   1. 选择您的亚马逊 VPC。

      此步骤填充您的 Amazon VPC 中的两个私有子网。

2. 在 Web 服务器访问下，选择您首选的 Apache Airflow 访问模式：

   1. 私有网络。这会将 Apache Airflow UI 的访问权限限制在您的 Amazon VPC 内被授予对您的环境的 IAM 策略的访问权限。您需要获得权限才能为此步骤创建 Amazon VPC 终端节点。

      注意

      如果您的 Apache Airflow 用户界面只能在公司网络内访问，并且无需访问公共存储库即可安装 Web 服务器需求，请选择 “专用网络” 选项。如果您选择此访问模式选项，则需要创建一种机制来访问亚马逊 VPC 中的 Apache Airflow Web 服务器。有关更多信息，请参阅访问您的 Apache Airflow Web 服务器的 VPC 终端节点（私有网络访问权限）：

   2. 公共网络。这允许被授予您环境的 IAM 策略访问权限的用户通过互联网访问 Apache Airflow 用户界面。

3. 在安全组下，选择用于保护您的 Amazon VPC 的安全组：

   1. 默认情况下，Amazon MWAA 在您的 Amazon VPC 中创建一个安全组，其中包含创建新安全组中的特定入站和出站规则。

   2. 可选。取消选中 “创建新安全组” 中的复选框可选择最多 5 个安全组。

      注意

      必须使用特定的入站和出站规则配置现有 Amazon VPC 安全组才能允许网络流量。要了解更多信息，请参阅 Amazon MWAA 上的 VPC 安全性。

4. 在 “环境类” 下，选择一个环境类。

   我们建议选择支持您的工作负载所需的最小尺寸。您可以随时更改环境类别。

5. 对于最大工作器数，请指定要在环境中运行的 Apache Airflow 工作器的最大数量。

   要了解更多信息，请参阅 高性能用例示例。

6. 在 “加密” 下，选择数据加密选项：

   1. 默认情况下，Amazon MWAA 使用AWS自有密钥来加密您的数据。

   2. 可选。选择 “自定义加密设置（高级）” 以选择其他AWS KMS密钥。如果您选择在此步骤中指定客户托管密钥，则必须指定AWS KMS密钥 ID 或 ARN。 AWS KMS亚马逊 MWAA 不支持别名和多区域密钥。如果您在 Amazon S3 存储桶上指定了用于服务器端加密的 Amazon S3 密钥，则必须为 Amazon MWAA 环境指定相同的密钥。

      注意

      您必须拥有密钥的权限才能在 Amazon MWAA 控制台上选择该密钥。您还必须通过附加中所述的策略来授予 Amazon MWAA 使用密钥的权限附加密钥。

7. 推荐。在 “监控” 下，为 A irflow 日志配置选择一个或多个日志类别，将 Apache Airflow 日志发送到CloudWatch日志：

   1. 气流任务日志。在日志层中选择要发送到 LoCloudWatch gs 的类型。

   2. A@@ irflowWeb 服务器日志。选择要发送到 LogCloudWatch s 的类型。

   3. 气流调度器日志。选择要发送到 LogCloudWatch s 的类型。

   4. 气流工作人员日志。选择要发送到 LogCloudWatch s 的类型。

   5. 气流 DAG 处理日志。在日志级别中选择要发送到 LoCloudWatch gs 的类型。

8. 可选。对于 Airflow 配置选项，请选择添加自定义配置选项。

   您可以从 Apache Airflow 版本的 Apache Airflow 配置选项的建议下拉列表中进行选择，也可以指定自定义配置选项。例如，core.default_task_retries:3。

9. 可选。在标签下，选择添加新标签以将标签关联到您的环境。例如，Environment:Staging。

10. 在 “权限” 下，选择一个执行角色：

    1. 默认情况下，Amazon MWAA 在 “创建新角色” 中创建执行角色。您必须具有创建 IAM 角色的权限。

    2. 可选。选择输入角色，输入现有执行角色的 Amazon Resource (ARN)。

11. 选择下一步。

步骤三：审核和创建

查看环境摘要

• 查看环境摘要，选择创建环境。

  注意

  创建环境大约需要二十到三十分钟。

接下来做什么？

• 在中了解如何授予用户访问您的 Apache Airflo w Web 服务器和亚马逊 MWAA 环境的权限管理对 Amazon MWAA 环境的访问。

• 在中了解如何访问您的 Apache Airflow Web 服务器的 VPC 终端节点（私有网络访问权限）在 Amazon MWAA 上管理对 VPC 终端。

• 在上浏览用于创建环境的 Amazon MWAA API 操作CreateEnvironment。