本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
安装在亚马逊环境中的 Apache Airflow 提供程序包 MWAA
当您创建新环境时,亚马逊MWAA会为 Apache Airflow v2 及更高版本的连接类型安装额外提供程序requirements.txt
文件中将这些程序包指定为 Python 依赖项。本页列出了亚马逊MWAA为所有 Apache Airflow v2 环境安装的 Apache Airflow 提供程序包。
注意
对于 Apache Airflow v2 及更高版本,亚马逊MWAA会在性能完成后安装 Watchtower 版本 2.0.1pip3 install -r requirements.txt
,以确保与 CloudWatch日志的兼容性不会被其他 Python 库安装所覆盖。
目录
- Apache Airflow v2.10.3 连接的提供程序包
- Apache Airflow v2.10.1 连接的提供程序包
- Apache Airflow v2.9.2 连接的提供程序包
- Apache Airflow v2.8.1 连接的提供程序包
- Apache Airflow v2.7.2 连接的提供程序包
- Apache Airflow v2.6.3 连接的提供程序包
- Apache Airflow v2.5.1 连接的提供程序包
- Apache Airflow v2.4.3 连接的提供程序包
- Apache Airflow v2.2.2 连接的提供程序包
- Apache Airflow v2.0.2 连接的提供程序包
- 指定更新的提供程序包
Apache Airflow v2.10.3 连接的提供程序包
当你在 Apache Airflow v2.10.3 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Fab 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
|
SMTP 连接 |
Apache Airflow v2.10.1 连接的提供程序包
当你在 Apache Airflow v2.10.1 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Fab 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
|
SMTP 连接 |
Apache Airflow v2.9.2 连接的提供程序包
当你在 Apache Airflow v2.9.2 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Fab 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
|
SMTP 连接 |
Apache Airflow v2.8.1 连接的提供程序包
当你在 Apache Airflow v2.8.1 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
Apache Airflow v2.7.2 连接的提供程序包
当你在 Apache Airflow v2.7.2 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
Apache Airflow v2.6.3 连接的提供程序包
当你在 Apache Airflow v2.6.3 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
Apache Airflow v2.5.1 连接的提供程序包
当你在 Apache Airflow v2.5.1 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
注意
您可以指定支持的 apache-airflow-providers-amazon
的最新版本来升级此提供程序。有关指定更新版本的更多信息,请参阅 指定更新的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
Apache Airflow v2.4.3 连接的提供程序包
当你在 Apache Airflow v2.4.3 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
常见 SQL |
|
SQLite 连接 |
Apache Airflow v2.2.2 连接的提供程序包
当你在 Apache Airflow v2.2 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
连接类型 | 软件包 |
---|---|
AWS 连接 |
|
Postgres 连接 |
|
FTP 连接 |
|
Celery 连接 |
|
HTTP 连接 |
|
IMAP 连接 |
|
SQLite 连接 |
Apache Airflow v2.0.2 连接的提供程序包
当你在 Apache Airflow v2.0.2 中创建亚马逊MWAA环境时,MWAA亚马逊会安装以下用于 Apache Airflow 连接的提供程序包。
连接类型 | 软件包 |
---|---|
Tableau |
|
Databricks 连接 |
|
SSH 连接 |
|
Postgres 连接 |
|
Docker 连接 |
|
Oracle 连接 |
|
Presto 连接 |
|
SFTP 连接 |
指定更新的提供程序包
从 Apache Airflow v2.7.2 开始,要求文件必须包含一条 --constraint
语句。如果您未提供约束条件,亚马逊MWAA将为您指定一个限制,以确保您的要求中列出的软件包与您正在使用的 Apache Airflow 版本兼容。
Apache Airflow 约束文件指定了 Apache Airflow 发布时可用的提供程序版本。但是,在许多情况下,较新的提供程序与该版本的 Apache Airflow 兼容。由于必须使用约束条件,因此要指定提供程序包的较新版本,因此可以修改特定提供程序版本的约束文件:
-
将约束文件中的
apache-airflow-providers-amazon
版本修改为要使用的版本。 -
将修改后的约束文件保存到您的亚马逊MWAA环境的 Amazon S3 dags 文件夹,例如
constraints-3.11-updated.txt
-
如下所示,指定您的要求。
--constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt" apache-airflow-providers-amazon==
version-number
注意
如果您使用的是私有 Web 服务器,我们建议您使用 Amazon MWAA 本地
运行器将所需的库打包为WHL文件。