Pacotes do provedor Apache Airflow instalados em ambientes Amazon MWAA

O Amazon MWAA instala extras do provedor para os tipos de conexão Apache Airflow v2 e superiores quando você cria um novo ambiente. A instalação de pacotes do provedor permite que você visualize um tipo de conexão na IU do Apache Airflow. Também significa que você não precisa especificar esses pacotes como uma dependência do Python em seu arquivo requirements.txt. Esta página lista os pacotes do provedor Apache Airflow instalados pelo Amazon MWAA para todos os ambientes do Apache Airflow v2.

nota

Para o Apache Airflow v2 e superior, o Amazon MWAA instala a Watchtower versão 2.0.1 após a execuçãopip3 install -r requirements.txt, para garantir que a compatibilidade com o registro não CloudWatch seja substituída por outras instalações da biblioteca Python.

Sumário

• Pacotes de provedores para conexões Apache Airflow v2.9.2
• Pacotes de provedores para conexões do Apache Airflow v2.8.1
• Pacotes de provedores para conexões Apache Airflow v2.7.2
• Pacotes de provedores para conexões Apache Airflow v2.6.3
• Pacotes de provedores para conexões Apache Airflow v2.5.1
• Pacotes de provedores para conexões Apache Airflow v2.4.3
• Pacotes de provedores para conexões Apache Airflow v2.2.2
• Pacotes de provedores para conexões Apache Airflow v2.0.2
• Como especificar pacotes de fornecedores mais novos

Pacotes de provedores para conexões Apache Airflow v2.9.2

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.9.2, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

nota

É possível especificar a versão mais recente compatível de apache-airflow-providers-amazon para atualizar este provedor. Para obter mais informações sobre como especificar versões mais novas, consulte Como especificar pacotes de fornecedores mais novos.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon[aiobotocore] == 8.24.0
Conexão com o Postgres	apache-airflow-providers-postgres==5.11.1
Conexão FTP	apache-airflow-providers-ftp==3.9.1
Conexão Fab	apache-airflow-providers-fab==1.1.1
Conexão Celery	apache-airflow-providers-celery==3.7.2
Conexão HTTP	apache-airflow-providers-http==4.11.1
Conexão IMAP	apache-airflow-providers-imap==3.6.1
SQL comum	apache-airflow-providers-common-sql==1.14.0
Conexão SQLite	apache-airflow-providers-sqlite==3.8.1
Conexão SMTP	apache-airflow-providers-smtp==1.7.1

Pacotes de provedores para conexões do Apache Airflow v2.8.1

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.8.1, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

nota

É possível especificar a versão mais recente compatível de apache-airflow-providers-amazon para atualizar este provedor. Para obter mais informações sobre como especificar versões mais novas, consulte Como especificar pacotes de fornecedores mais novos.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon[aiobotocore] == 8.16.0
Conexão com o Postgres	apache-airflow-providers-postgres==5.10.0
Conexão FTP	apache-airflow-providers-ftp==3.7.0
Conexão Celery	apache-airflow-providers-celery==3.5.1
Conexão HTTP	apache-airflow-providers-http==4.8.0
Conexão IMAP	apache-airflow-providers-imap==3.5.0
SQL comum	apache-airflow-providers-common-sql==1.10.0
Conexão SQLite	apache-airflow-providers-sqlite==3.7.0

Pacotes de provedores para conexões Apache Airflow v2.7.2

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.7.2, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

nota

É possível especificar a versão mais recente compatível de apache-airflow-providers-amazon para atualizar este provedor. Para obter mais informações sobre como especificar versões mais novas, consulte Como especificar pacotes de fornecedores mais novos.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon[aiobotocore] == 8.7.1
Conexão com o Postgres	apache-airflow-providers-postgres==5.6.1
Conexão FTP	apache-airflow-providers-ftp==3.5.2
Conexão Celery	apache-airflow-providers-celery==3.3.4
Conexão HTTP	apache-airflow-providers-http==4.5.2
Conexão IMAP	apache-airflow-providers-imap==3.3.2
SQL comum	apache-airflow-providers-common-sql==1.7.2
Conexão SQLite	apache-airflow-providers-sqlite==3.4.3

Pacotes de provedores para conexões Apache Airflow v2.6.3

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.6.3, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

nota

É possível especificar a versão mais recente compatível de apache-airflow-providers-amazon para atualizar este provedor. Para obter mais informações sobre como especificar versões mais novas, consulte Como especificar pacotes de fornecedores mais novos.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon[aiobotocore] == 8.2.0
Conexão com o Postgres	apache-airflow-providers-postgres==5.5.1
Conexão FTP	apache-airflow-providers-ftp==3.4.2
Conexão Celery	apache-airflow-providers-celery==3.2.1
Conexão HTTP	apache-airflow-providers-http==4.4.2
Conexão IMAP	apache-airflow-providers-imap==3.2.2
SQL comum	apache-airflow-providers-common-sql==1.5.2
Conexão SQLite	apache-airflow-providers-sqlite==3.4.2

Pacotes de provedores para conexões Apache Airflow v2.5.1

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.5.1, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

nota

É possível especificar a versão mais recente compatível de apache-airflow-providers-amazon para atualizar este provedor. Para obter mais informações sobre como especificar versões mais novas, consulte Como especificar pacotes de fornecedores mais novos.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon==7.1.0
Conexão com o Postgres	apache-airflow-providers-postgres==5.4.0
Conexão FTP	apache-airflow-providers-ftp==3.3.0
Conexão Celery	apache-airflow-providers-celery==3.1.0
Conexão HTTP	apache-airflow-providers-http==4.1.1
Conexão IMAP	apache-airflow-providers-imap==3.1.1
SQL comum	apache-airflow-providers-common-sql==1.3.3
Conexão SQLite	apache-airflow-providers-sqlite==3.3.1

Pacotes de provedores para conexões Apache Airflow v2.4.3

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.4.3, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon==6.0.0
Conexão com o Postgres	apache-airflow-providers-postgres==5.2.2
Conexão FTP	apache-airflow-providers-ftp==3.1.0
Conexão Celery	apache-airflow-providers-celery==3.0.0
Conexão HTTP	apache-airflow-providers-http==4.0.0
Conexão IMAP	apache-airflow-providers-imap==3.0.0
SQL comum	apache-airflow-providers-common-sql==1.2.0
Conexão SQLite	apache-airflow-providers-sqlite==3.2.1

Pacotes de provedores para conexões Apache Airflow v2.2.2

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.2.2, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

Connection type	Pacote
AWS Conexão	apache-airflow-providers-amazon==2.4.0
Conexão com o Postgres	apache-airflow-providers-postgres==2.3.0
Conexão FTP	apache-airflow-providers-ftp==2.0.1
Conexão Celery	apache-airflow-providers-celery==2.1.0
Conexão HTTP	apache-airflow-providers-http==2.0.1
Conexão IMAP	apache-airflow-providers-imap==2.0.1
Conexão SQLite	apache-airflow-providers-sqlite==2.0.1

Pacotes de provedores para conexões Apache Airflow v2.0.2

Quando você cria um ambiente Amazon MWAA no Apache Airflow v2.0.2, o Amazon MWAA instala os seguintes pacotes de provedores usados para conexões do Apache Airflow.

Connection type	Pacote
Conexão Tableau	apache-airflow-providers-tableau==1.0.0
Conexão Databricks	apache-airflow-providers-databricks==1.0.1
Conexão SSH	apache-airflow-providers-ssh==1.3.0
Conexão com o Postgres	apache-airflow-providers-postgres==1.0.2
Conexão Docker	apache-airflow-providers-docker==1.2.0
Conexão Oracle	apache-airflow-providers-oracle==1.1.0
Conexão Presto	apache-airflow-providers-presto==1.0.2
Conexão SFTP	apache-airflow-providers-sftp==1.2.0

Como especificar pacotes de fornecedores mais novos

A partir do Apache Airflow v2.7.2, seu arquivo de requisitos deve incluir uma declaração --constraint. Se você não fornecer uma restrição, o Amazon MWAA especificará uma para garantir que os pacotes listados em seus requisitos sejam compatíveis com a versão do Apache Airflow que você está usando.

Os arquivos de restrições do Apache Airflow especificam as versões do provedor disponíveis no momento de um lançamento do Apache Airflow. No entanto, em muitos casos os provedores mais novos são compatíveis com essa versão do Apache Airflow. Como você deve usar restrições, para especificar uma versão mais recente de um pacote de provedor, é possível modificar o arquivo de restrições para uma versão específica do provedor:

1. Baixe o arquivo de restrições específicas da versão em https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt"

2. Modifique a versão apache-airflow-providers-amazon no arquivo de restrições para a versão que você deseja usar.

3. Salve o arquivo de restrições modificado na pasta DAGs do Amazon S3 do seu ambiente Amazon MWAA, por exemplo, como constraints-3.11-updated.txt

4. Especifique seus requisitos conforme mostrado a seguir.

   --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt"
   
   apache-airflow-providers-amazon==version-number

   nota

   Se você estiver usando um servidor web privado, recomendamos que você empacote as bibliotecas necessárias como arquivos WHL usando o executor local Amazon MWAA.