Paquetes de proveedores de Apache Airflow instalados en entornos Amazon MWAA

Cuando crea un entorno nuevo, Amazon MWAA instala complementos de proveedor para los tipos de conexión Apache Airflow v2 y superiores. La instalación de paquetes de proveedores le permite ver un tipo de conexión en la interfaz de usuario de Apache Airflow. También significa que no necesita especificar estos paquetes como una dependencia de Python en su archivo requirements.txt. En esta página, se enumeran los paquetes de proveedores de Apache Airflow que Amazon MWAA instala en todos los entornos de Apache Airflow v2.

nota

Para Apache Airflow v2 y versiones posteriores, Amazon MWAA instala la versión 2.0.1 de Watchtower después de ejecutarlapip3 install -r requirements.txt, para garantizar que otras instalaciones de bibliotecas de Python no anulen la compatibilidad con el CloudWatch registro.

Contenido

• Paquetes de proveedores para las conexiones de Apache Airflow v2.9.2
• Paquetes de proveedores para las conexiones de Apache Airflow v2.8.1
• Paquetes de proveedores para las conexiones de Apache Airflow v2.7.2
• Paquetes de proveedores para las conexiones de Apache Airflow v2.6.3
• Paquetes de proveedores para las conexiones de Apache Airflow v2.5.1
• Paquetes de proveedores para las conexiones de Apache Airflow v2.4.3
• Paquetes de proveedores para las conexiones de Apache Airflow v2.2.2
• Paquetes de proveedores para las conexiones de Apache Airflow v2.0.2
• Especificar paquetes de proveedores más nuevos

Paquetes de proveedores para las conexiones de Apache Airflow v2.9.2

Al crear un entorno de Amazon MWAA en Apache Airflow v2.9.2, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

nota

Puede especificar la última versión compatible de apache-airflow-providers-amazon para actualizar este proveedor. Para obtener más información sobre cómo especificar las versiones más recientes, consulte Especificar paquetes de proveedores más nuevos.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon[aiobotocore] ==8.24.0
Conexión Postgres	apache-airflow-providers-postgres==5.1.1
Conexión FTP	apache-airflow-providers-ftp==3.9.1
Conexión de ventilador	apache-airflow-providers-fab==1.1.1
Conexión Celery	apache-airflow-providers-celery==3.7.2
Conexión HTTP	apache-airflow-providers-http==4.1.1
Conexión IMAP	apache-airflow-providers-imap==3.6.1
SQL común	apache-airflow-providers-common-sql==1.14.0
Conexión SQLite	apache-airflow-providers-sqlite==3.8.1
Conexión SMTP	apache-airflow-providers-smtp==1.7.1

Paquetes de proveedores para las conexiones de Apache Airflow v2.8.1

Al crear un entorno de Amazon MWAA en Apache Airflow v2.8.1, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

nota

Puede especificar la última versión compatible de apache-airflow-providers-amazon para actualizar este proveedor. Para obtener más información sobre cómo especificar las versiones más recientes, consulte Especificar paquetes de proveedores más nuevos.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon[aiobotocore] ==8.16.0
Conexión Postgres	apache-airflow-providers-postgres==5.10.0
Conexión FTP	apache-airflow-providers-ftp==3.7.0
Conexión Celery	apache-airflow-providers-celery==3.5.1
Conexión HTTP	apache-airflow-providers-http==4.8.0
Conexión IMAP	apache-airflow-providers-imap==3.5.0
SQL común	apache-airflow-providers-common-sql==1.10.0
Conexión SQLite	apache-airflow-providers-sqlite==3.7.0

Paquetes de proveedores para las conexiones de Apache Airflow v2.7.2

Al crear un entorno de Amazon MWAA en Apache Airflow v2.7.2, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

nota

Puede especificar la última versión compatible de apache-airflow-providers-amazon para actualizar este proveedor. Para obtener más información sobre cómo especificar las versiones más recientes, consulte Especificar paquetes de proveedores más nuevos.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon[aiobotocore] ==8.7.1
Conexión Postgres	apache-airflow-providers-postgres==5.6.1
Conexión FTP	apache-airflow-providers-ftp==3.5.2
Conexión Celery	apache-airflow-providers-celery==3.3.4
Conexión HTTP	apache-airflow-providers-http==4.5.2
Conexión IMAP	apache-airflow-providers-imap==3.3.2
SQL común	apache-airflow-providers-common-sql==1.7.2
Conexión SQLite	apache-airflow-providers-sqlite==3.4.3

Paquetes de proveedores para las conexiones de Apache Airflow v2.6.3

Al crear un entorno de Amazon MWAA en Apache Airflow v2.6.3, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

nota

Puede especificar la última versión compatible de apache-airflow-providers-amazon para actualizar este proveedor. Para obtener más información sobre cómo especificar las versiones más recientes, consulte Especificar paquetes de proveedores más nuevos.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon[aiobotocore] ==8.2.0
Conexión Postgres	apache-airflow-providers-postgres==5.5.1
Conexión FTP	apache-airflow-providers-ftp==3.4.2
Conexión Celery	apache-airflow-providers-celery==3.2.1
Conexión HTTP	apache-airflow-providers-http==4.4.2
Conexión IMAP	apache-airflow-providers-imap==3.2.2
SQL común	apache-airflow-providers-common-sql==1.5.2
Conexión SQLite	apache-airflow-providers-sqlite==3.4.2

Paquetes de proveedores para las conexiones de Apache Airflow v2.5.1

Al crear un entorno de Amazon MWAA en Apache Airflow v2.5.1, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

nota

Puede especificar la última versión compatible de apache-airflow-providers-amazon para actualizar este proveedor. Para obtener más información sobre cómo especificar las versiones más recientes, consulte Especificar paquetes de proveedores más nuevos.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon==7.1.0
Conexión Postgres	apache-airflow-providers-postgres==5.4.0
Conexión FTP	apache-airflow-providers-ftp==3.3.0
Conexión Celery	apache-airflow-providers-celery==3.1.0
Conexión HTTP	apache-airflow-providers-http==4.1.1
Conexión IMAP	apache-airflow-providers-imap==3.1.1
SQL común	apache-airflow-providers-common-sql==1.3.3
Conexión SQLite	apache-airflow-providers-sqlite==3.3.1

Paquetes de proveedores para las conexiones de Apache Airflow v2.4.3

Al crear un entorno de Amazon MWAA en Apache Airflow v2.4.3, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon==6.0.0
Conexión Postgres	apache-airflow-providers-postgres==5.2.2
Conexión FTP	apache-airflow-providers-ftp==3.1.0
Conexión Celery	apache-airflow-providers-celery==3.0.0
Conexión HTTP	apache-airflow-providers-http==4.0.0
Conexión IMAP	apache-airflow-providers-imap==3.0.0
SQL común	apache-airflow-providers-common-sql==1.2.0
Conexión SQLite	apache-airflow-providers-sqlite==3.2.1

Paquetes de proveedores para las conexiones de Apache Airflow v2.2.2

Al crear un entorno de Amazon MWAA en Apache Airflow v2.2.2, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

Tipo de conexión	Paquete
AWS Conexión	apache-airflow-providers-amazon==2.4.0
Conexión Postgres	apache-airflow-providers-postgres==2.3.0
Conexión FTP	apache-airflow-providers-ftp==2.0.1
Conexión Celery	apache-airflow-providers-celery==2.1.0
Conexión HTTP	apache-airflow-providers-http==2.0.1
Conexión IMAP	apache-airflow-providers-imap==2.0.1
Conexión SQLite	apache-airflow-providers-sqlite==2.0.1

Paquetes de proveedores para las conexiones de Apache Airflow v2.0.2

Al crear un entorno de Amazon MWAA en Apache Airflow v2.0.2, Amazon MWAA instala los siguientes paquetes de proveedores que se utilizan para las conexiones de Apache Airflow.

Tipo de conexión	Paquete
Conexión Tableau	apache-airflow-providers-tableau==1.0.0
Conexión Databricks	apache-airflow-providers-databricks==1.0.1
Conexión SSH	apache-airflow-providers-ssh==1.3.0
Conexión Postgres	apache-airflow-providers-postgres==1.0.2
Conexión Docker	apache-airflow-providers-docker==1.2.0
Conexión Oracle	apache-airflow-providers-oracle==1.1.0
Conexión Presto	apache-airflow-providers-presto==1.0.2
Conexiones SFTP	apache-airflow-providers-sftp==1.2.0

Especificar paquetes de proveedores más nuevos

A partir de la versión 2.7.2 de Apache Airflow, su archivo de requisitos debe incluir una instrucción --constraint. Si no proporciona ninguna restricción, Amazon MWAA especificará una para garantizar que los paquetes que figuran en sus requisitos sean compatibles con la versión de Apache Airflow que utilice.

Los archivos de restricciones de Apache Airflow especifican las versiones de proveedores disponibles en el momento de la publicación de Apache Airflow. En muchos casos, de todos modos, los proveedores más recientes son compatibles con esa versión de Apache Airflow. Como debe usar restricciones, para especificar una versión más reciente de un paquete de proveedores, puede modificar el archivo de restricciones para una versión de proveedor específica:

1. Descargue el archivo de restricciones específicas de la versión en https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt"

2. Modifique la versión apache-airflow-providers-amazon del archivo de restricciones con la versión que desee utilizar.

3. Guarde el archivo de restricciones modificado en la carpeta dags de Amazon S3 de su entorno Amazon MWAA como constraints-3.11-updated.txt, por ejemplo.

4. Especifique sus requisitos como se muestra a continuación.

   --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt"
   
   apache-airflow-providers-amazon==version-number

   nota

   Si utiliza un servidor web privado, le recomendamos que empaquete las bibliotecas necesarias como archivos WHL utilizando el local-runner de Amazon MWAA.