Paket penyedia Apache Airflow diinstal di lingkungan Amazon MWAA

Halaman ini mencantumkan paket penyedia Apache Airflow yang diinstal oleh Amazon MWAA untuk semua lingkungan Apache Airflow yang didukung. Untuk informasi selengkapnya tentang paket-paket ini, lihat referensi Apache Airflow untuk paket tambahan.

catatan

Untuk memastikan kompatibilitas dengan CloudWatch logging tidak diganti oleh instalasi pustaka Python lainnya, Amazon MWAA menginstal Watchtower versi 2.0.1 setelah melakukan. pip3 install -r requirements.txt

File kendala

Dimulai dengan Apache Airflow v2.7.2, file persyaratan Anda harus menyertakan --constraint pernyataan. Jika Anda tidak memberikan batasan, Amazon MWAA akan menentukannya untuk memastikan paket yang tercantum dalam persyaratan Anda kompatibel dengan versi Apache Airflow yang Anda gunakan.

File batasan Apache Airflow menentukan versi penyedia yang tersedia pada saat rilis Apache Airflow. Namun, dalam banyak kasus, penyedia yang lebih baru kompatibel dengan versi Apache Airflow itu. Karena Anda harus menggunakan batasan, untuk menentukan versi paket penyedia yang lebih baru, Anda dapat memodifikasi file batasan untuk versi penyedia tertentu:

1. Unduh file batasan khusus versi dari GitHub, misalnya https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt (ganti '2.7.2' dengan versi yang ingin Anda gunakan).

2. Simpan file batasan yang dimodifikasi ke folder Amazon S3 dags lingkungan Amazon MWAA Anda, misalnya, sebagaiconstraints-3.11-updated.txt.

3. Tentukan persyaratan Anda seperti yang tercantum di bawah ini.

   --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt"
   apache-airflow-providers-amazon==version-number

   catatan

   Jika Anda menggunakan server web pribadi, kami sarankan Anda mengemas pustaka yang diperlukan sebagai file WHL dengan menggunakan aws-mwaa-docker-images.

Version-specific paket penyedia

Menginstal paket penyedia yang dapat Anda gunakan untuk mengakses jenis koneksi di Apache Airflow UI. Ini juga berarti Anda tidak perlu menentukan paket-paket ini sebagai ketergantungan Python dalam requirements.txt file Anda. Halaman ini mencantumkan paket penyedia Apache Airflow yang diinstal oleh Amazon MWAA untuk semua lingkungan Apache Airflow yang didukung.

catatan

Untuk Apache Airflow v2 dan yang lebih baru, Amazon MWAA menginstal Watchtower versi 2.0.1 setelah melakukanpip3 install -r requirements.txt, untuk memastikan kompatibilitas dengan CloudWatch logging tidak diganti oleh instalasi pustaka Python lainnya.

Anda dapat menentukan versi terbaru yang didukung apache-airflow-providers-amazon untuk meningkatkan penyedia ini.

Versi Apache Airflow yang didukung:

v3.2.1

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==9.25.0
Koneksi Postgres	apache-airflow-providers-postgres==6.6.3
Koneksi FTP	apache-penyedia aliran udara-ftp==3.14.3
Koneksi Fab	apache-penyedia aliran udara-fab==3.6.1
Koneksi Seledri	apache-airflow-penyedia seleri==3.18.0
Koneksi HTTP	apache-airflow-penyedia http==6.0.2
Koneksi IMAP	apache-penyedia aliran udara-imap==3.11.2
SQL umum	apache-airflow-providers-common-sql==1.34.0
Koneksi SQLite	apache-airflow-providers-sqlite==4.3.2

v3.0.6

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==9.9.0
Koneksi Postgres	apache-airflow-providers-postgres==6.2.1
Koneksi FTP	apache-penyedia aliran udara-ftp==3.13.1
Koneksi Fab	apache-penyedia aliran udara-fab==2.3.0
Koneksi Seledri	apache-airflow-penyedia seleri==3.12.1
Koneksi HTTP	apache-airflow-penyedia http==5.3.2
Koneksi IMAP	apache-penyedia aliran udara-imap==3.9.1
SQL umum	apache-airflow-providers-common-sql==1.27.3
Koneksi SQLite	apache-airflow-providers-sqlite==4.1.1

v2.11.2

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==9.22.0
Koneksi Postgres	apache-airflow-providers-postgres==6.6.0
Koneksi FTP	apache-penyedia aliran udara-ftp==3.14.1
Koneksi Seledri	apache-airflow-penyedia seleri==3.15.2
Koneksi HTTP	apache-airflow-penyedia http==6.0.0
Koneksi IMAP	apache-penyedia aliran udara-imap==3.11.0
SQL umum	apache-airflow-providers-common-sql==1.32.0
Koneksi SQLite	apache-airflow-providers-sqlite==4.3.0
Koneksi SMTP	apache-penyedia aliran udara-smtp ==2.4.2

v2.11.0

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==9.8.0
Koneksi Postgres	apache-airflow-providers-postgres==6.2.0
Koneksi FTP	apache-penyedia aliran udara-ftp==3.13.0
Koneksi Fab	apache-airflow-providers-fab==1.5.3
Koneksi Seledri	apache-airflow-penyedia seleri==3.11.0
Koneksi HTTP	apache-airflow-penyedia http==5.3.0
Koneksi IMAP	apache-penyedia aliran udara-imap==3.9.0
SQL umum	apache-airflow-providers-common-sql==1.27.1
Koneksi SQLite	apache-airflow-providers-sqlite==4.1.0
Koneksi SMTP	apache-penyedia aliran udara-smtp ==2.1.0

v2.10.3

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==9.0.0
Koneksi Postgres	apache-airflow-providers-postgres==5.13.1
Koneksi FTP	apache-penyedia aliran udara-ftp==3.11.1
Koneksi Fab	apache-airflow-providers-fab==1.5.0
Koneksi Seledri	apache-airflow-penyedia-seledri==3.8.3
Koneksi HTTP	apache-penyedia aliran air-http==4.13.2
Koneksi IMAP	apache-airflow-providers-imap==3.7.0
SQL umum	apache-airflow-providers-common-sql==1.19.0
Koneksi SQLite	apache-airflow-providers-sqlite==3.9.0
Koneksi SMTP	apache-penyedia aliran udara-smtp ==1.8.0

v2.10.1

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==8.28.0
Koneksi Postgres	apache-airflow-providers-postgres==5.12.0
Koneksi FTP	apache-penyedia aliran udara-ftp==3.11.0
Koneksi Fab	apache-airflow-providers-fab==1.3.0
Koneksi Seledri	apache-airflow-penyedia-seledri==3.8.1
Koneksi HTTP	apache-penyedia aliran air-http==4.13.0
Koneksi IMAP	apache-airflow-providers-imap==3.7.0
SQL umum	apache-airflow-providers-common-sql==1.16.0
Koneksi SQLite	apache-airflow-providers-sqlite==3.9.0
Koneksi SMTP	apache-penyedia aliran udara-smtp ==1.8.0

v2.9.2

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==8.24.0
Koneksi Postgres	apache-airflow-providers-postgres==5.11.1
Koneksi FTP	apache-penyedia aliran udara-ftp==3.9.1
Koneksi Fab	apache-airflow-providers-fab==1.1.1
Koneksi Seledri	apache-airflow-penyedia-seledri==3.7.2
Koneksi HTTP	apache-penyedia aliran air-http==4.11.1
Koneksi IMAP	apache-penyedia aliran udara-imap==3.6.1
SQL umum	apache-airflow-providers-common-sql==1.14.0
Koneksi SQLite	apache-airflow-providers-sqlite==3.8.1
Koneksi SMTP	apache-penyedia aliran udara-smtp ==1.7.1

v2.8.1

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==8.16.0
Koneksi Postgres	apache-airflow-providers-postgres==5.10.0
Koneksi FTP	apache-penyedia aliran udara-ftp==3.7.0
Koneksi Seledri	apache-airflow-penyedia-seledri==3.5.1
Koneksi HTTP	apache-airflow-penyedia http==4.8.0
Koneksi IMAP	apache-airflow-providers-imap==3.5.0
SQL umum	apache-airflow-providers-common-sql==1.10.0
Koneksi SQLite	apache-airflow-providers-sqlite==3.7.0

v2.7.2

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==8.7.1
Koneksi Postgres	apache-airflow-providers-postgres==5.6.1
Koneksi FTP	apache-penyedia aliran udara-ftp==3.5.2
Koneksi Seledri	apache-airflow-penyedia-seledri==3.3.4
Koneksi HTTP	apache-airflow-penyedia http==4.5.2
Koneksi IMAP	apache-penyedia aliran udara-imap==3.3.2
SQL umum	apache-airflow-providers-common-sql==1.7.2
Koneksi SQLite	apache-airflow-providers-sqlite==3.4.3

v2.6.3

Tipe koneksi	Paket
AWS Koneksi	apache-airflow-providers-amazon [aiobotocore] ==8.2.0
Koneksi Postgres	apache-airflow-providers-postgres==5.5.1
Koneksi FTP	apache-penyedia aliran udara-ftp==3.4.2
Koneksi Seledri	apache-airflow-penyedia-seledri==3.2.1
Koneksi HTTP	apache-airflow-penyedia http==4.4.2
Koneksi IMAP	apache-penyedia aliran udara-imap==3.2.2
SQL umum	apache-airflow-providers-common-sql==1.5.2
Koneksi SQLite	apache-airflow-providers-sqlite==3.4.2

v2.5.1

Tipe koneksi	Paket
AWS Koneksi	penyedia aliran udara apache-amazon==7.1.0
Koneksi Postgres	apache-airflow-providers-postgres==5.4.0
Koneksi FTP	apache-penyedia aliran udara-ftp==3.3.0
Koneksi Seledri	apache-airflow-penyedia-seledri==3.1.0
Koneksi HTTP	apache-airflow-providers-http==4.1.1
Koneksi IMAP	apache-airflow-providers-imap==3.1.1
SQL umum	apache-airflow-providers-common-sql==1.3.3
Koneksi SQLite	apache-airflow-providers-sqlite==3.3.1

v2.4.3

Tipe koneksi	Paket
AWS Koneksi	penyedia aliran udara apache-amazon==6.0.0
Koneksi Postgres	apache-airflow-providers-postgres==5.2.2
Koneksi FTP	apache-penyedia aliran udara-ftp==3.1.0
Koneksi Seledri	apache-airflow-penyedia-seledri==3.0.0
Koneksi HTTP	apache-airflow-penyedia http==4.0.0
Koneksi IMAP	apache-airflow-providers-imap==3.0.0
SQL umum	apache-airflow-providers-common-sql==1.2.0
Koneksi SQLite	apache-airflow-providers-sqlite==3.2.1