Apache Airflow-Provider-Pakete, die in Amazon MWAA-Umgebungen installiert sind

Amazon MWAA installiert Provider-Extras für Verbindungsarten von Apache Airflow v2 und höher, wenn Sie eine neue Umgebung erstellen. Durch die Installation von Provider-Paketen können Sie einen Verbindungstyp in der Apache Airflow-Benutzeroberfläche anzeigen. Das bedeutet auch, dass Sie diese Pakete nicht als Python-Abhängigkeit in Ihrer requirements.txt Datei angeben müssen. Diese Seite listet die Apache Airflow Provider-Pakete auf, die von Amazon MWAA für alle Apache Airflow v2-Umgebungen installiert wurden.

Anmerkung

Für Apache Airflow v2 und höher installiert Amazon MWAA Watchtower Version 2.0.1 nach der Ausführung, um sicherzustellenpip3 install -r requirements.txt, dass die Kompatibilität mit der CloudWatch Protokollierung nicht durch andere Python-Bibliotheksinstallationen außer Kraft gesetzt wird.

Inhalt

• Provider-Pakete für Apache Airflow v2.9.2-Verbindungen
• Provider-Pakete für Apache Airflow v2.8.1-Verbindungen
• Provider-Pakete für Apache Airflow v2.7.2-Verbindungen
• Provider-Pakete für Apache Airflow v2.6.3-Verbindungen
• Provider-Pakete für Apache Airflow v2.5.1-Verbindungen
• Provider-Pakete für Apache Airflow v2.4.3-Verbindungen
• Provider-Pakete für Apache Airflow v2.2.2-Verbindungen
• Provider-Pakete für Apache Airflow v2.0.2-Verbindungen
• Spezifizierung neuerer Provider-Pakete

Provider-Pakete für Apache Airflow v2.9.2-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.9.2 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Anmerkung

Sie können die neueste unterstützte Version von angeben, um diesen Anbieter zu aktualisieren. apache-airflow-providers-amazon Weitere Informationen zur Angabe neuerer Versionen finden Sie unterSpezifizierung neuerer Provider-Pakete.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon[aiobotocore] ==8.24.0
Postgres-Verbindung	apache-airflow-providers-postgres==5.11.1
FTP-Verbindung	apache-airflow-providers-ftp==3.9.1
Fantastische Verbindung	apache-airflow-providers-fab==1.1.1
Sellerie-Verbindung	apache-airflow-providers-celery==3.7.2
HTTP-Verbindung	apache-airflow-providers-http==4.11.1
IMAP-Verbindung	apache-airflow-providers-imap==3.6.1
Gemeinsames SQL	apache-airflow-providers-common-sql==1.14.0
SQLite-Verbindung	apache-airflow-providers-sqlite==3.8.1
SMTP-Verbindung	apache-airflow-providers-smtp==1.7.1

Provider-Pakete für Apache Airflow v2.8.1-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.8.1 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Anmerkung

Sie können die neueste unterstützte Version von angeben, um diesen Anbieter zu aktualisieren. apache-airflow-providers-amazon Weitere Informationen zur Angabe neuerer Versionen finden Sie unterSpezifizierung neuerer Provider-Pakete.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon[aiobotocore] ==8.16.0
Postgres-Verbindung	apache-airflow-providers-postgres==5.10.0
FTP-Verbindung	apache-airflow-providers-ftp==3.7.0
Sellerie-Verbindung	apache-airflow-providers-celery==3.5.1
HTTP-Verbindung	apache-airflow-providers-http==4.8.0
IMAP-Verbindung	apache-airflow-providers-imap==3.5.0
Gemeinsames SQL	apache-airflow-providers-common-sql==1.10.0
SQLite-Verbindung	apache-airflow-providers-sqlite==3.7.0

Provider-Pakete für Apache Airflow v2.7.2-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.7.2 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Anmerkung

Sie können die neueste unterstützte Version von angeben, um diesen Anbieter zu aktualisieren. apache-airflow-providers-amazon Weitere Informationen zur Angabe neuerer Versionen finden Sie unterSpezifizierung neuerer Provider-Pakete.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon[aiobotocore] ==8.7.1
Postgres-Verbindung	apache-airflow-providers-postgres==5.6.1
FTP-Verbindung	apache-airflow-providers-ftp==3.5.2
Sellerie-Verbindung	apache-airflow-providers-celery==3.3.4
HTTP-Verbindung	apache-airflow-providers-http==4.5.2
IMAP-Verbindung	apache-airflow-providers-imap==3.3.2
Gemeinsames SQL	apache-airflow-providers-common-sql==1.7.2
SQLite-Verbindung	apache-airflow-providers-sqlite==3.4.3

Provider-Pakete für Apache Airflow v2.6.3-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.6.3 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Anmerkung

Sie können die neueste unterstützte Version von angeben, um diesen Anbieter zu aktualisieren. apache-airflow-providers-amazon Weitere Informationen zur Angabe neuerer Versionen finden Sie unterSpezifizierung neuerer Provider-Pakete.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon[aiobotocore] ==8.2.0
Postgres-Verbindung	apache-airflow-providers-postgres==5.5.1
FTP-Verbindung	apache-airflow-providers-ftp==3.4.2
Sellerie-Verbindung	apache-airflow-providers-celery==3.2.1
HTTP-Verbindung	apache-airflow-providers-http==4.4.2
IMAP-Verbindung	apache-airflow-providers-imap==3.2.2
Gemeinsames SQL	apache-airflow-providers-common-sql==1.5.2
SQLite-Verbindung	apache-airflow-providers-sqlite==3.4.2

Provider-Pakete für Apache Airflow v2.5.1-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.5.1 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Anmerkung

Sie können die neueste unterstützte Version von angeben, um diesen Anbieter zu aktualisieren. apache-airflow-providers-amazon Weitere Informationen zur Angabe neuerer Versionen finden Sie unterSpezifizierung neuerer Provider-Pakete.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon==7.1.0
Postgres-Verbindung	apache-airflow-providers-postgres==5.4.0
FTP-Verbindung	apache-airflow-providers-ftp==3.3.0
Sellerie-Verbindung	apache-airflow-providers-celery==3.1.0
HTTP-Verbindung	apache-airflow-providers-http==4.1.1
IMAP-Verbindung	apache-airflow-providers-imap==3.1.1
Gemeinsames SQL	apache-airflow-providers-common-sql==1.3.3
SQLite-Verbindung	apache-airflow-providers-sqlite==3.3.1

Provider-Pakete für Apache Airflow v2.4.3-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.4.3 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon==6.0.0
Postgres-Verbindung	apache-airflow-providers-postgres==5.2.2
FTP-Verbindung	apache-airflow-providers-ftp==3.1.0
Sellerie-Verbindung	apache-airflow-providers-celery==3.0.0
HTTP-Verbindung	apache-airflow-providers-http==4.0.0
IMAP-Verbindung	apache-airflow-providers-imap==3.0.0
Gemeinsames SQL	apache-airflow-providers-common-sql==1.2.0
SQLite-Verbindung	apache-airflow-providers-sqlite==3.2.1

Provider-Pakete für Apache Airflow v2.2.2-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.2.2 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Verbindungstyp	Paket
AWS Verbindung	apache-airflow-providers-amazon==2.4.0
Postgres-Verbindung	apache-airflow-providers-postgres==2.3.0
FTP-Verbindung	apache-airflow-providers-ftp==2.0.1
Sellerie-Verbindung	apache-airflow-providers-celery==2.1.0
HTTP-Verbindung	apache-airflow-providers-http==2.0.1
IMAP-Verbindung	apache-airflow-providers-imap==2.0.1
SQLite-Verbindung	apache-airflow-providers-sqlite==2.0.1

Provider-Pakete für Apache Airflow v2.0.2-Verbindungen

Wenn Sie eine Amazon MWAA-Umgebung in Apache Airflow v2.0.2 erstellen, installiert Amazon MWAA die folgenden Provider-Pakete, die für Apache Airflow-Verbindungen verwendet werden.

Verbindungstyp	Paket
Tableau-Verbindung	apache-airflow-providers-tableau==1.0.0
Databricks-Verbindung	apache-airflow-providers-databricks==1.0.1
SSH-Verbindung	apache-airflow-providers-ssh==1.3.0
Postgres-Verbindung	apache-airflow-providers-postgres==1.0.2
Docker-Verbindung	apache-airflow-providers-docker==1.2.0
Oracle-Verbindung	apache-airflow-providers-oracle==1.1.0
Presto-Verbindung	apache-airflow-providers-presto==1.0.2
SFTP-Verbindung	apache-airflow-providers-sftp==1.2.0

Spezifizierung neuerer Provider-Pakete

Ab Apache Airflow v2.7.2 muss Ihre Anforderungsdatei eine Erklärung enthalten. --constraint Wenn Sie keine Einschränkung angeben, gibt Amazon MWAA eine für Sie an, um sicherzustellen, dass die in Ihren Anforderungen aufgeführten Pakete mit der Version von Apache Airflow kompatibel sind, die Sie verwenden.

Die Apache Airflow-Einschränkungsdateien geben die Anbieterversionen an, die zum Zeitpunkt einer Apache Airflow-Veröffentlichung verfügbar waren. In vielen Fällen sind neuere Anbieter jedoch mit dieser Version von Apache Airflow kompatibel. Da Sie Einschränkungen verwenden müssen, können Sie die Einschränkungsdatei für eine bestimmte Anbieterversion ändern, um eine neuere Version eines Provider-Pakets anzugeben:

1. Laden Sie die versionsspezifische Einschränkungsdatei von https://raw.githubusercontent.com/apache/airflow/constraints-2.7.2/constraints-3.11.txt "herunter

2. Ändern Sie die apache-airflow-providers-amazon Version in der Einschränkungsdatei auf die Version, die Sie verwenden möchten.

3. Speichern Sie die geänderte Einschränkungsdatei im Amazon S3 S3-Ordner „dags“ Ihrer Amazon MWAA-Umgebung, z. B. als constraints-3.11-updated.txt

4. Geben Sie Ihre Anforderungen wie im Folgenden dargestellt an.

   --constraint "/usr/local/airflow/dags/constraints-3.11-updated.txt"
   
   apache-airflow-providers-amazon==version-number

   Anmerkung

   Wenn Sie einen privaten Webserver verwenden, empfehlen wir Ihnen, die erforderlichen Bibliotheken mithilfe des Amazon MWAA Local-Runners als WHL-Dateien zu verpacken.