Apache Flink - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apache Flink

Apache Flink est un moteur de flux de données en streaming permettant de traiter des flux en temps réel sur des sources de données à haut débit. Flink prend en charge la sémantique de l'heure des out-of-order événements pour les événements, la sémantique d'une seule fois, le contrôle de la contre-pression, et est APIs optimisé pour écrire à la fois des applications de streaming et des applications par lots.

En outre, Flink a des connecteurs pour les sources de données tierces, telles que :

Amazon EMR prend en charge Flink en tant qu'YARNapplication afin que vous puissiez gérer les ressources avec d'autres applications au sein d'un cluster. Flink-on- vous YARN permet de soumettre des tâches Flink transitoires ou de créer un cluster de longue durée qui accepte plusieurs tâches et alloue des ressources en fonction de la réservation globale. YARN

Flink est inclus dans les EMR versions 5.1.0 et ultérieures d'Amazon.

Note

Support pour cette FlinkKinesisConsumer classe a été ajouté dans la EMR version 5.2.1 d'Amazon.

Le tableau suivant répertorie la version de Flink incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants qu'Amazon EMR installe avec Flink.

Pour la version des composants installés avec Flink dans cette version, voir Versions des composants de la version 7.2.0.

Informations sur la version de Flink pour emr-7.2.0
Étiquette EMR de sortie Amazon Version Flink Composants installés avec Flink

emr-7.2.0

Flink 1.18.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta

Le tableau suivant répertorie la version de Flink incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants qu'Amazon EMR installe avec Flink.

Pour connaître la version des composants installés avec Flink dans cette version, consultez les versions des composants de la version 6.15.0.

Informations sur la version de Flink pour emr-6.15.0
Étiquette EMR de sortie Amazon Version Flink Composants installés avec Flink

emr-6.15.0

Flink 1.17.1

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config, hudi, delta-standalone-connectors

Le tableau suivant répertorie la version de Flink incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants qu'Amazon EMR installe avec Flink.

Pour la version des composants installés avec Flink dans cette version, voir la version 5.36.2 Versions des composants.

Informations de version de Flink pour emr-5.36.2
Étiquette EMR de sortie Amazon Version Flink Composants installés avec Flink

emr-5.36.2

Flink 1.14.2

emrfs, hadoop-client, hadoop-mapred, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, flink-client, flink-jobmanager-config