Hudi
Apache Hudi
Hudi est intégré à Apache Spark
Avec la version 5.28.0 d'Amazon EMR et les versions ultérieures, EMR installe les composants Hudi par défaut lorsque Spark, Hive, Presto ou Flink sont installés. Vous pouvez utiliser Spark ou l'utilitaire Hudi DeltaStreamer pour créer ou mettre à jour des ensembles de données Hudi. Vous pouvez utiliser Hive, Spark, Presto ou Flink pour interroger un jeu de données Hudi de manière interactive ou créer des pipelines de traitement de données à l'aide de l'extraction incrémentielle. L'extraction incrémentielle fait référence à la possibilité d'extraire uniquement les données qui ont changé entre deux actions.
Ces fonctionnalités rendent Hudi adapté pour les cas d'utilisation suivants :
-
Utilisation des données de streaming provenant de capteurs et d'autres appareils IoT (Internet des objets) nécessitant des événements d'insertion et de mise à jour spécifiques.
-
Conformité aux règles de confidentialité des données dans des applications où les utilisateurs peuvent choisir d'être oubliés ou modifier leur consentement quant à la manière dont leurs données peuvent être utilisées.
-
Implémentation d'un système de capture des données modifiées (CDC)
qui vous permet d'appliquer des modifications à un ensemble de données au fil du temps.
Le tableau suivant répertorie la version de Hudi incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Hudi.
Pour connaître la version des composants installés avec Hudi dans cette version, consultez les versions des composants de la version 6.14.0.
Informations sur la version de Hudi pour emr-6.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Étiquette de version Amazon EMR | Version Hudi | Composants installés avec Hudi | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.14.0 |
Hudi 0.13.1-amzn-2 |
Not available. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Note
La version 6.8.0 d'Amazon EMR est fournie avec Apache Hudihudi-spark3.3-bundle_2.12 open source de Hudi 0.12.0.
Le tableau suivant répertorie la version de Hudi incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Hudi.
Pour connaître la version des composants installés avec Hudi dans cette version, consultez les versions des composants de la version 6.14.0.
Informations sur la version de Hudi pour emr-5.36.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Étiquette de version Amazon EMR | Version Hudi | Composants installés avec Hudi | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.1 |
Hudi 0.10.1-amzn-1 |
Not available. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Rubriques
