Apache Hadoop - Amazon EMR

Apache Hadoop

Apache Hadoop est une infrastructure logicielle Java open source qui prend en charge le traitement d'importants volumes de données sur un cluster d'instances. Il peut s'exécuter sur une seule instance ou sur des milliers d'instances. Hadoop utilise différents modèles de traitement, tels que MapReduce et Tez, afin de répartir le traitement entre plusieurs instances. Il utilise également un système de fichiers distribué, appelé HDFS, pour stocker des données sur plusieurs instances. Hadoop surveille l'intégrité des instances dans le cluster et peut se remettre d'une défaillance d'un ou de plusieurs nœuds. De cette manière, Hadoop fournit une capacité accrue de stockage et de traitement, ainsi qu'une disponibilité élevée. Pour plus d'informations, consultez la documentation Hadoop.

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour connaître la version des composants installés avec Hadoop dans cette version, consultez les versions des composants de la version 6.14.0.

Informations sur la version de Hadoop pour emr-6.14.0
Étiquette de version Amazon EMR Version de Hadoop Composants installés avec Hadoop

emr-6.14.0

Hadoop 3.3.3

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour connaître la version des composants installés avec Hadoop dans cette version, consultez les versions des composants de la version 6.14.0.

Informations sur la version de Hadoop pour emr-5.36.1
Étiquette de version Amazon EMR Version de Hadoop Composants installés avec Hadoop

emr-5.36.1

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

À partir d'Amazon EMR 5.18.0, vous pouvez utiliser le référentiel d'artefacts d'Amazon EMR pour générer le code de votre tâche en fonction des versions exactes des bibliothèques et des dépendances qui sont disponibles avec des versions spécifiques d'Amazon EMR. Pour de plus amples informations, veuillez consulter Vérification des dépendances à l'aide du référentiel d'artefacts d'Amazon EMR.