Apache Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apache Hadoop

Apache Hadoop est une infrastructure logicielle Java open source qui prend en charge le traitement d'importants volumes de données sur un cluster d'instances. Il peut s'exécuter sur une seule instance ou sur des milliers d'instances. Hadoop utilise différents modèles de traitement, tels que MapReduce Tez, pour répartir le traitement sur plusieurs instances et utilise également un système de fichiers distribué appelé HDFS pour stocker les données sur plusieurs instances. Hadoop surveille l'intégrité des instances dans le cluster et peut se remettre d'une défaillance d'un ou de plusieurs nœuds. De cette manière, Hadoop fournit une capacité accrue de stockage et de traitement, ainsi qu'une disponibilité élevée. Pour plus d'informations, consultez la documentation Hadoop.

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version d’Amazon EMR série 7.x, ainsi que les composants qu’Amazon EMR installe avec Hadoop.

Pour la version des composants installés avec Hadoop dans cette version, consultez la version 7.1.0 Versions des composants.

Informations sur la version de Hadoop pour emr-7.1.0
Étiquette de version Amazon EMR Version de Hadoop Composants installés avec Hadoop

emr-7.1.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version d'Amazon EMR série 6.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour connaître la version des composants installés avec Hadoop dans cette version, consultez les versions des composants de la version 6.15.0.

Informations sur la version de Hadoop pour emr-6.15.0
Étiquette de version Amazon EMR Version de Hadoop Composants installés avec Hadoop

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version d'Amazon EMR série 5.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour la version des composants installés avec Hadoop dans cette version, consultez la version 5.36.2 Versions des composants.

Informations sur la version de Hadoop pour emr-5.36.2
Étiquette de version Amazon EMR Version de Hadoop Composants installés avec Hadoop

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

À partir d'Amazon EMR 5.18.0, vous pouvez utiliser le référentiel d'artefacts d'Amazon EMR pour générer le code de votre tâche en fonction des versions exactes des bibliothèques et des dépendances qui sont disponibles avec des versions spécifiques d'Amazon EMR. Pour plus d’informations, consultez Vérification des dépendances à l'aide du référentiel d'artefacts d'Amazon EMR.