Apache Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Apache Hadoop

Apache Hadoop est une infrastructure logicielle Java open source qui prend en charge le traitement d'importants volumes de données sur un cluster d'instances. Il peut s'exécuter sur une seule instance ou sur des milliers d'instances. Hadoop utilise différents modèles de traitement, tels que MapReduce Tez, pour répartir le traitement sur plusieurs instances et utilise également un système de fichiers distribué appelé HDFS pour stocker les données sur plusieurs instances. Hadoop surveille l'intégrité des instances dans le cluster et peut se remettre d'une défaillance d'un ou de plusieurs nœuds. De cette manière, Hadoop fournit une capacité accrue de stockage et de traitement, ainsi qu'une disponibilité élevée. Pour plus d'informations, consultez la documentation Hadoop.

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version de la série Amazon EMR 7.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour la version des composants installés avec Hadoop dans cette version, voir Versions des composants de la version 7.3.0.

Informations sur la version de Hadoop pour emr-7.3.0
Étiquette EMR de sortie Amazon Version de Hadoop Composants installés avec Hadoop

emr-7.3.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version de la série Amazon EMR 6.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour connaître la version des composants installés avec Hadoop dans cette version, consultez les versions des composants de la version 6.15.0.

Informations sur la version de Hadoop pour emr-6.15.0
Étiquette EMR de sortie Amazon Version de Hadoop Composants installés avec Hadoop

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Le tableau suivant répertorie la version de Hadoop incluse dans la dernière version de la série Amazon EMR 5.x, ainsi que les composants qu'Amazon EMR installe avec Hadoop.

Pour la version des composants installés avec Hadoop dans cette version, consultez la version 5.36.2 Versions des composants.

Informations sur la version de Hadoop pour emr-5.36.2
Étiquette EMR de sortie Amazon Version de Hadoop Composants installés avec Hadoop

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

À partir d'Amazon EMR 5.18.0, vous pouvez utiliser le référentiel d'EMRartefacts Amazon pour créer votre code de travail en fonction des versions exactes des bibliothèques et des dépendances disponibles avec des versions spécifiques d'Amazon. EMR Pour de plus amples informations, veuillez consulter Vérification des dépendances à l'aide du référentiel d'artefacts d'Amazon EMR.

Rubriques