Apache Hadoop - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Apache Hadoop

Apache Hadoop ist ein Open-Source-Java-Software-Framework, das die Verarbeitung von großen Datenmengen mithilfe von Instance-Clustern unterstützt. Hadoop kann auf einer einzigen Instance oder auch auf Tausenden von Instances ausgeführt werden. Hadoop verwendet verschiedene Verarbeitungsmodelle wie MapReduce und Tez, um die Verarbeitung auf mehrere Instanzen zu verteilen, und verwendet außerdem ein verteiltes Dateisystem namens HDFS, um Daten auf mehreren Instanzen zu speichern. Hadoop überwacht den Zustand der Instances im Cluster und kann nach dem Ausfall eines oder mehrerer Knoten eine Wiederherstellung durchführen. Auf diese Weise bietet Hadoop nicht nur erhöhte Datenverarbeitungs- und Speicherkapazitäten, sondern auch eine hohe Verfügbarkeit. Weitere Informationen finden Sie in der Hadoop-Dokumentation.

Die folgende Tabelle listet die Version von Hadoop auf, die in der neuesten Version der Amazon-EMR-7.x-Serie enthalten ist, zusammen mit den Komponenten, die Amazon EMR mit Tez installiert.

Informationen zur Version der Komponenten, die in dieser Version mit Hadoop installiert wurden, finden Sie unter Komponentenversionen der Version 7.1.0.

Hadoop-Versionsinformationen für emr-7.1.0
Amazon-EMR-Versionsbezeichnung Hadoop-Version Mit Hadoop installierte Komponenten

emr-7.1.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Die folgende Tabelle listet die Version von Hadoop auf, die in der neuesten Version der Amazon-EMR-6.x-Serie enthalten ist, zusammen mit den Komponenten, die Amazon EMR mit Hadoop installiert.

Die Version der Komponenten, die mit Hadoop in dieser Version installiert wurden, finden Sie unter Komponentenversionen der Version 6.15.0.

Hadoop-Versionsinformationen für emr-6.15.0
Amazon-EMR-Versionsbezeichnung Hadoop-Version Mit Hadoop installierte Komponenten

emr-6.15.0

Hadoop 3.3.6

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Die folgende Tabelle listet die Version von Hadoop auf, die in der neuesten Version der Amazon-EMR-5.x-Serie enthalten ist, zusammen mit den Komponenten, die Amazon EMR mit Tez installiert.

Informationen zur Version der Komponenten, die in dieser Version mit Hadoop installiert wurden, finden Sie unter Komponentenversionen von Version 5.36.2.

Hadoop-Versionsinformationen für emr-5.36.2
Amazon-EMR-Versionsbezeichnung Hadoop-Version Mit Hadoop installierte Komponenten

emr-5.36.2

Hadoop 2.10.1

emrfs, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server

Ab Amazon EMR 5.18.0 können Sie das Amazon-EMR-Artefakt-Repository verwenden, um Ihren Auftragscode anhand der genauen Versionen von Bibliotheken und Abhängigkeiten zu erstellen, die mit bestimmten Amazon-EMR-Versionen verfügbar sind. Weitere Informationen finden Sie unter Überprüfen von Abhängigkeiten mithilfe des Amazon-EMR-Artefakt-Repositorys.

Themen