Amazon-EMR-Version 5.5.1 - Amazon EMR
AnwendungsversionenVersionshinweiseVersionen der KomponentenKonfigurationsklassifizierungen

Amazon-EMR-Version 5.5.1

Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Flink, Ganglia, HBase, HCatalog, Hadoop, Hive, Hue, Mahout, Oozie, Phoenix, Pig, Presto, Spark, Sqoop, Tez, Zeppelin, und ZooKeeper.

In der folgenden Tabelle sind die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen der vorherigen drei Amazon-EMR-Versionen (sofern zutreffend) aufgeführt.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Themen:

Informationen zur Anwendungsversion
emr-5.5.1 emr-5.5.0 emr-5.4.1 emr-5.4.0
AWS-SDK für Java 1.10.751.10.751.10.751.10.75
Python Nicht verfügbarNicht verfügbarNicht verfügbarNicht verfügbar
Scala Nicht verfügbarNicht verfügbarNicht verfügbarNicht verfügbar
Delta - - - -
Flink1.2.01.2.01.2.01.2.0
Ganglia3.7.23.7.23.7.23.7.2
HBase1.3.01.3.01.3.01.3.0
HCatalog2.1.12.1.12.1.12.1.1
Hadoop2.7.32.7.32.7.32.7.3
Hive2.1.12.1.12.1.12.1.1
Hudi - - - -
Hue3.12.03.12.03.11.03.11.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.12.20.12.20.12.20.12.2
Oozie4.3.04.3.04.3.04.3.0
Phoenix4.9.04.9.04.9.04.9.0
Pig0.16.00.16.00.16.00.16.0
Presto0.1700.1700.1660.166
Spark2.1.02.1.02.1.02.1.0
Sqoop1.4.61.4.61.4.61.4.6
TensorFlow - - - -
Tez0.8.40.8.40.8.40.8.4
Trino (PrestoSQL) - - - -
Zeppelin0.7.10.7.10.7.00.7.0
ZooKeeper3.4.103.4.103.4.93.4.9

Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon-EMR-Version 5.5.1. Änderungen beziehen sich auf Amazon-EMR-Version 5.5.0.

Erste Version: 22. Januar 2018

Änderungen, Verbesserungen und behobene Probleme

  • Der Amazon-Linux-Kernel des standardmäßigen Amazon-Linux-AMI für Amazon EMR wurde aktualisiert, um Schwachstellen im Zusammenhang mit spekulativer Ausführung zu beheben (CVE-2017-5715, CVE-2017-5753 und CVE-2017-5754). Weitere Informationen finden Sie unter https://aws.amazon.com/security/security-bulletins/AWS-2018-013/.

Versionen der Komponenten

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und -Features installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon-EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon-EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb4.3.0Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies2.3.0Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis3.3.0Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp2.5.0Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs2.16.0Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
flink-client1.2.0Apache Flink-Clientskripts und -Anwendungen für die Befehlszeile.
ganglia-monitor3.7.2Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector3.7.2Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web3.7.1Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client2.7.3-amzn-2Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode2.7.3-amzn-2HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library2.7.3-amzn-2HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode2.7.3-amzn-2HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server2.7.3-amzn-2HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server2.7.3-amzn-2Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred2.7.3-amzn-2Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager2.7.3-amzn-2YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager2.7.3-amzn-2YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server2.7.3-amzn-2Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster1.3.0Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server1.3.0Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client1.3.0HBase-Befehlszeilen-Client.
hbase-rest-server1.3.0Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server1.3.0Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client2.1.1-amzn-0Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server2.1.1-amzn-0Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server2.1.1-amzn-0HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client2.1.1-amzn-0Hive-Befehlszeilen-Client.
hive-hbase2.1.1-amzn-0Hive-hbase client.
hive-metastore-server2.1.1-amzn-0Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server22.1.1-amzn-0Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server3.12.0Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client0.12.2Bibliothek für Machine Learning.
mysql-server5.5.54+MySQL-Datenbankserver.
oozie-client4.3.0Oozie-Befehlszeilen-Client.
oozie-server4.3.0Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library4.9.0-HBase-1.2Die Phoenix-Bibliotheken für den Server und den Client
phoenix-query-server4.9.0-HBase-1.2Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator0.170Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker0.170Service für das Ausführen von Teilen einer Abfrage.
pig-client0.16.0-amzn-0Pig-Befehlszeilen-Client.
spark-client2.1.0Spark-Befehlszeilen-Clients.
spark-history-server2.1.0Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn2.1.0In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave2.1.0Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client1.4.6Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn0.8.4Die Tez-YARN-Anwendung und -Bibliotheken.
webserver2.4.25+Apache HTTP-Server.
zeppelin-server0.7.1Webbasiertes Notebook, das interaktive Datenanalysen ermöglicht.
zookeeper-server3.4.10Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client3.4.10ZooKeeper-Befehlszeilen-Client.

Konfigurationsklassifizierungen

Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML-Konfigurationsdatei für die Anwendung, z. B. hive-site.xml Weitere Informationen finden Sie unter Anwendungen konfigurieren.

emr-5.5.1-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

flink-conf

Ändert die flink-conf.yaml-Einstellungen.

flink-log4j

Ändert die log4j.properties-Einstellungen für Flink.

flink-log4j-yarn-session

Ändert die log4j-yarn-session.properties-Einstellungen für Flink.

flink-log4j-cli

Ändert die log4j-cli.properties-Einstellungen für Flink.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache HBase.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j2

Ändert die Werte in der log4j2.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-beeline-log4j2

Ändert die Werte in der beeline-log4j2.properties-Datei in Hive.

hive-parquet-logging

Ändert die Werte in der parquet-logging.properties-Datei in Hive.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j2

Ändert die Werte in der hive-exec-log4j2.properties-Datei in Hive.

hive-llap-daemon-log4j2

Ändert die Werte in der llap-daemon-log4j2.properties-Datei in Hive.

hive-log4j2

Ändert die Werte in der hive-log4j2.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-hive-site

Ändert die Werte in der hive-site.xml-Datei in Spark.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.