Details für Amazon EMR-4.x-Versionen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Details für Amazon EMR-4.x-Versionen

Jede Registerkarte unten listet Anwendungsversionen, Versionshinweise, Komponentenversionen und Konfigurationsklassifizierungen auf, die in jeder Amazon EMR-4.x-Version verfügbar ist.

Ein umfassendes Diagramm von Anwendungsversionen in jeder Version finden Sie unter Anwendungsversionen in Amazon EMR-Veröffentlichungen der 4.x-Reihe (PNG).

Informationen zu anwendungsspezifischen Unterschieden zwischen Amazon EMR 4.x-Veröffentlichungsversionen und Versionen ab Amazon EMR 5.0.0 finden Sie unter Unterschiede in Amazon EMR 4.x-Versionen.

4.9.x

In der 4.9-Reihe gibt es mehrere Versionen. Wählen Sie einen der unten angezeigten Links aus, um auf dieser Registerkarte Informationen für eine bestimmte Version anzuzeigen.

4.9.6 |4.9.5 | 4.9.4 | 4.9.3 | 4.9.2 | 4.9.1

Amazon EMR Version 4.9.6

Wichtig

In dieser Release-Version verwendet Amazon EMR AWS Signature Version 4 ausschließlich, um Anforderungen für Amazon S3 zu authentifizieren. Weitere Informationen finden Sie unter Was ist neu.

Amazon EMR Version 4.9.5

Version 4.9.5 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.9.5 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen zur Version 4.9.5 von Amazon EMR. Änderungen beziehen sich auf Version 4.9.4.

Erste Version: 29. August 2018

Änderungen, Verbesserungen und behobene Probleme

  • HBase

    • Diese Version behebt eine potenzielle Sicherheitsschwachstelle.

Version 4.9.5 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.3.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.3.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.17.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-9 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-9 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-9 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-9 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-9 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-9 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.9.5 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.9.5-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.9.4

Version 4.9.4 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.9.4 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen zur Amazon EMR-Version 4.9.4. Änderungen beziehen sich auf Version 4.9.3.

Erste Version: 29. März 2018

Änderungen, Verbesserungen und behobene Probleme

  • Der Amazon Linux-Kernel des Amazon Linux-Standard-AMI für Amazon EMR wurde aktualisiert, um mögliche Schwachstellen zu beheben.

Version 4.9.4 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.3.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.3.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.17.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-9 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-9 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-9 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-9 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-9 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-9 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.9.4 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.9.4-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.9.3

Version 4.9.3 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.9.3 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.9.3. Änderungen beziehen sich auf Amazon EMR Version 4.9.2.

Erste Version: 22. Januar 2018

Änderungen, Verbesserungen und behobene Probleme

Version 4.9.3 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.3.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.3.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.17.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-9 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-9 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-9 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-9 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-9 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-9 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.9.3 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.9.3-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Version 4.9.2

Version 4.9.2 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.9.2 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.9.2. Änderungen beziehen sich auf Amazon EMR Version 4.9.1.

Veröffentlichungsdatum: 13. Juli 2017

Kleinere Änderungen, Fehlerbehebungen und Verbesserungen wurden in dieser Version vorgenommen.

Version 4.9.2 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.3.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.3.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.17.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-9 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-9 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-9 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-9 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-9 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-9 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.9.2 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.9.2-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Version 4.9.1

Version 4.9.1 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.9.1 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.9.1. Änderungen beziehen sich auf Amazon EMR Version 4.8.4.

Veröffentlichungsdatum: 10. April 2017

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Rückportierungen von HIVE-9976 und HIVE-10106

  • Es wurde ein Problem in YARN behoben, bei dem eine große Anzahl von Knoten (mehr als 2.000) und Container (mehr als 5.000) einen Fehler wegen zu geringem Speicherplatz verursachte, z. B.: "Exception in thread main java.lang.OutOfMemoryError".

Änderungen und Verbesserungen

Version 4.9.1 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.2.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.3.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.15.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-9 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-9 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-9 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-9 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-9 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-9 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.9.1 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.8.5-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

4.8.x

In der 4.8-Reihe gibt es mehrere Versionen. Wählen Sie einen der unten angezeigten Links aus, um auf dieser Registerkarte Informationen für eine bestimmte Version anzuzeigen.

4.8.5 |4.8.4 | 4.8.3 | 4.8.2 | 4.8.0

Amazon EMR Version 4.8.5

Wichtig

In dieser Release-Version verwendet Amazon EMR AWS Signature Version 4 ausschließlich, um Anforderungen für Amazon S3 zu authentifizieren. Weitere Informationen finden Sie unter Was ist neu.

Amazon EMR Version 4.8.4

Version 4.8.4 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.8.4 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.8.4. Änderungen beziehen sich auf Amazon EMR Version 4.8.3.

Versionsdatum: 7. Februar 2017

Kleinere Änderungen, Fehlerbehebungen und Verbesserungen wurden in dieser Version vorgenommen.

Version 4.8.4 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.2.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.14.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-1 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-1 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-1 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-1 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-1 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-1 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-1 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-1 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-1 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-1 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-8 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-8 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-8 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-8 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-8 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-8 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.54+ MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.25+ Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.8.4 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.8.4-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.8.3

Version 4.8.3 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.8.3 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.8.3. Änderungen beziehen sich auf Amazon EMR Version 4.8.2.

Veröffentlichungsdatum: 29. Dezember 2016

Upgrades

  • Upgrade auf Presto 0.157.1. Weitere Informationen finden Sie in den Presto-Versionshinweisen in der Presto-Dokumentation.

  • Upgrade auf Spark 1.6.3. Weitere Informationen finden Sie in den Spark-Versionshinweisen in der Apache Spark-Dokumentation.

  • Upgrade auf ZooKeeper 3.4.9. Weitere Informationen finden Sie in den ZooKeeper-Versionshinweisen in der Apache ZooKeeper-Dokumentation.

Änderungen und Verbesserungen

  • Unterstützung hinzugefügt für den Amazon EC2-Instance-Typ m4.16xlarge in Amazon EMR Version 4.8.3 und höher, ausgenommen 5.0.0, 5.0.3 und 5.2.0.

  • Amazon EMR-Release-Versionen basieren jetzt auf Amazon Linux 2016.09. Weitere Informationen finden Sie unter https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Problem in Hadoop behoben, bei dem der ReplicationMonitor-Thread aufgrund einer Race Condition (Wettlaufsituation) zwischen Replikation und Löschung derselben Datei in einem großen Cluster lange stockte.

  • Es wurde ein Problem behoben, bei dem ControlledJob # toString mit einem Nullzeiger-Ausnahmefehler (NPE) fehlschlug, wenn der Auftragsstatus nicht erfolgreich aktualisiert wurde.

Version 4.8.3 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.2.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.2.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.13.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-1 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-1 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-1 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-1 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-1 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-1 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-1 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-1 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-1 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-1 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-8 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-8 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-8 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-8 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-8 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-8 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.52 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.157.1 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.157.1 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.3 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.3 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.3 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.3 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.23 Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.9 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.9 ZooKeeper-Befehlszeilen-Client.

Version 4.8.3 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.8.3-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.8.2

Version 4.8.2 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.8.2 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.8.2. Änderungen beziehen sich auf Amazon EMR Version 4.8.0.

Veröffentlichungsdatum: 24. Oktober 2016

Upgrades

  • Upgrade auf Hadoop 2.7.3

  • Es wurde ein Upgrade auf Presto 0.152.3 durchgeführt, das Support für die Presto-Webschnittstelle umfasst. Sie können auf die Presto-Webschnittstelle des Presto-Koordinators über Port 8889 zugreifen. Weitere Informationen über die Presto-Webschnittstelle finden Sie unter Web Interface in der Presto-Dokumentation.

  • Amazon EMR-Release-Versionen basieren jetzt auf Amazon Linux 2016.09. Für weitere Informationen siehe https://aws.amazon.com/amazon-linux-ami/2016.09-release-notes/.

Version 4.8.2 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 4.1.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.1.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.10.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.3-amzn-0 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.3-amzn-0 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.3-amzn-0 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.3-amzn-0 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.3-amzn-0 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.3-amzn-0 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.3-amzn-0 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.3-amzn-0 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.3-amzn-0 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.3-amzn-0 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-7 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-7 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-7 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-7 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-7 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-7 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.52 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.152.3 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.152.3 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.2 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.2 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.2 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.2 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.23 Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.8.2 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.8.2-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.8.0

Version 4.8.0 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.8.0 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.8.0. Änderungen beziehen sich auf Amazon EMR Version 4.7.2.

Veröffentlichungsdatum: 7. September 2016

Upgrades

  • Upgrade auf Hbase 1.2.2

  • Upgrade auf Presto-Sandbox 0.151

  • Upgrade auf Tez 0.8.4

  • Upgrade auf Zeppelin-Sandbox 0.6.1

Änderungen und Verbesserungen

  • Es wurde ein Problem in YARN behoben, bei dem der ApplicationMaster versucht, Container zu bereinigen, die nicht mehr vorhanden sind, da ihre Instances beendet wurden.

  • Die hive-server2-URL für Hive2-Aktionen in den Oozie-Beispielen wurde korrigiert.

  • Zusätzliche Presto-Kataloge werden jetzt unterstützt.

  • Patches wurden rückportiert: HIVE-8948, HIVE-12679, HIVE-13405, PHOENIX-3116, HADOOP-12689

  • Es werden jetzt Sicherheitskonfigurationen unterstützt, mit deren Hilfe Sie die Verschlüsselungsoptionen einfacher erstellen und anwenden können. Weitere Informationen finden Sie unter Datenverschlüsselung.

Version 4.8.0 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.2.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.1.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.9.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-4 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-4 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.2-amzn-4 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.2-amzn-4 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.2-amzn-4 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.2-amzn-4 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.2-amzn-4 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.2-amzn-4 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.2-amzn-4 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.2-amzn-4 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.2 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.2 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.2 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.2 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.2 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-7 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-7 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-7 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-7 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-7 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-7 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.51 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.151 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.151 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.2 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.2 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.2 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.2 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.4 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.23 Apache HTTP-Server.
zeppelin-server 0.6.1 Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.8.0 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.8.0-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hiveserver2-site

Ändert die Werte in der hiveserver2-site.xml-Datei von Server2 in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-blackhole

Ändert die Werte in der blackhole.properties-Datei in Presto.

presto-connector-cassandra

Ändert die Werte in der cassandra.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

presto-connector-jmx

Ändert die Werte in der jmx.properties-Datei in Presto.

presto-connector-kafka

Ändert die Werte in der kafka.properties-Datei in Presto.

presto-connector-localfile

Ändert die Werte in der localfile.properties-Datei in Presto.

presto-connector-mongodb

Ändert die Werte in der mongodb.properties-Datei in Presto.

presto-connector-mysql

Ändert die Werte in der mysql.properties-Datei in Presto.

presto-connector-postgresql

Ändert die Werte in der postgresql.properties-Datei in Presto.

presto-connector-raptor

Ändert die Werte in der raptor.properties-Datei in Presto.

presto-connector-redis

Ändert die Werte in der redis.properties-Datei in Presto.

presto-connector-tpch

Ändert die Werte in der tpch.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

4.7.x

In der 4.7-Reihe gibt es mehrere Versionen. Wählen Sie einen der unten angezeigten Links aus, um auf dieser Registerkarte Informationen für eine bestimmte Version anzuzeigen.

4.7.4 |4.7.2 | 4.7.1 | 4.7.0

Amazon EMR Version 4.7.4

Wichtig

In dieser Release-Version verwendet Amazon EMR AWS Signature Version 4 ausschließlich, um Anforderungen für Amazon S3 zu authentifizieren. Weitere Informationen finden Sie unter Was ist neu.

Amazon EMR Version 4.7.2

Version 4.7.2 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.7.2 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR 4.7.2.

Veröffentlichungsdatum: 15. Juli 2016

Funktionen

  • Upgrade auf Mahout 0.12.2

  • Upgrade auf Presto 0.148

  • Upgrade auf Spark 1.6.2

  • Sie können nun einen AWSCredentialsProvider mit einem URI als Parameter für die Verwendung mit EMRFS erstellen. Weitere Informationen finden Sie unter Erstellen eines AWSCredentialsProvider für EMRFS.

  • EMRFS ermöglicht Benutzern nun die Konfiguration eines benutzerdefinierten DynamoDB-Endpunkts für die Metadaten ihrer konsistenten Ansicht mit der Eigenschaft fs.s3.consistent.dynamodb.endpoint in emrfs-site.xml.

  • Es wurde ein Skript in /usr/bin mit dem Namen spark-example hinzugefügt, das /usr/lib/spark/spark/bin/run-example umschließt, sodass Sie Beispiele direkt ausführen können. Um beispielsweise das SparkPi-Beispiel auszuführen, das im Umfang der Spark-Verteilung enthalten ist, können Sie spark-example SparkPi 100 über die Befehlszeile oder mit command-runner.jar als Schritt in der API ausführen.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Problem behoben, bei dem Oozie die Datei spark-assembly.jar nicht am richtigen Speicherort ablegte, wenn Spark auch installiert war. Dies führte dazu, dass Spark-Anwendungen nicht mit Oozie gestartet werden konnten.

  • Es wurde ein Problem mit Spark Log4j-basierter Protokollierung in YARN-Containern behoben.

Version 4.7.2 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.2.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.1.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.8.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-3 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-3 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.2-amzn-3 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.2-amzn-3 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.2-amzn-3 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.2-amzn-3 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.2-amzn-3 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.2-amzn-3 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.2-amzn-3 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.2-amzn-3 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.1 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.1 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.1 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.1 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.1 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-6 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-6 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-6 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-6 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-6 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-6 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.2 Bibliothek für Machine Learning.
mysql-server 5.5.46 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.148 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.148 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.2 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.2 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.2 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.2 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.3 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.23 Apache HTTP-Server.
zeppelin-server 0.5.6-incubating Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.7.2 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.7.2-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hadoop-ssl-server

Ändert die SSL-Server-Konfiguration in Hadoop.

hadoop-ssl-client

Ändert die SSL-Client-Konfiguration in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.7.1

Version 4.7.1 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.7.1 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR 4.7.1.

Veröffentlichungsdatum: 10. Juni 2016

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Problem behoben, das die Startzeit von Clustern verlängerte, die in einer VPC mit privaten Subnetzen gestartet wurden. Der Fehler wirkte sich nur auf Cluster aus, die mit Amazon EMR Version 4.7.0 gestartet wurden.

  • Es wurde ein Problem behoben, bei dem das Auflisten von Dateien in Amazon EMR für Cluster, die mit Amazon EMR Version 4.7.0 gestartet wurden, nicht ordnungsgemäß durchgeführt wurde.

Version 4.7.1 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.1.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.0.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.7.1 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.2-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.2-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.2-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.2-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.2-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.2-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.2-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.2-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.1 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.1 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.1 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.1 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.1 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-5 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-5 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-5 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-5 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-5 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-5 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.0 Bibliothek für Machine Learning.
mysql-server 5.5.46 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.147 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.147 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.1 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.1 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.1 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.1 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.3 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.18 Apache HTTP-Server.
zeppelin-server 0.5.6-incubating Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.7.1 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.7.1-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

Amazon EMR Version 4.7.0

Version 4.7.0 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Phoenix, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Tez, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.7.0 Versionshinweise

Wichtig

Amazon EMR 4.7.0 ist veraltet. Verwenden Sie stattdessen Amazon EMR 4.7.1 oder höher.

Veröffentlichungsdatum: 2. Juni 2016

Funktionen

  • Apache Phoenix 4.7.0 wurde hinzugefügt.

  • Apache Tez 0.8.3 wurde hinzugefügt.

  • Upgrade auf Hbase 1.2.1

  • Upgrade auf Mahout 0.12.0

  • Upgrade auf Presto 0.147

  • Upgrade von AWS SDK for Java auf 1.10.75

  • Das letzte Flag wurde von der Eigenschaft mapreduce.cluster.local.dir in mapred-site.xml entfernt, damit Benutzer Pig im lokalen Modus ausführen können.

  • Amazon Redshift JDBC-Treiber verfügbar auf dem Cluster

    Amazon Redshift JDBC-Treiber sind jetzt enthalten unter /usr/share/aws/redshift/jdbc. /usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar ist der JDBC 4.1-kompatible Amazon Redshift-Treiber und /usr/share/aws/redshift/jdbc/RedshiftJDBC4.jar ist der JDBC-4.0-kompatible Amazon Redshift-Treiber. Weitere Informationen finden Sie unter Konfigurieren einer JDBC-Verbindung im Amazon Redshift Cluster Management Guide.

  • Java 8

    Außer für Presto ist OpenJDK 1.7 das Standard-JDK, das für alle Anwendungen verwendet wird. Es ist jedoch sowohl OpenJDK 1.7 als auch 1.8 installiert. Informationen zum Festlegen von JAVA_HOME für Anwendungen finden Sie unter Konfigurieren von Anwendungen zur Verwendung von Java 8.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Kernel-Problem behoben, das sich signifikant auf die Leistung für durchsatzoptimierte HDD (st1)-EBS-Volumes für Amazon EMR in emr-4.6.0 auswirkte.

  • Es wurde ein Problem behoben, bei dem ein Cluster fehlschlug, wenn eine HDFS-Verschlüsselungszone angegeben wurde, ohne Hadoop als Anwendung auszuwählen.

  • Die HDFS-Standardschreibrichtlinie wurde von RoundRobin in AvailableSpaceVolumeChoosingPolicy geändert. Einige Volumes wurden mit der RoundRobin-Konfiguration nicht ordnungsgemäß genutzt, was zu fehlgeschlagenen Core-Knoten und einem unzuverlässigen HDFS führte.

  • Es wurde ein Problem mit der EMRFS-Befehlszeilenschnittstelle behoben, das zu einer Ausnahme beim Erstellen der standardmäßigen DynamoDB-Metadatentabelle für konsistente Ansichten führte.

  • Es wird ein Deadlock-Problem in EMRFS behoben, das bei mehrteiligen Umbenennungs- und Kopieroperationen auftreten konnte.

  • Es wurde ein Problem mit EMRFS behoben, das dazu führte, dass die CopyPart-Größe standardmäßig 5 MB betrug. Der Standard ist jetzt ordnungsgemäß auf 128 MB eingestellt.

  • Es wurde ein Problem mit der Zeppelin-Startkonfiguration behoben, das möglicherweise das Anhalten des Service verhinderte.

  • Es wurde ein Problem mit Spark und Zeppelin behoben, das Sie daran hindert, das s3a://-URI-Schema zu verwenden, da /usr/lib/hadoop/hadoop-aws.jar nicht ordnungsgemäß in den jeweiligen Klassenpfad geladen wurde.

  • HUE-2484 wurde rückportiert.

  • Es wurde ein Commit von Hue 3.9.0 (JIRA nicht vorhanden) rückportiert, um ein Problem mit dem HBase-Browserbeispiel zu beheben.

  • HIVE-9073 wurde rückportiert.

Version 4.7.0 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.1.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.0.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.2.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.4.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.7.1 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-2 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-2 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.2-amzn-2 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.2-amzn-2 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.2-amzn-2 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.2-amzn-2 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.2-amzn-2 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.2-amzn-2 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.2-amzn-2 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hadoop-yarn-timeline-server 2.7.2-amzn-2 Service für das Abrufen von aktuellen und historischen Informationen für YARN-Anwendungen.
hbase-hmaster 1.2.1 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.1 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.1 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.1 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.1 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-5 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-5 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-5 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-5 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-5 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-5 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-7 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.12.0 Bibliothek für Machine Learning.
mysql-server 5.5.46 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
phoenix-library 4.7.0-HBase-1.2 Die Phönix-Bibliotheken für den Server und den Client
phoenix-query-server 4.7.0-HBase-1.2 Ein schlanker Server für den Zugriff auf JDBC und Protokollpuffer sowie den Zugriff auf die Avatica-API über das JSON-Format.
presto-coordinator 0.147 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.147 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.1 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.1 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.1 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.1 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
tez-on-yarn 0.8.3 Die Tez-YARN-Anwendung und -Bibliotheken.
webserver 2.4.18 Apache HTTP-Server.
zeppelin-server 0.5.6-incubating Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.7.0 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.7.0-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

phoenix-hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in Phoenix.

phoenix-hbase-site

Ändert die Werte in der hbase-site.xml-Datei in Phoenix.

phoenix-log4j

Ändert die Werte in der log4j.properties-Datei in Phoenix.

phoenix-metrics

Ändert die Werte in der hadoop-metrics2-phoenix.properties-Datei in Phoenix.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

tez-site

Ändert die Werte in der tez-site.xml-Datei in Tez.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

4.6.0

Version 4.6.0 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HBase, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox, Zeppelin-Sandbox und ZooKeeper-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.6.0 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.6.0.

  • HBase 1.2.0 wurde hinzugefügt.

  • ZooKeeper-Sandbox 3.4.8 wurde hinzugefügt.

  • Upgrade auf Presto-Sandbox 0.143

  • Amazon EMR-Release-Versionen basieren jetzt auf Amazon Linux 2016.03.0. Weitere Informationen finden Sie unter https://aws.amazon.com/amazon-linux-ami/2016.03-release-notes/.

  • Problem mit den durchsatzoptimierten HDD (st1)-EBS-Volume-Typen

    Ein Problem im Linux-Kernel Versionen 4.2 und höher wirkte sich signifikant auf die Leistung der durchsatzoptimierten HDD (st1)-EBS-Volumes für EMR aus. Diese Version (emr-4.6.0) verwendet die Kernel-Version 4.4.5 und ist daher betroffen. Es wird empfohlen, emr-4.6.0 nicht zu verwenden, wenn Sie st1-EBS-Volumens einsetzen möchten. Sie können Amazon EMR-Versionen emr-4.5.0 oder früher mit st1 ohne Auswirkungen verwenden. Außerdem stellen wir die Problembehebung mit späteren Versionen zur Verfügung.

  • Python-Standardeinstellungen

    Python 3.4 ist jetzt standardmäßig installiert, Python 2.7 bleibt jedoch der Systemstandard. Sie können Python 3.4 als Systemstandard mithilfe einer Bootstrap-Aktion konfigurieren. Sie können auch die Konfigurations-API verwenden, um festzulegen, dass PYSPARK_PYTHON nach /usr/bin/python3.4 in der Klassifizierung spark-env exportiert, um sich auf die von PySpark verwendete Python-Version auszuwirken.

  • Java 8

    Außer für Presto ist OpenJDK 1.7 das Standard-JDK, das für alle Anwendungen verwendet wird. Es ist jedoch sowohl OpenJDK 1.7 als auch 1.8 installiert. Informationen zum Festlegen von JAVA_HOME für Anwendungen finden Sie unter Konfigurieren von Anwendungen zur Verwendung von Java 8.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Problem behoben, bei dem die Anwendungsbereitstellung manchmal wegen eines generierten Passwort nach dem Zufallsprinzip ausfiel.

  • Bisher war mysqld auf allen Knoten installiert. Jetzt ist es nur auf der Master-Instance installiert und nur dann, wenn die gewählte Anwendung mysql-server als Komponente enthält. Derzeit enthalten die folgenden Anwendungen die Komponente mysql-server: HCatalog, Hive, Hue, Presto-Sandbox und Sqoop-Sandbox.

  • Der Wert yarn.scheduler.maximum-allocation-vcores wurde von der Standardeinstellung 32 auf 80 geändert. Dadurch wurde in emr-4.4.0 eingeführtes Problem behoben, das hauptsächlich mit Spark auftritt bei der Verwendung der Option maximizeResourceAllocation in einem Cluster, dessen Core-Instance-Typ zu den wenigen großen Instance-Typen gehört, deren YARN vcores höher als 32 festgelegt sind. Und zwar waren c4.8xlarge, cc2.8xlarge, hs1.8xlarge, i2.8xlarge, m2.4xlarge, r3.8xlarge, d2.8xlarge oder m4.10xlarge von dem Problem betroffen.

  • s3-dist verwendet jetzt für alle Amazon S3-Nominierungen EMRFS und keine Stufen eines temporären HDFS-Verzeichnisses mehr.

  • Es wurde ein Problem mit der Ausnahmebehandlung für die clientseitigen Verschlüsselung mehrteiliger Uploads behoben.

  • Es wurde eine Option hinzugefügt, mit der Benutzer die Amazon S3-Speicherklasse ändern können. Standardmäßig ist diese Einstellung STANDARD. Die Konfigurationsklassifizierungseinstellung emrfs-site ist fs.s3.storageClass und die möglichen Werte sind STANDARD, STANDARD_IA und REDUCED_REDUNDANCY. Weitere Informationen zu Speicherklassen finden Sie unter Speicherklassen im Entwicklerhandbuch für Amazon Simple Storage Service.

Version 4.6.0 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.0.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.0.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.1.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.3.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.6.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-1 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-1 HDFS-Service auf Knotenebene zum Speichern von Blöcken.
hadoop-hdfs-library 2.7.2-amzn-1 HDFS-Client und -Bibliothek für die Befehlszeile
hadoop-hdfs-namenode 2.7.2-amzn-1 HDFS-Service für die Nachverfolgung von Dateinamen und Block-Speicherorten.
hadoop-httpfs-server 2.7.2-amzn-1 HTTP-Endpunkt für HDFS-Operationen.
hadoop-kms-server 2.7.2-amzn-1 Kryptografischer Schlüsselverwaltungsserver auf Basis der KeyProvider-API von Hadoop.
hadoop-mapred 2.7.2-amzn-1 Engine-Bibliotheken zur MapReduce-Ausführung für die Ausführung einer MapReduce-Anwendung.
hadoop-yarn-nodemanager 2.7.2-amzn-1 YARN-Service für die Verwaltung von Containern auf einem einzelnen Knoten.
hadoop-yarn-resourcemanager 2.7.2-amzn-1 YARN-Service für Zuweisung und Verwaltung von Cluster-Ressourcen und verteilten Anwendungen.
hbase-hmaster 1.2.0 Service für einen HBase-Cluster, der für die Koordinierung der Regionen und die Ausführung von administrativen Befehlen zuständig ist.
hbase-region-server 1.2.0 Service für die Bereitstellung einer oder mehrerer HBase-Regionen.
hbase-client 1.2.0 HBase-Befehlszeilen-Client.
hbase-rest-server 1.2.0 Service, der einen RESTful-HTTP-Endpunkt für HBase bereitstellt.
hbase-thrift-server 1.2.0 Service, der einen Thrift-Endpunkt für HBase bereitstellt.
hcatalog-client 1.0.0-amzn-4 Der "hcat"-Befehlszeilen-Client-für das Bearbeiten des hcatalog-Servers.
hcatalog-server 1.0.0-amzn-4 Service, der HCatalog bereitstellt (ein Tabellen- und Speicherverwaltungs-Layer für verteilte Anwendungen).
hcatalog-webhcat-server 1.0.0-amzn-4 HTTP-Endpunkt, der eine REST-Schnittstelle für HCatalog bereitstellt.
hive-client 1.0.0-amzn-4 Hive-Befehlszeilen-Client.
hive-metastore-server 1.0.0-amzn-4 Service für den Zugriff auf den Hive-Metastore (ein semantisches Repository für die Speicherung von Metadaten für SQL zu Hadoop-Operationen).
hive-server 1.0.0-amzn-4 Service zur Annahme von Hive-Abfragen als Webanfragen.
hue-server 3.7.1-amzn-6 Webanwendung für die Analyse von Daten mithilfe von Hadoop-Anwendungen.
mahout-client 0.11.1 Bibliothek für Machine Learning.
mysql-server 5.5 MySQL-Datenbankserver.
oozie-client 4.2.0 Oozie-Befehlszeilen-Client.
oozie-server 4.2.0 Service für die Annahme von Oozie Workflow-Anforderungen.
presto-coordinator 0.143 Service zur Annahme von Abfragen und die Verwaltung der Abfrageausführung der Presto-Worker.
presto-worker 0.143 Service für das Ausführen von Teilen einer Abfrage.
pig-client 0.14.0-amzn-0 Pig-Befehlszeilen-Client.
spark-client 1.6.1 Spark-Befehlszeilen-Clients.
spark-history-server 1.6.1 Web-Benutzeroberfläche zum Anzeigen von protokollierten Ereignissen für die gesamte Lebensdauer einer abgeschlossenen Spark-Anwendung.
spark-on-yarn 1.6.1 In-Memory-Ausführungs-Engine für YARN.
spark-yarn-slave 1.6.1 Apache Spark-Bibliotheken, die von YARN-Slaves benötigt werden.
sqoop-client 1.4.6 Apache Sqoop-Befehlszeilen-Client.
webserver 2.4 Apache HTTP-Server.
zeppelin-server 0.5.6-incubating Webbasiertes Notizbuch, das interaktive Datenanalysen ermöglicht.
zookeeper-server 3.4.8 Zentraler Service für die Verwaltung von Konfigurationsinformationen, die Benennung, die Bereitstellung verteilter Synchronisierung und die Bereitstellung von Gruppenservices.
zookeeper-client 3.4.8 ZooKeeper-Befehlszeilen-Client.

Version 4.6.0 Konfigurationsklassifizierungen

Konfigurationsklassifizierungen ermöglichen es Ihnen, Anwendungen anzupassen. Diese entsprechen oft einer XML-Konfigurationsdatei für die Anwendung, wie z. B. hive-site.xml. Weitere Informationen finden Sie unter Konfigurieren von Anwendungen.

emr-4.6.0-Klassifizierungen
Klassifizierungen Beschreibung

capacity-scheduler

Ändert die Werte in der capacity-scheduler.xml-Datei in Hadoop.

core-site

Ändert die Werte in der core-site.xml-Datei in Hadoop.

emrfs-site

Ändert die EMRFS-Einstellungen.

hadoop-env

Ändert die Werte in der Hadoop-Umgebung für alle Hadoop-Komponenten.

hadoop-log4j

Ändert die Werte in der log4j.properties-Datei in Hadoop.

hbase-env

Ändert die Werte in der HBase-Umgebung.

hbase-log4j

Ändert die Werte in der hbase-log4j.properties-Datei in HBase.

hbase-metrics

Ändert die Werte in der hadoop-metrics2-hbase.properties-Datei in HBase.

hbase-policy

Ändert die Werte in der hbase-policy.xml-Datei in HBase.

hbase-site

Ändert die Werte in der hbase-site.xml-Datei in HBase.

hdfs-encryption-zones

Konfiguriert die HDFS-Verschlüsselungszonen.

hdfs-site

Ändert die Werte in der hdfs-site.xml-Datei in HDFS.

hcatalog-env

Ändert die Werte in der HCatalog-Umgebung.

hcatalog-server-jndi

Ändert die Werte in der jndi.properties-Datei von HCatalog.

hcatalog-server-proto-hive-site

Ändert die Werte in der proto-hive-site.xml-Datei von HCatalog.

hcatalog-webhcat-env

Ändert die Werte in der WebHCat-Umgebung von HCatalog.

hcatalog-webhcat-log4j

Ändert die Werte in der log4j.properties-Datei von WebHCat in HCatalog.

hcatalog-webhcat-site

Ändert die Werte in der webhcat-site.xml-Datei von WebHCat in HCatalog.

hive-env

Ändert die Werte in der Hive-Umgebung.

hive-exec-log4j

Ändert die Werte in der hive-exec-log4j.properties-Datei in Hive.

hive-log4j

Ändert die Werte in der hive-log4j.properties-Datei in Hive.

hive-site

Ändert die Werte in der hive-site.xml-Datei in Hive.

hue-ini

Ändert die Werte in der INI-Datei in Hue.

httpfs-env

Ändert die Werte in der HTTPFS-Umgebung.

httpfs-site

Ändert die Werte in der httpfs-site.xml-Datei in Hadoop.

hadoop-kms-acls

Ändert die Werte in der kms-acls.xml-Datei in Hadoop.

hadoop-kms-env

Ändert die Werte in der KMS-Umgebung in Hadoop.

hadoop-kms-log4j

Ändert die Werte in der kms-log4j.properties-Datei in Hadoop.

hadoop-kms-site

Ändert die Werte in der kms-site.xml-Datei in Hadoop.

mapred-env

Ändert die Werte in der MapReduce-Anwendungsumgebung.

mapred-site

Ändert die Werte in der mapred-site.xml-Datei der MapReduce-Anwendung.

oozie-env

Ändert die Werte in der Oozie-Umgebung.

oozie-log4j

Ändert die Werte in der oozie-log4j.properties-Datei in Oozie.

oozie-site

Ändert die Werte in der oozie-site.xml-Datei in Oozie.

pig-properties

Ändert die Werte in der pig.properties-Datei in Pig.

pig-log4j

Ändert die Werte in der log4j.properties-Datei in Pig.

presto-log

Ändert die Werte in der log.properties-Datei in Presto.

presto-config

Ändert die Werte in der config.properties-Datei in Presto.

presto-connector-hive

Ändert die Werte in der hive.properties-Datei in Presto.

spark

Hierbei handelt es sich um von Amazon EMR zusammengestellte Einstellungen für Apache Spark.

spark-defaults

Ändert die Werte in der spark-defaults.conf-Datei in Spark.

spark-env

Ändert die Werte in der Spark-Umgebung.

spark-log4j

Ändert die Werte in der log4j.properties-Datei in Spark.

spark-metrics

Ändert die Werte in der metrics.properties-Datei in Spark.

sqoop-env

Ändert die Werte in der Sqoop-Umgebung.

sqoop-oraoop-site

Ändert die Werte in der oraoop-site.xml in Sqoop OraOop.

sqoop-site

Ändert die Werte in der sqoop-site.xml in Sqoop.

yarn-env

Ändert die Werte in der YARN-Umgebung.

yarn-site

Ändert die Werte in der yarn-site.xml-Datei in YARN.

zeppelin-env

Ändert die Werte in der Zeppelin-Umgebung.

zookeeper-config

Ändert die Werte in der zoo.cfg-Datei in ZooKeeper.

zookeeper-log4j

Ändert die Werte in der log4j.properties-Datei in ZooKeeper.

4.5.0

Version 4.5.0 Anwendungsversionen

Die folgenden Anwendungen werden in dieser Version unterstützt: Ganglia, Hadoop, HCatalog, Hive, Hue, Mahout, Oozie-Sandbox, Pig, Presto-Sandbox, Spark, Sqoop-Sandbox und Zeppelin-Sandbox.

Das folgende Diagramm zeigt die in dieser Version von Amazon EMR verfügbaren Anwendungsversionen und die Anwendungsversionen in den vorangegangenen vier Versionen von Amazon EMR.

Einen umfassenden Verlauf der Anwendungsversionen für jede Version von Amazon EMR finden Sie in den folgenden Diagrammen:

Version 4.5.0 Versionshinweise

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 4.5.0.

Veröffentlichungsdatum: 4. April 2016

Funktionen

  • Upgrade auf Spark 1.6.1

  • Upgrade auf Hadoop 2.7.2

  • Upgrade auf Presto 0.140

  • AWS KMS-Unterstützung für serverseitige Amazon S3-Verschlüsselung hinzugefügt.

Bekannte Probleme aus den früheren Versionen, die behoben wurden

  • Es wurde ein Problem behoben, bei dem MySQL- und Apache-Server nicht gestartet wurden, nachdem ein Knoten neu gestartet wurde.

  • Es wurde ein Problem behoben, bei dem IMPORT nicht ordnungsgemäß mit nicht partitionierte Tabellen in Amazon S3 funktionierte.

  • Es wurde ein Problem mit Presto behoben, bei dem das Staging-Verzeichnis beim Schreiben in Hive-Tabellen /mnt/tmp anstatt /tmp lauten muss.

Version 4.5.0 Komponentenversionen

Die Komponenten, die Amazon EMR mit dieser Version installiert, sind nachstehend aufgeführt. Einige werden als Teil von Big-Data-Anwendungspaketen installiert. Andere sind nur für Amazon EMR verfügbar und werden für Systemprozesse und Funktionen installiert. Diese beginnen in der Regel mit emr oder aws. Big-Data-Anwendungspakete in der aktuellsten Amazon EMR-Version sind in der Regel die aktuelle Version, die in der Community zu finden ist. Wir stellen Community-Versionen in Amazon EMR so schnell wie möglich zur Verfügung.

Einige Komponenten in Amazon EMR unterscheiden sich von Community-Versionen. Diese Komponenten verfügen über eine Versionsbezeichnung in der Form CommunityVersion-amzn-EmrVersion. Der EmrVersion beginnt bei 0. Wenn zum Beispiel eine Open-Source-Community-Komponente mit dem Namen myapp-component der Version 2.2 dreimal für die Aufnahme in verschiedene Amazon EMR-Versionen geändert wurde, wird ihre Version als 2.2-amzn-2 aufgeführt.

Komponente Version Beschreibung
emr-ddb 3.0.0 Amazon DynamoDB-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-goodies 2.0.0 Praktische Bibliotheken für das Hadoop-Ökosystem.
emr-kinesis 3.1.0 Amazon Kinesis-Connector für Anwendungen aus dem Hadoop-Ökosystem.
emr-s3-dist-cp 2.2.0 Verteilte Kopieranwendung, die für Amazon S3 optimiert ist.
emrfs 2.5.0 Amazon S3-Connector für Anwendungen aus dem Hadoop-Ökosystem.
ganglia-monitor 3.7.2 Eingebetteter Ganglia-Agent für Anwendungen aus dem Hadoop-Ökosystem zusammen mit dem Ganglia-Überwachungsagent.
ganglia-metadata-collector 3.7.2 Ganglia-Metadaten-Kollektor zum Aggregieren von Metriken aus Ganglia-Überwachungsagenten.
ganglia-web 3.7.1 Webanwendung zum Anzeigen von durch den Ganglia-Metadaten-Kollektor gesammelten Metriken.
hadoop-client 2.7.2-amzn-0 Hadoop-Befehlszeilen-Clients wie z. B. "hdfs", "Hadoop" oder "Garn".
hadoop-hdfs-datanode 2.7.2-amzn-0 HDFS-Service auf Knotenebene zum Speichern von Blöcken.