亚马逊EMR版本 4.6.0 - Amazon EMR
4.6.0 应用程序版本4.6.0 版本说明4.6.0 组件版本4.6.0 配置分类

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

亚马逊EMR版本 4.6.0

4.6.0 应用程序版本

此发行版支持以下应用程序：Ganglia、HBase、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie-Sandbox、Pig、Presto-Sandbox、Spark、Sqoop-Sandbox、Zeppelin-Sandbox 和 ZooKeeper-Sandbox。

下表列出了此版本的 Amazon 中可用的应用程序版本EMR和前三个亚马逊版本中的应用程序EMR版本（如果适用）。

要全面了解每个 Amazon 版本的应用程序版本历史记录EMR，请参阅以下主题：

应用程序版本信息
emr-4.6.0 emr-4.5.0 emr-4.4.0 emr-4.3.0
适用于 Java 的AWS SDK 1.10.271.10.271.10.271.10.27
Python 未跟踪未跟踪未跟踪未跟踪
Scala 未跟踪未跟踪未跟踪未跟踪
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink - - - -
Ganglia3.7.23.7.23.7.23.7.2
HBase1.2.0 - - -
HCatalog1.0.01.0.01.0.0 -
Hadoop2.7.22.7.22.7.12.7.1
Hive1.0.01.0.01.0.01.0.0
Hudi - - - -
Hue3.7.13.7.13.7.13.7.1
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.11.10.11.10.11.10.11.0
Oozie - - - -
Oozie-Sandbox4.2.04.2.04.2.04.2.0
Phoenix - - - -
Pig0.14.00.14.00.14.00.14.0
Presto - - - -
Presto-Sandbox0.1430.1400.1360.130
Spark1.6.11.6.11.6.01.6.0
Sqoop - - - -
Sqoop-Sandbox1.4.61.4.61.4.6 -
TensorFlow - - - -
Tez - - - -
Trino (PrestoSQL) - - - -
Zeppelin - - - -
Zeppelin-Sandbox0.5.60.5.60.5.60.5.5
ZooKeeper - - - -
ZooKeeper-Sandbox3.4.8 - - -

4.6.0 版本说明

以下发行说明包含 Amazon EMR 4.6.0 版本的信息。

  • 已添加 HBase 1.2.0

  • 已添加 Zookeeper-Sandbox 3.4.8

  • 已升级到 Presto-Sandbox 0.143

  • 亚马逊EMR版本现在基于亚马逊 Linux 2016.03.0。有关更多信息，请参阅 https://aws.amazon.com/amazon-linux-ami/2016.03-release-notes/。

  • 影响吞吐量优化 HDD (st1) EBS 卷类型的问题

    Linux 内核版本 4.2 及更高版本中的问题会严重影响吞吐量优化 HDD (st1) EBS 卷的EMR性能。此版本 (emr-4.6.0) 使用内核版本 4.4.5，因此会受到影响。因此，如果您想使用 st1 卷，我们建议不要使用 emr-4.6.0。EBS您可以将 emr-4.5.0 或之前的亚马逊EMR版本与 st1 一起使用，而不会产生任何影响。此外，我们将随将来版本一起提供修复程序。

  • Python 默认值

    现在，默认情况下已安装 Python 3.4，但 Python 2.7 将保留系统默认值。您可以使用引导操作将 Python 3.4 配置为系统默认值；您可以使用配置API在spark-env分类/usr/bin/python3.4中将 PYSPARK _ e PYTHON xport 设置为以影响所 PySpark使用的 Python 版本。

  • Java 8

    除了 Presto 之外，Open JDK 1.7 是所有应用程序的JDK默认设置。但是，Open JDK 1.7 和 1.8 都已安装。有关如何为应用程序设置 JAVA_HOME 的信息，请参阅配置应用程序以使用 Java 8。

早期版本中已解决的已知问题

  • 修复了应用程序预置有时会因生成的密码导致随机失败的问题。

  • 之前，mysqld 已安装在所有节点上。现在，它仅安装在主实例上，而且仅在所选应用程序将 mysql-server 作为组件包含时安装。目前，以下应用程序包括该mysql-server组件：、Hive HCatalog、Hue、Presto-Sandbox 和 Sqoop-Sandbox。

  • 从默认值 32 更改yarn.scheduler.maximum-allocation-vcores为 80，这修复了 emr-4.0 中引入的一个问题，该问题主要发生在 Spark 中，该问题主要发生在 Spark 中，核心实例类型是 YARN vcore 设置为 32 的少数大型实例类型之一；即 c4.8xlarge、cc2.8xlarge、hs1.8xlarge、i2.8xlarge、i2.8xlarge、i2.8xlarge、m2.4xlarge、d2.8xlarge，或 m4.10xlarge 受到了此问题的影响。maximizeResourceAllocation

  • s3-dist-cp 现在用于所有 EMRFS Amazon S3 提名，不再暂存到临时目录。HDFS

  • 修复了与针对客户端加密分段上载的异常处理有关的问题。

  • 添加了允许用户更改 Amazon S3 存储类的选项。默认情况下，此设置为 STANDARD。emrfs-site 配置分类设置为 fs.s3.storageClass，可能的值为 STANDARD、STANDARD_IA 和 REDUCED_REDUNDANCY。有关存储类的更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的存储类。

4.6.0 组件版本

下面列出了 Amazon 随此版本EMR安装的组件。一些组件作为大数据应用程序包的一部分安装。其他则是 Amazon 独有的EMR，是为系统流程和功能而安装的。它们通常以 emr 或 aws 开头。Amazon 最新EMR版本中的大数据应用程序包通常是社区中的最新版本。我们会EMR尽快在 Amazon 上发布社区版本。

Amazon 中的某些组件与社区版本EMR不同。这些组件具有以下形式的 CommunityVersion-amzn-EmrVersion 的发行版标注。EmrVersion 从 0 开始。例如，如果myapp-component以 2.2 版本命名的开源社区组件经过三次修改以包含在不同的 Amazon EMR 版本中，则其发布版本将列为2.2-amzn-2。

组件 版本 描述
emr-ddb3.0.0适用于 Hadoop 生态系统应用程序的 Amazon DynamoDB 连接器。
emr-goodies2.0.0适用于 Hadoop 生态系统的方便易用的库。
emr-kinesis3.1.0适用于 Hadoop 生态系统应用程序的 Amazon Kinesis 连接器。
emr-s3-dist-cp2.3.0针对 Amazon S3 优化的分布式复制应用程序。
emrfs2.6.0适用于 Hadoop 生态系统应用程序的 Amazon S3 连接器。
ganglia-monitor3.7.2适用于 Hadoop 生态系统应用程序的嵌入式 Ganglia 代理以及 Ganglia 监控代理。
ganglia-metadata-collector3.7.2用于从 Ganglia 监控代理中聚合指标的 Ganglia 元数据收集器。
ganglia-web3.7.1用于查看由 Ganglia 元数据收集器收集的指标的 Web 应用程序。
hadoop-client2.7.2-amzn-1Hadoop 命令行客户端，如“hdfs”、“hadoop”或“yarn”。
hadoop-hdfs-datanode2.7.2-amzn-1HDFS用于存储区块的节点级服务。
hadoop-hdfs-library2.7.2-amzn-1HDFS命令行客户端和库
hadoop-hdfs-namenode2.7.2-amzn-1HDFS用于跟踪文件名和区块位置的服务。
hadoop-httpfs-server2.7.2-amzn-1HTTPHDFS操作端点。
hadoop-kms-server2.7.2-amzn-1基于 Hadoop 的加密密钥管理服务器。 KeyProvider API
hadoop-mapred2.7.2-amzn-1MapReduce 用于运行 MapReduce 应用程序的执行引擎库。
hadoop-yarn-nodemanager2.7.2-amzn-1YARN用于管理单个节点上的容器的服务。
hadoop-yarn-resourcemanager2.7.2-amzn-1YARN用于分配和管理群集资源和分布式应用程序的服务。
hbase-hmaster1.2.0为负责协调区域和执行管理命令的HBase集群提供服务。
hbase-region-server1.2.0为一个或多个HBase地区提供服务的服务。
hbase-client1.2.0HBase命令行客户端。
hbase-rest-server1.2.0为提供RESTfulHTTP终端节点的服务HBase。
hbase-thrift-server1.2.0为其提供 Thrift 端点的HBase服务。
hcatalog-client1.0.0-amzn-4用于操作 hcatalog-server 的“hcat”命令行客户端。
hcatalog-server1.0.0-amzn-4提供服务HCatalog，为分布式应用程序提供表和存储管理层。
hcatalog-webhcat-server1.0.0-amzn-4HTTP端点为其提供REST接口HCatalog。
hive-client1.0.0-amzn-4Hive 命令行客户端。
hive-metastore-server1.0.0-amzn-4用于访问 Hive 元数据仓的服务，Hive 元存储库是一个语义存储库，用于存储 Hadoop 操作的SQL元数据。
hive-server1.0.0-amzn-4用于将 Hive 查询作为 Web 请求接受的服务。
hue-server3.7.1-amzn-6用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序
mahout-client0.11.1用于机器学习的库。
mysql-server5.5我的SQL数据库服务器。
oozie-client4.2.0Oozie 命令行客户端。
oozie-server4.2.0用于接受 Oozie 工作流请求的服务。
presto-coordinator0.143用于在 presto-worker 之中接受查询并管理查询的服务。
presto-worker0.143用于执行查询的各个部分的服务。
pig-client0.14.0-amzn-0Pig 命令行客户端。
spark-client1.6.1Spark 命令行客户端。
spark-history-server1.6.1用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。
spark-on-yarn1.6.1的内存中执行引擎。YARN
spark-yarn-slave1.6.1YARN从属服务器需要的 Apache Spark 库。
sqoop-client1.4.6Apache Sqoop 命令行客户端。
webserver2.4Apache HTTP 服务器。
zeppelin-server0.5.6-incubating支持交互式数据分析的基于 Web 的笔记本电脑。
zookeeper-server3.4.8用于维护配置信息、命名、提供分布式同步以及提供组服务的集中式服务。
zookeeper-client3.4.8ZooKeeper 命令行客户端。

4.6.0 配置分类

配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件，例如hive-site.xml。有关更多信息，请参阅 配置应用程序。

emr-4.6.0 分类
分类 描述

capacity-scheduler

更改 Hadoop 的 capacity-scheduler.xml 文件中的值。

core-site

更改 Hadoop 的 core-site.xml 文件中的值。

emrfs-site

更改EMRFS设置。

hadoop-env

更改适用于所有 Hadoop 组件的 Hadoop 环境中的值。

hadoop-log4j

更改 Hadoop 的 log4j.properties 文件中的值。

hbase-env

更改环境HBase中的值。

hbase-log4j

更改 hbase-HBase log4j.properties 文件中的值。

hbase-metrics

更改 hadoop-metrics2-hb HBase aase.properties 文件中的值。

hbase-policy

更改HBase的 hbase-policy.xml 文件中的值。

hbase-site

更改HBase的 hbase-site.xml 文件中的值。

hdfs-encryption-zones

配置HDFS加密区域。

hdfs-site

更改 hdfs-site.xml HDFS 中的值。

hcatalog-env

更改环境HCatalog中的值。

hcatalog-server-jndi

更改HCatalog的 jndi.properties 中的值。

hcatalog-server-proto-hive-site

更改 proto-hive-site .x HCatalog ml 中的值。

hcatalog-webhcat-env

更改 HCatalog W 环境ebHCat中的值。

hcatalog-webhcat-log4j

更改 HCatalog W ebHCat 的 log4j.properties 中的值。

hcatalog-webhcat-site

更改 HCatalog W ebHCat 的 webhcat-site.xml 文件中的值。

hive-env

更改 Hive 环境中的值。

hive-exec-log4j

更改 Hive 的 hive-exec-log 4j.properties 文件中的值。

hive-log4j

更改 Hive 的 hive-log4j.properties 文件中的值。

hive-site

更改 Hive 的 hive-site.xml 文件中的值

hue-ini

更改 Hue 的 ini 文件中的值

httpfs-env

更改HTTPFS环境中的值。

httpfs-site

更改 Hadoop 的 httpfs-site.xml 文件中的值。

hadoop-kms-acls

更改 Hadoop 的 kms-acls.xml 文件中的值。

hadoop-kms-env

在 Hadoop KMS 环境中更改值。

hadoop-kms-log4j

更改 Hadoop 的 kms-log4j.properties 文件中的值。

hadoop-kms-site

更改 Hadoop 的 kms-site.xml 文件中的值。

mapred-env

更改 MapReduce 应用程序环境中的值。

mapred-site

更改 MapReduce 应用程序的 mapred-site.xml 文件中的值。

oozie-env

更改 Oozie 的环境中的值。

oozie-log4j

更改 Oozie 的 oozie-log4j.properties 文件中的值。

oozie-site

更改 Oozie 的 oozie-site.xml 文件中的值。

pig-properties

更改 Pig 的 pig.properties 文件中的值。

pig-log4j

更改 Pig 的 log4j.properties 文件中的值。

presto-log

更改 Presto 的 log.properties 文件中的值。

presto-config

更改 Presto 的 config.properties 文件中的值。

presto-connector-hive

更改 Presto 的 hive.properties 文件中的值。

spark

亚马逊EMR精心策划的 Apache Spark 设置。

spark-defaults

更改 Spark 的 spark-defaults.conf 文件中的值。

spark-env

更改 Spark 环境中的值。

spark-log4j

更改 Spark 的 log4j.properties 文件中的值。

spark-metrics

更改 Spark 的 metrics.properties 文件中的值。

sqoop-env

更改 Sqoop 的环境中的值。

sqoop-oraoop-site

更改 Sqoop OraOop 的 oraoop-site.xml 文件中的值。

sqoop-site

更改 Sqoop 的 sqoop-site.xml 文件中的值。

yarn-env

更改YARN环境中的值。

yarn-site

更改YARN的 yarn-site.xml 文件中的值。

zeppelin-env

更改 Zeppelin 环境中的值。

zookeeper-config

更改 zoo.cfg 文件 ZooKeeper中的值。

zookeeper-log4j

更改 ZooKeeper的 log4j.properties 文件中的值。