Amazon EMR 版本 4.7.0

4.7.0 應用程式版本

此版本支援下列應用程式：Ganglia、HBase、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie-Sandbox、Phoenix、Pig、Presto-Sandbox、Spark、Sqoop-Sandbox、Tez、Zeppelin-Sandbox, 和 ZooKeeper-Sandbox。

下表列出此 Amazon 發行版本中可用的應用程式版本，以EMR及前三個 Amazon 版本中的應用程式EMR版本 (如果適用)。

如需 Amazon 每個版本之應用程式版本的完整歷史記錄EMR，請參閱下列主題：

• Amazon EMR 7.x 版本中的應用程式版本

• Amazon EMR 6.x 版之應用程式版本

• Amazon EMR 5.x 版之應用程式版本

• Amazon EMR 4.x 版之應用程式版本

應用程式版本資訊
	emr-4.7.0	emr-4.6.1	emr-4.6.0	emr-4.5.0
適用於 Java 的AWS SDK	1.10.75	1.10.27	1.10.27	1.10.27
Python	未追蹤	未追蹤	未追蹤	未追蹤
Scala	未追蹤	未追蹤	未追蹤	未追蹤
AmazonCloudWatchAgent	-	-	-	-
Delta	-	-	-	-
Flink	-	-	-	-
Ganglia	3.7.2	3.7.2	3.7.2	3.7.2
HBase	1.2.1	1.2.0	1.2.0	-
HCatalog	1.0.0	1.0.0	1.0.0	1.0.0
Hadoop	2.7.2	2.7.2	2.7.2	2.7.2
Hive	1.0.0	1.0.0	1.0.0	1.0.0
Hudi	-	-	-	-
Hue	3.7.1	3.7.1	3.7.1	3.7.1
Iceberg	-	-	-	-
JupyterEnterpriseGateway	-	-	-	-
JupyterHub	-	-	-	-
Livy	-	-	-	-
MXNet	-	-	-	-
Mahout	0.12.0	0.11.1	0.11.1	0.11.1
Oozie	-	-	-	-
Oozie-Sandbox	4.2.0	4.2.0	4.2.0	4.2.0
Phoenix	4.7.0	-	-	-
Pig	0.14.0	0.14.0	0.14.0	0.14.0
Presto	-	-	-	-
Presto-Sandbox	0.147	0.143	0.143	0.140
Spark	1.6.1	1.6.1	1.6.1	1.6.1
Sqoop	-	-	-	-
Sqoop-Sandbox	1.4.6	1.4.6	1.4.6	1.4.6
TensorFlow	-	-	-	-
Tez	0.8.3	-	-	-
Trino (PrestoSQL)	-	-	-	-
Zeppelin	-	-	-	-
Zeppelin-Sandbox	0.5.6	0.5.6	0.5.6	0.5.6
ZooKeeper	-	-	-	-
ZooKeeper-Sandbox	3.4.8	3.4.8	3.4.8	-

4.7.0 發行版本說明

重要

Amazon EMR 4.7.0 已棄用。改用 Amazon EMR 4.7.1 或更高版本。

版本日期：2016 年 6 月 2 日

功能

• 新增 Apache Phoenix 4.7.0

• 新增 Apache Tez 0.8.3

• 已升級至 HBase 1.2.1 版

• 升級至 Mahout 0.12.0

• 升級至 Presto 0.147

• 升級 AWS SDK for Java 至 1.10.75 版

• 最後的旗標已從 mapreduce.cluster.local.dir 中的 mapred-site.xml 屬性移除，以允許使用者於本機模式執行 Pig。

• 集群上可用的 Amazon Redshift JDBC 驅動程序

  Amazon Redshift JDBC 驅動程序現在包含在/usr/share/aws/redshift/jdbc. /usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar是 JDBC 4.1 兼容的 Amazon Redshift 驅動程序，/usr/share/aws/redshift/jdbc/RedshiftJDBC4.jar是 JDBC 4.0 兼容的 Amazon Redshift 驅動程序。如需詳細資訊，請參閱 Amazon Redshift 管理指南中的設定JDBC連線。

• Java 8

  除了普雷斯托，打開 JDK 1.7 是默認JDK用於所有應用程序。但是，已安裝開放 JDK 1.7 和 1.8。如需為應用程式設定 JAVA_HOME 的詳細資訊，請參閱設定應用程式使用 Java 8。

解決先前版本的已知問題

• 修正 emr-4.6.0 EMR 中 Amazon 的輸送量優化 HDD (st1) EBS 磁碟區效能大幅影響效能的核心問題。

• 修正如果未選擇 Hadoop 做為應用程式而指定任何HDFS加密區域，叢集會失敗的問題。

• 將預設HDFS寫入原則從變更RoundRobin為AvailableSpaceVolumeChoosingPolicy。某些磁碟區未正確地用於 RoundRobin配置，導致核心節點故障且不可靠HDFS。

• 修正建立一致檢視的預設 DynamoDB 中繼資料表時 EMRFSCLI，會造成例外狀況的問題。

• 修正多部分重新命名和複製作業期間可能發生的鎖死問題。EMRFS

• 修正造成 CopyPart 大小預設值為 5 MB 的問題。EMRFS預設大小現在正確設定為 128 MB。

• 修正 Zeppelin upstart 組態可能讓您無法停止服務的問題。

• 修正 Spark 和齊柏林飛艇的問題，這個問題會導致您無法使用s3a://URI配置，因為未/usr/lib/hadoop/hadoop-aws.jar正確載入各自的類別路徑中。

• 反向移植 HUE-2484。

• 反向移植 Hue 3.9.0 (不JIRA存在) 的提交，以修正HBase瀏覽器樣本的問題。

• 反向移植 HIVE

4.7.0 元件版本

下面列出了 Amazon 與此版本一起EMR安裝的元件。其中有一些屬於大數據應用程式套件。其他則是 Amazon 獨有的，EMR並為系統程序和功能安裝。這些通常會以 emr 或 aws 開頭。最新 Amazon EMR 版本中的大數據應用程式套件通常是社群中的最新版本。我們會EMR盡快在 Amazon 提供社群版本。

Amazon 中的某些元件EMR與社群版本不同。這些元件具有版本標籤，格式為 CommunityVersion-amzn-EmrVersion。EmrVersion 從 0 開始。例如，如果以 2.2 版命名myapp-component的開放原始碼社群元件已經修改三次以包含在不同的 Amazon EMR 版本中，則其發行版本會列為2.2-amzn-2。

元件	版本	描述
emr-ddb	3.1.0	適用於 Hadoop 生態系統應用程式的 Amazon DynamoDB 連接器。
emr-goodies	2.0.0	適用 Hadoop 生態系統的超便利程式庫。
emr-kinesis	3.2.0	適用於 Hadoop 生態系統應用程式的 Amazon Kinesis 連接器。
emr-s3-dist-cp	2.4.0	針對 Amazon S3 最佳化的分散式複製應用程式。
emrfs	2.7.1	適用於 Hadoop 生態系統應用程式的 Amazon S3 連接器。
ganglia-monitor	3.7.2	Hadoop 生態系統應用程式內嵌 Ganglia 代理程式以及 Ganglia 監控代理程式。
ganglia-metadata-collector	3.7.2	Ganglia 監控代理程式的彙總指標 Ganglia 中繼資料收集器。
ganglia-web	3.7.1	由 Ganglia 中繼資料收集器收集，以檢視指標的 Web 應用程式。
hadoop-client	2.7.2-amzn-2	Hadoop 命令列用戶端，例如「hdfs」、「Hadoop」或「yarn」。
hadoop-hdfs-datanode	2.7.2-amzn-2	HDFS用於存儲塊的節點級服務。
hadoop-hdfs-library	2.7.2-amzn-2	HDFS命令行客戶端和庫
hadoop-hdfs-namenode	2.7.2-amzn-2	HDFS用於跟踪文件名和塊位置的服務。
hadoop-httpfs-server	2.7.2-amzn-2	HTTPHDFS作業的端點。
hadoop-kms-server	2.7.2-amzn-2	基於 Hadoop 的加密密鑰管理服務器。 KeyProvider API
hadoop-mapred	2.7.2-amzn-2	MapReduce 用於執行應用程式的執行引擎 MapReduce 程式庫。
hadoop-yarn-nodemanager	2.7.2-amzn-2	YARN用於管理個別節點上容器的服務。
hadoop-yarn-resourcemanager	2.7.2-amzn-2	YARN用於分配和管理叢集資源和分散式應用程式的服務。
hadoop-yarn-timeline-server	2.7.2-amzn-2	用於擷取應用程式目前和歷史資訊的YARN服務。
hbase-hmaster	1.2.1	負責協調區域和執行管理命令的HBase叢集服務。
hbase-region-server	1.2.1	服務於一個或多個HBase地區。
hbase-client	1.2.1	HBase命令行客戶端。
hbase-rest-server	1.2.1	提供RESTfulHTTP端點的服務HBase。
hbase-thrift-server	1.2.1	提供節儉端點的HBase服務。
hcatalog-client	1.0.0-amzn-5	操作 hcatalog-server 的「hcat」命令列用戶端。
hcatalog-server	1.0.0-amzn-5	服務提供HCatalog，分佈式應用程序的表和存儲管理層。
hcatalog-webhcat-server	1.0.0-amzn-5	HTTP提供REST介面的端點HCatalog。
hive-client	1.0.0-amzn-5	Hive 命令列用戶端。
hive-metastore-server	1.0.0-amzn-5	服務訪問蜂巢元存儲，一個語義存儲庫中存儲元數據SQL上的 Hadoop 操作。
hive-server	1.0.0-amzn-5	依 Web 請求接受 Hive 查詢的服務。
hue-server	3.7.1-amzn-7	使用 Hadoop 生態系統應用程式分析資料的 Web 應用程式
mahout-client	0.12.0	機器學習程式庫。
mysql-server	5.5.46	我的SQL資料庫伺服器。
oozie-client	4.2.0	Oozie 命令列用戶端。
oozie-server	4.2.0	接受 Oozie 工作流程要求的服務。
phoenix-library	4.7.0--1.2 HBase	適用於伺服器和用戶端的 phoenix 程式庫
phoenix-query-server	4.7.0--1.2 HBase	輕量級服務器，提供對 Avatica 的JDBC訪問以及協議緩衝區和JSON格式訪問 API
presto-coordinator	0.147	在 presto-workers 之間接受查詢和執行管理查詢的服務。
presto-worker	0.147	執行查詢各部分的服務。
pig-client	0.14.0-amzn-0	Pig 命令列用戶端。
spark-client	1.6.1	Spark 命令列用戶端。
spark-history-server	1.6.1	用於檢視完整 Spark 應用程式生命週期記錄事件的 Web 使用者介面。
spark-on-yarn	1.6.1	的記憶體內執行引擎。YARN
spark-yarn-slave	1.6.1	阿帕奇星火庫所需的YARN奴隸。
sqoop-client	1.4.6	Apache Sqoop 命令列用戶端。
tez-on-yarn	0.8.3	Tez YARN 應用程式和程式庫。
webserver	2.4.18	阿帕奇HTTP服務器。
zeppelin-server	0.5.6-incubating	能進行互動式資料分析，以 Web 為基礎的筆記型電腦。
zookeeper-server	3.4.8	用於維護組態資訊、命名、提供分散式同步，並提供群組服務的集中化服務。
zookeeper-client	3.4.8	ZooKeeper 命令行客戶端。

4.7.0 組態分類

組態分類可讓您自訂應用程式。這些通常對應於應用程序的配置XML文件，例如hive-site.xml。如需詳細資訊，請參閱 設定應用程式。

emr-4.7.0 分類
分類	描述
capacity-scheduler	變更 Hadoop 中 capacity-scheduler.xml 檔案的值。
core-site	變更 Hadoop 中 core-site.xml 檔案的值。
emrfs-site	變更EMRFS設定。
hadoop-env	在 Hadoop 環境中變更所有 Hadoop 元件的值。
hadoop-log4j	變更 Hadoop 中 log4j.properties 檔案的值。
hbase-env	變更環境中HBase的值。
hbase-log4j	更改值HBase的 hbase-log4j. 屬性文件。
hbase-metrics	更改值HBase的遞增度量 2 文件. 屬性文件.
hbase-policy	變更HBase的 hbase-policy.xml 檔案中的值。
hbase-site	變更HBase的 hbase-site.xml 檔案中的值。
hdfs-encryption-zones	設定HDFS加密區域。
hdfs-site	變更HDFS的 hdfs-site.xml 中的值。
hcatalog-env	變更環境中HCatalog的值。
hcatalog-server-jndi	變更「jndi.properties」中HCatalog的值。
hcatalog-server-proto-hive-site	變更HCatalog的 proto-hive-site .xml 中的值。
hcatalog-webhcat-env	更改 HCatalog W 環境中ebHCat的值。
hcatalog-webhcat-log4j	更改 HCatalog W ebHCat 的 log4j. 屬性中的值。
hcatalog-webhcat-site	更改 HCatalog W 的 webhcat-site.xml 文件中ebHCat的值。
hive-env	變更 Hive 環境中的值。
hive-exec-log4j	更改蜂巢的 hive-exec-log 4j. 屬性文件中的值。
hive-log4j	變更 Hive 的 hive-log4j.properties 檔案中的值。
hive-site	變更 Hive 的 hive-site.xml 檔案中的值
hue-ini	變更 Hue 的 ini 檔案中的值
httpfs-env	變更HTTPFS環境中的值。
httpfs-site	變更 Hadoop 中 httpfs-site.xml 檔案的值。
hadoop-kms-acls	變更 Hadoop 中 kms-acls.xml 檔案的值。
hadoop-kms-env	變更 Hadoop KMS 環境中的值。
hadoop-kms-log4j	變更 Hadoop 的 kms-log4j.properties 檔案中的值。
hadoop-kms-site	變更 Hadoop 中 kms-site.xml 檔案的值。
mapred-env	變更 MapReduce 應用程式環境中的值。
mapred-site	變更 MapReduce 應用程式的 mapred-site.xml 檔案中的值。
oozie-env	變更 Oozie 環境中的值。
oozie-log4j	變更 Oozie 的 oozie-log4j.properties 檔案中的值。
oozie-site	變更 Oozie 的 oozie-site.xml 檔案中的值。
phoenix-hbase-metrics	變更 Phoenix 的 hadoop-metrics2-hbase.properties 檔案中的值。
phoenix-hbase-site	變更 Phoenix 的 hbase-site.xml 檔案中的值。
phoenix-log4j	變更 Phoenix 中 log4j.properties 檔案的值。
phoenix-metrics	變更 Phoenix 的 hadoop-metrics2-phoenix.properties 檔案中的值。
pig-properties	變更 Pig 的 pig.properties 檔案中的值。
pig-log4j	變更 Pig 的 log4j.properties 檔案中的值。
presto-log	變更 Presto 的 log.properties 檔案中的值。
presto-config	變更 Presto 的 config.properties 檔案中的值。
presto-connector-hive	變更 Presto 的 hive.properties 檔案中的值。
spark	Amazon EMR 策劃的阿帕奇星火設置。
spark-defaults	變更 Spark 的 spark-defaults.conf 檔案中的值。
spark-env	變更 Spark 環境中的值。
spark-log4j	變更 Spark 中 log4j.properties 檔案的值。
spark-metrics	變更 Spark 中 metrics.properties 檔案的值。
sqoop-env	變更 Sqoop 環境中的值。
sqoop-oraoop-site	在方向 OraOop的 oraoop-site.xml 文件中更改值。
sqoop-site	變更 Sqoop 的 sqoop-site.xml 檔案中的值。
tez-site	變更 Tez 的 tez-site.xml 檔案中的值。
yarn-env	變更YARN環境中的值。
yarn-site	變更YARN的 yarn-site.xml 檔案中的值。
zeppelin-env	變更 Zeppelin 環境中的值。
zookeeper-config	變更 ZooKeeper的 zoo.cfg 檔案中的值。
zookeeper-log4j	變更 log4j. 屬性 ZooKeeper檔案中的值。