Amazon EMR 版本 4.4.0

4.4.0 應用程式版本

此版本支援下列應用程式：Ganglia、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie-Sandbox、Pig、Presto-Sandbox、Spark、Sqoop-Sandbox 和 Zeppelin-Sandbox。

下表列出此 Amazon 發行版本中可用的應用程式版本，以EMR及前三個 Amazon 版本中的應用程式EMR版本 (如果適用)。

如需 Amazon 每個版本之應用程式版本的完整歷史記錄EMR，請參閱下列主題：

• Amazon EMR 7.x 版本中的應用程式版本

• Amazon EMR 6.x 版之應用程式版本

• Amazon EMR 5.x 版之應用程式版本

• Amazon EMR 4.x 版之應用程式版本

應用程式版本資訊
	emr-4.4.0	emr-4.3.0	emr-4.2.0	emr-4.1.0
適用於 Java 的AWS SDK	1.10.27	1.10.27	1.10.27	未追蹤
Python	未追蹤	未追蹤	未追蹤	未追蹤
Scala	未追蹤	未追蹤	未追蹤	未追蹤
AmazonCloudWatchAgent	-	-	-	-
Delta	-	-	-	-
Flink	-	-	-	-
Ganglia	3.7.2	3.7.2	3.6.0	-
HBase	-	-	-	-
HCatalog	1.0.0	-	-	-
Hadoop	2.7.1	2.7.1	2.6.0	2.6.0
Hive	1.0.0	1.0.0	1.0.0	1.0.0
Hudi	-	-	-	-
Hue	3.7.1	3.7.1	3.7.1	3.7.1
Iceberg	-	-	-	-
JupyterEnterpriseGateway	-	-	-	-
JupyterHub	-	-	-	-
Livy	-	-	-	-
MXNet	-	-	-	-
Mahout	0.11.1	0.11.0	0.11.0	0.11.0
Oozie	-	-	-	-
Oozie-Sandbox	4.2.0	4.2.0	4.2.0	4.0.1
Phoenix	-	-	-	-
Pig	0.14.0	0.14.0	0.14.0	0.14.0
Presto	-	-	-	-
Presto-Sandbox	0.136	0.130	0.125	0.119
Spark	1.6.0	1.6.0	1.5.2	1.5.0
Sqoop	-	-	-	-
Sqoop-Sandbox	1.4.6	-	-	-
TensorFlow	-	-	-	-
Tez	-	-	-	-
Trino (PrestoSQL)	-	-	-	-
Zeppelin	-	-	-	-
Zeppelin-Sandbox	0.5.6	0.5.5	0.5.5	0.6.0-SNAPSHOT
ZooKeeper	-	-	-	-
ZooKeeper-Sandbox	-	-	-	-

4.4.0 發行版本說明

下列版本說明包含 Amazon EMR 4.4.0 版本的相關資訊。

版本日期：2016 年 3 月 14 日

功能

• 已新增 HCatalog 1.0.0 版

• 新增 Sqoop-Sandbox 1.4.6

• 升級至 Presto 0.136

• 升級至 Zeppelin 0.5.6

• 升級至 Mahout 0.11.1

• 根據預設啟用 dynamicResourceAllocation。

• 新增版本所有組態分類的資料表。如需詳細資訊，請參閱設定應用程式中的組態分類資料表。

解決先前版本的已知問題

• 修正maximizeResourceAllocation設定無法為YARN ApplicationMaster精靈保留足夠記憶體的問題。

• 修正自訂時遇到的問題DNS。如果 resolve.conf 中的任何項目位在提供的自訂項目之前，則自訂項目無法解決。此行為受叢集影響，VPC其中將預設VPC名稱伺服器插入為中的頂端項目resolve.conf。

• 修正預設 Python 改成 2.7 版而 boto 卻未在該版本安裝的問題。

• 修正YARN容器和 Spark 應用程式會產生唯一的 Ganglia 循環配置資料庫 (rrd) 檔案，導致連接至執行個體的第一個磁碟已填滿的問題。由於此修正程式，YARN容器層級度量已停用，且 Spark 應用程式層級度量已停用。

• 修正日誌推送器會刪除所有空日誌資料夾的問題。效果是 Hive CLI 無法記錄，因為日誌推送器正在刪除下/var/log/hive的空user文件夾。

• 修正影響 Hive 匯入而影響分割並導致匯入時錯誤的問題。

• 修正EMRFS和 s3-dist-cp 未正確處理包含期間的值區名稱的問題。

• 已變更中的行為，EMRFS以便在啟用版本控制的值區中不會持續建立_$folder$標記檔案，這可能有助於改善啟用版本控制的值區的效能。

• 變更了行為EMRFS，使其不使用指令檔案，除了啟用用戶端加密的情況之外。如果在使用用戶端加密時想要刪除指示檔案，您可以將 emrfs-site.xml 屬性 fs.s3.cse.cryptoStorageMode.deleteInstructionFiles.enabled 設定為 true。

• 已變更記YARN錄彙總，將記錄檔保留在彙總目的地兩天。預設目的地是您的叢集HDFS儲存裝置。如果您想要變更持續時間，請在建立叢集時使用 yarn.log-aggregation.retain-seconds 組態分類變更 yarn-site 之值。一如往常，您可以在建立叢集時使用 log-uri 參數將應用程式日誌儲存至 Amazon S3。

套用的修補程式

• HIVE-9655

• HIVE-9183

• HADOOP-12810

4.4.0 元件版本

下面列出了 Amazon 與此版本一起EMR安裝的元件。其中有一些屬於大數據應用程式套件。其他則是 Amazon 獨有的，EMR並為系統程序和功能安裝。這些通常會以 emr 或 aws 開頭。最新 Amazon EMR 版本中的大數據應用程式套件通常是社群中的最新版本。我們會EMR盡快在 Amazon 提供社群版本。

Amazon 中的某些元件EMR與社群版本不同。這些元件具有版本標籤，格式為 CommunityVersion-amzn-EmrVersion。EmrVersion 從 0 開始。例如，如果以 2.2 版命名myapp-component的開放原始碼社群元件已經修改三次以包含在不同的 Amazon EMR 版本中，則其發行版本會列為2.2-amzn-2。

元件	版本	描述
emr-ddb	3.0.0	適用於 Hadoop 生態系統應用程式的 Amazon DynamoDB 連接器。
emr-goodies	2.0.0	適用 Hadoop 生態系統的超便利程式庫。
emr-kinesis	3.1.0	適用於 Hadoop 生態系統應用程式的 Amazon Kinesis 連接器。
emr-s3-dist-cp	2.2.0	針對 Amazon S3 最佳化的分散式複製應用程式。
emrfs	2.4.0	適用於 Hadoop 生態系統應用程式的 Amazon S3 連接器。
ganglia-monitor	3.7.2	Hadoop 生態系統應用程式內嵌 Ganglia 代理程式以及 Ganglia 監控代理程式。
ganglia-metadata-collector	3.7.2	Ganglia 監控代理程式的彙總指標 Ganglia 中繼資料收集器。
ganglia-web	3.7.1	由 Ganglia 中繼資料收集器收集，以檢視指標的 Web 應用程式。
hadoop-client	2.7.1-amzn-1	Hadoop 命令列用戶端，例如「hdfs」、「Hadoop」或「yarn」。
hadoop-hdfs-datanode	2.7.1-amzn-1	HDFS用於存儲塊的節點級服務。
hadoop-hdfs-library	2.7.1-amzn-1	HDFS命令行客戶端和庫
hadoop-hdfs-namenode	2.7.1-amzn-1	HDFS用於跟踪文件名和塊位置的服務。
hadoop-httpfs-server	2.7.1-amzn-1	HTTPHDFS作業的端點。
hadoop-kms-server	2.7.1-amzn-1	基於 Hadoop 的加密密鑰管理服務器。 KeyProvider API
hadoop-mapred	2.7.1-amzn-1	MapReduce 用於執行應用程式的執行引擎 MapReduce 程式庫。
hadoop-yarn-nodemanager	2.7.1-amzn-1	YARN用於管理個別節點上容器的服務。
hadoop-yarn-resourcemanager	2.7.1-amzn-1	YARN用於分配和管理叢集資源和分散式應用程式的服務。
hcatalog-client	1.0.0-amzn-3	操作 hcatalog-server 的「hcat」命令列用戶端。
hcatalog-server	1.0.0-amzn-3	服務提供HCatalog，分佈式應用程序的表和存儲管理層。
hcatalog-webhcat-server	1.0.0-amzn-3	HTTP提供REST介面的端點HCatalog。
hive-client	1.0.0-amzn-3	Hive 命令列用戶端。
hive-metastore-server	1.0.0-amzn-3	服務訪問蜂巢元存儲，一個語義存儲庫中存儲元數據SQL上的 Hadoop 操作。
hive-server	1.0.0-amzn-3	依 Web 請求接受 Hive 查詢的服務。
hue-server	3.7.1-amzn-5	使用 Hadoop 生態系統應用程式分析資料的 Web 應用程式
mahout-client	0.11.1	機器學習程式庫。
mysql-server	5.5	我的SQL資料庫伺服器。
oozie-client	4.2.0	Oozie 命令列用戶端。
oozie-server	4.2.0	接受 Oozie 工作流程要求的服務。
presto-coordinator	0.136	在 presto-workers 之間接受查詢和執行管理查詢的服務。
presto-worker	0.136	執行查詢各部分的服務。
pig-client	0.14.0-amzn-0	Pig 命令列用戶端。
spark-client	1.6.0	Spark 命令列用戶端。
spark-history-server	1.6.0	用於檢視完整 Spark 應用程式生命週期記錄事件的 Web 使用者介面。
spark-on-yarn	1.6.0	的記憶體內執行引擎。YARN
spark-yarn-slave	1.6.0	阿帕奇星火庫所需的YARN奴隸。
sqoop-client	1.4.6	Apache Sqoop 命令列用戶端。
webserver	2.4	阿帕奇HTTP服務器。
zeppelin-server	0.5.6-incubating	能進行互動式資料分析，以 Web 為基礎的筆記型電腦。

4.4.0 組態分類

組態分類可讓您自訂應用程式。這些通常對應於應用程序的配置XML文件，例如hive-site.xml。如需詳細資訊，請參閱 設定應用程式。

emr-4.4.0 分類
分類	描述
capacity-scheduler	變更 Hadoop 中 capacity-scheduler.xml 檔案的值。
core-site	變更 Hadoop 中 core-site.xml 檔案的值。
emrfs-site	變更EMRFS設定。
hadoop-env	在 Hadoop 環境中變更所有 Hadoop 元件的值。
hadoop-log4j	變更 Hadoop 中 log4j.properties 檔案的值。
hdfs-encryption-zones	設定HDFS加密區域。
hdfs-site	變更HDFS的 hdfs-site.xml 中的值。
hcatalog-env	變更環境中HCatalog的值。
hcatalog-server-jndi	變更「jndi.properties」中HCatalog的值。
hcatalog-server-proto-hive-site	變更HCatalog的 proto-hive-site .xml 中的值。
hcatalog-webhcat-env	更改 HCatalog W 環境中ebHCat的值。
hcatalog-webhcat-log4j	更改 HCatalog W ebHCat 的 log4j. 屬性中的值。
hcatalog-webhcat-site	更改 HCatalog W 的 webhcat-site.xml 文件中ebHCat的值。
hive-env	變更 Hive 環境中的值。
hive-exec-log4j	更改蜂巢的 hive-exec-log 4j. 屬性文件中的值。
hive-log4j	變更 Hive 的 hive-log4j.properties 檔案中的值。
hive-site	變更 Hive 的 hive-site.xml 檔案中的值
hue-ini	變更 Hue 的 ini 檔案中的值
httpfs-env	變更HTTPFS環境中的值。
httpfs-site	變更 Hadoop 中 httpfs-site.xml 檔案的值。
hadoop-kms-acls	變更 Hadoop 中 kms-acls.xml 檔案的值。
hadoop-kms-env	變更 Hadoop KMS 環境中的值。
hadoop-kms-log4j	變更 Hadoop 的 kms-log4j.properties 檔案中的值。
hadoop-kms-site	變更 Hadoop 中 kms-site.xml 檔案的值。
mapred-env	變更 MapReduce 應用程式環境中的值。
mapred-site	變更 MapReduce 應用程式的 mapred-site.xml 檔案中的值。
oozie-env	變更 Oozie 環境中的值。
oozie-log4j	變更 Oozie 的 oozie-log4j.properties 檔案中的值。
oozie-site	變更 Oozie 的 oozie-site.xml 檔案中的值。
pig-properties	變更 Pig 的 pig.properties 檔案中的值。
pig-log4j	變更 Pig 的 log4j.properties 檔案中的值。
presto-log	變更 Presto 的 log.properties 檔案中的值。
presto-config	變更 Presto 的 config.properties 檔案中的值。
presto-connector-hive	變更 Presto 的 hive.properties 檔案中的值。
spark	Amazon EMR 策劃的阿帕奇星火設置。
spark-defaults	變更 Spark 的 spark-defaults.conf 檔案中的值。
spark-env	變更 Spark 環境中的值。
spark-log4j	變更 Spark 中 log4j.properties 檔案的值。
spark-metrics	變更 Spark 中 metrics.properties 檔案的值。
sqoop-env	變更 Sqoop 環境中的值。
sqoop-oraoop-site	在方向 OraOop的 oraoop-site.xml 文件中更改值。
sqoop-site	變更 Sqoop 的 sqoop-site.xml 檔案中的值。
yarn-env	變更YARN環境中的值。
yarn-site	變更YARN的 yarn-site.xml 檔案中的值。
zeppelin-env	變更 Zeppelin 環境中的值。