Amazon EMR 7.2.0 - Hadoop 版本備註

PDFRSS

Amazon EMR 7.2.0 - Hadoop 變更

Type	描述
新功能	HADOOP-18850：S3A：使用 AWS KMS 金鑰啟用雙層伺服器端加密
新功能	支援 S3 Glacier 讀取還原的物件
改進	在執行 Spark 任務時，根據核心動態擴展 S3A 最大連線
改進	HADOOP-18797：支援搭配 S3A 魔術發射器的並行寫入
改進	HADOOP-19047：支援 S3A 魔術承諾的InMemory追蹤
改進	在 MagicV2 Committer 中新增 "Export"、"Publish" 和 "AbortPublish" 方法
改進	在 S3A 中實作 ReadFullyIntoBuffers FileSystem API
錯誤修正	HADOOP-18793：S3A StagingCommitter 不會清除 staging-uploads 目錄
升級	HADOOP-19008：S3A：將 aws-sdk 版本更新至 2.21.41
升級	HADOOP-18613：將 ZooKeeper 升級到 3.8.3 版

Amazon EMR 7.2.0 - Hadoop 功能

如需 Amazon EMR 7.2.0 中的新 Hadoop 功能，請參閱下列清單。

• S3 Glacier 支援讀取還原的物件 – 使用 Amazon EMR 7.2.0 版和更新版本，您可以使用S3A通訊協定從資料表的 S3 位置讀取還原的 Glacier 物件。如果封存的 Glacier 檔案仍在還原中，則此讀取操作會忽略這些檔案。

• 使用 S3A 魔術遞交器支援並行寫入 – Amazon EMR 7.2.0 引入了使用 S3A 魔術遞交器並行寫入的支援。此功能已新增至 OSS Hadoop 社群做為 HADOOP-18797 的一部分。