Amazon EMR 7.4.0 - Hadoop 版本備註

PDFRSS

Amazon EMR 7.4.0 - Hadoop 變更

Type	描述
升級	Hadoop 版本已升級至 3.4.0，請參閱 OSS 版本備註。
錯誤修正	修正 FairScheduler 的負待定和已配置 Yarn 指標
錯誤修正	YARN-11702 ：透過分配容器修正 Yarn
錯誤修正	改善縮減節點規模時的競爭條件處理
改進	HADOOP-18679 ：新增大量/分頁刪除檔案的 API
改進	HADOOP-19203：WrappedIO BulkDelete API IOEs 提升為 UncheckedIOExceptions
改進	HADOOP-19205：S3A：初始化/關閉速度比 v1 SDK 慢
改進	HADOOP-19161：S3A：選項 fs.s3a.performance.flags 以取得效能旗標的清單
改進	HADOOP-19072：S3A：使用 fs.s3a.performance.flags for mkdir 擴充商店的最佳化

Amazon EMR 7.4.0 - Hadoop 功能

如需 Amazon EMR 7.4.0 中的新 Hadoop 功能，請參閱下列清單。

• 預設組態值已經過微調，以獲得最佳效能：

  • mapreduce.input.fileinputformat.list-status.num-threads=10 – 這從 1 增加。

  • fs.s3a.block.size=64M – 這是從 32M 增加。

  • fs.s3a.multipart.size=128M – 這是從 64M 增加。

• Out-of-the-box即用效能增強最佳化，以使用 S3A 檔案系統加速 MapReduce 任務。