Amazon EMR 7.4.0 - Hadoop 版本備註

Amazon EMR 7.4.0 - Hadoop 變更

Type	描述
升級	Hadoop 版本已升級至 3.4.0，請參閱 OSS 版本備註。
錯誤修正	修正 FairScheduler 的負待定和已配置 Yarn 指標
錯誤修正	YARN-11702：透過配置容器修正 Yarn
錯誤修正	改善縮減節點規模時的競爭條件處理
改進	HADOOP-18679：新增大量/分頁刪除檔案的 API
改進	HADOOP-19203：使用 WrappedIO BulkDelete API IOEs 引發為 UncheckedIOExceptions
改進	HADOOP-19205：S3A：初始化/關閉速度比 v1 SDK 慢
改進	HADOOP-19161：S3A：選項 fs.s3a.performance.flags 以取得效能旗標清單
改進	HADOOP-19072：S3A：使用 fs.s3a.performance.flags for mkdir 在商店上擴展最佳化

Amazon EMR 7.4.0 - Hadoop 功能

如需 Amazon EMR 7.4.0 中的新 Hadoop 功能，請參閱下列清單。

• 已針對最佳效能微調預設組態值：

  • mapreduce.input.fileinputformat.list-status.num-threads=10 – 這是從 1 開始。

  • fs.s3a.block.size=64M – 這是從 32M 增加。

  • fs.s3a.multipart.size=128M – 這是從 64M 增加。

• Out-of-the-box的效能增強最佳化，以使用 S3A 檔案系統加速 MapReduce 任務。