Amazon EMR 7.4.0 - Catatan rilis Hadoop

Amazon EMR 7.4.0 - Perubahan Hadoop

Tipe	Deskripsi
Peningkatan	Versi Hadoop ditingkatkan ke 3.4.0, lihat catatan rilis OSS.
Perbaikan Bug	Perbaiki metrik Benang Tertunda dan Dialokasikan negatif untuk FairScheduler
Perbaikan Bug	YARN-11702: Perbaiki Benang di atas wadah yang mengalokasikan
Perbaikan Bug	Tingkatkan penanganan kondisi balapan saat menurunkan skala node
Peningkatan	HADOOP-18679: Tambahkan API untuk menghapus file bulk/paged
Peningkatan	HADOOP-19203: WrapRedio API untuk dinaikkan sebagai Tidak Dicentang BulkDelete IOEs IOExceptions
Peningkatan	HADOOP-19205: S3A: lebih lambat dibandingkan dengan v1 SDK initialization/close
Peningkatan	HADOOP-19161: S3A: opsi fs.s3a.performance.flags untuk mengambil daftar bendera kinerja
Peningkatan	HADOOP-19072: S3A: perluas pengoptimalan di toko dengan fs.s3a.performance.flags untuk mkdir

Amazon EMR 7.4.0 - Fitur Hadoop

Lihat daftar berikut untuk fitur Hadoop baru di Amazon EMR 7.4.0.

• Nilai konfigurasi default telah disetel dengan baik untuk kinerja optimal:

  • mapreduce.input.fileinputformat.list-status.num-threads=10 - Ini naik dari 1.

  • fs.s3a.block.size = 64m - Ini naik dari 32M.

  • FS.S3A.Multipart.SIZE = 128m - Ini naik dari 64M.

• Out-of-the-box pengoptimalan peningkatan kinerja untuk mempercepat MapReduce pekerjaan dengan sistem file S3A.