Amazon EMR 7.4.0 - Note sulla versione di Hadoop

Amazon EMR 7.4.0 - Modifiche ad Hadoop

Tipo	Descrizione
Upgrade	La versione Hadoop è stata aggiornata alla 3.4.0, consulta le note di rilascio OSS.
Correzioni di bug	Correggi le metriche negative di Pending e Allocated Yarn per FairScheduler
Correzioni di bug	YARN-11702: Risolto il problema di Yarn sull'allocazione dei contenitori
Correzioni di bug	Migliora la gestione delle condizioni di gara durante il downscaling dei nodi
Miglioramenti	HADOOP-18679: aggiungi API per l'eliminazione dei file bulk/paged
Miglioramenti	HADOOP-19203: API WrappEdio da visualizzare come non selezionata BulkDelete IOEs IOExceptions
Miglioramenti	HADOOP-19205: S3A: più lento rispetto all'SDK v1 initialization/close
Miglioramenti	HADOOP-19161: S3A: opzione fs.s3a.performance.flags per inserire l'elenco dei segnali prestazionali
Miglioramenti	HADOOP-19072: S3A: espandi le ottimizzazioni sui negozi con fs.s3a.performance.flags per mkdir

Amazon EMR 7.4.0 - Caratteristiche di Hadoop

Consulta l'elenco seguente per le nuove funzionalità Hadoop in Amazon EMR 7.4.0.

• I valori di configurazione predefiniti sono stati ottimizzati per prestazioni ottimali:

  • mapreduce.input.fileinputformat.list-status.num-threads=10 — Risale a 1.

  • fs.s3a.block.size=64M — Risale a 32M.

  • fs.s3a.multipart.size=128M — Risale a 64M.

• Out-of-the-box ottimizzazioni per il miglioramento delle prestazioni per accelerare i lavori con il file system MapReduce S3A.