Amazon EMR 7.4.0: notas de la versión de Hadoop

Amazon EMR 7.4.0: cambios en Hadoop

Tipo	Descripción
Upgrade	La versión de Hadoop se ha actualizado a la 3.4.0; consulte las notas de la versión de OSS.
Corrección de errores	Corrija las métricas negativas de Yarn pendientes y asignadas para FairScheduler
Corrección de errores	YARN-11702: Soluciona el problema de Yarn por encima de la asignación de contenedores
Corrección de errores	Mejora el manejo de las condiciones de carrera al reducir el tamaño de los nodos
Mejora	HADOOP-18679: Añade una API para eliminar archivos bulk/paged
Mejora	HADOOP-19203: API de WrappeDio para mostrarla como no verificada BulkDelete IOEs IOExceptions
Mejora	HADOOP-19205: S3A: más lento que con el SDK de la versión 1 initialization/close
Mejora	HADOOP-19161: S3A: opción fs.s3a.performance.flags para incluir una lista de indicadores de rendimiento
Mejora	HADOOP-19072: S3A: amplía las optimizaciones de las tiendas con fs.s3a.performance.flags para mkdir

Amazon EMR 7.4.0: Características de Hadoop

Consulte la siguiente lista para ver las nuevas funciones de Hadoop en Amazon EMR 7.4.0.

• Los valores de configuración predeterminados se han ajustado para lograr un rendimiento óptimo:

  • mapreduce.input.fileinputformat.list-status.num-threads=10: esto es superior a 1.

  • fs.s3a.block.size=64 m: es un aumento en comparación con 32 millones.

  • fs.S3a.Multipart.Size=128M: es un aumento en comparación con los 64 millones.

• Out-of-the-box optimizaciones que mejoran el rendimiento para acelerar los trabajos con el sistema MapReduce de archivos S3A.