View a markdown version of this page

Amazon EMR 7.5.0: notas de la versión de Hadoop - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Amazon EMR 7.5.0: notas de la versión de Hadoop

Amazon EMR 7.5.0: cambios en Hadoop

Tipo Description (Descripción)

Corrección de errores

Se convirtió fs.file.impl en comentario para vaciar el valor.

Portabilidad con versiones anteriores

HADOOP-19286: Support S3A entre regiones cuando S3 region/endpoint está configurado

Mejora

Configuración automática de la región S3 para el conector S3A activado EMR-EC2

Mejora

Reduzca la cantidad de HeadObject llamadas en el S3A

Con el lanzamiento de Amazon EMR 7.5, el conector S3A de Spark demuestra un rendimiento de lectura comparable al de EMRFS, como lo demuestran los puntos de referencia que utilizan un conjunto de datos de parquet de 3 TB. TPC-DS

Amazon EMR 7.5.0: Características de Hadoop

  • fs.s3a.endpoint.regionLa configuración de la región S3 se establece automáticamente en la región en la que se lanza el clúster de EMR con el conector S3A para su implementación. EMR-EC2

  • El acceso entre regiones de buckets de Amazon S3 está habilitado de forma predeterminada para el conector de S3A. Se puede modificar mediante la configuración de fs.s3a.cross.region.access.enabled=true or false.