Amazon EMR 7.6.0: notas de la versión de Hadoop

PDFRSS

Amazon EMR 7.6.0: cambios en Hadoop

Tipo	Descripción
Nueva característica	Marco de la venta de credenciales S3A
Nueva característica	S3A Magic Committer Support para Hive
Portabilidad con versiones anteriores	HADOOP-19309: S3A: la CopyFromLocalFile operación falla cuando el archivo fuente no contiene el esquema de archivos
Portabilidad con versiones anteriores	HADOOP-19050 S3A: Soporta concesiones de acceso S3
Portabilidad con versiones anteriores	HADOOP-18708 S3A: Support S3 Client Side Encryption (CSE)

Amazon EMR 7.6.0: Características de Hadoop

• Los ajustes de configuración predeterminados para YARN se modificaron yarn.scheduler.increment-allocation-mb y yarn.scheduler.minimum-allocation-mb pasaron de 32 a 1, lo que deshabilita de forma efectiva la normalización de los recursos del contenedor en YARN.

• El sistema de archivos S3A de Hadoop se ha mejorado para admitir la venta de credenciales a nivel de solicitud. Con esta función, cada solicitud de Amazon S3 realizada utilizará unAwsCredentialsProvider. Esto garantiza una mayor flexibilidad y seguridad al proporcionar credenciales de forma dinámica para cada solicitud.

• El sistema de archivos S3A de Hadoop admite el cifrado S3 del lado del cliente.