Amazon EMR 7.6.0 - Notes de mise à jour de Hadoop

PDFRSS

Amazon EMR 7.6.0 - Modifications apportées à Hadoop

Type	Description
Nouvelle fonction	Cadre de la vente d'informations d'identification S3A
Nouvelle fonction	Support du S3A Magic Committer pour Hive
Rétroportage	HADOOP-19309 : S3A : l' CopyFromLocalFile opération échoue lorsque le fichier source ne contient pas de schéma de fichier
Rétroportage	HADOOP-19050 S3A : Supporte les autorisations d'accès S3
Rétroportage	HADOOP-18708 S3A : Support du chiffrement côté client S3 (CSE)

Amazon EMR 7.6.0 - Fonctionnalités de Hadoop

• Les paramètres de configuration par défaut pour yarn.scheduler.increment-allocation-mb et yarn.scheduler.minimum-allocation-mb ont été modifiés de 32 à 1, ce qui désactive efficacement la normalisation des ressources des conteneurs dans YARN.

• Le système de fichiers S3A de Hadoop a été amélioré pour prendre en charge la vente d'informations d'identification au niveau des demandes. Grâce à cette fonctionnalité, chaque demande Amazon S3 effectuée utilisera unAwsCredentialsProvider. Cela garantit une flexibilité et une sécurité améliorées en fournissant des informations d'identification dynamiques pour chaque demande.

• Le système de fichiers S3A de Hadoop prend en charge le chiffrement S3 côté client.