Amazon EMR 7.4.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.4.0 - Modifications apportées à Hadoop

Type	Description
Upgrade	La version Hadoop est mise à niveau vers la version 3.4.0, reportez-vous aux notes de mise à jour de l'OSS.
Correctif de bogue.	Corriger les métriques négatives relatives au fil en attente et au fil alloué pour FairScheduler
Correctif de bogue.	YARN-11702 : Fixez le fil au-dessus des conteneurs d'allocation
Correctif de bogue.	Améliorez la gestion des conditions de course lors de la réduction de la taille des nœuds
Amélioration	HADOOP-18679 : Ajout d'une API pour la bulk/paged suppression de fichiers
Amélioration	HADOOP-19203: BulkDelete API WrappedIO pour élever les iOS en tant qu'exceptions UncheckedIO
Amélioration	HADOOP-19205: S3A : initialization/close plus lent qu'avec le SDK v1
Amélioration	HADOOP-19161: S3A : option fs.s3a.performance.flags pour récupérer la liste des indicateurs de performance
Amélioration	HADOOP-19072: S3A : étendez les optimisations sur les boutiques avec fs.s3a.performance.flags pour mkdir

Amazon EMR 7.4.0 - Fonctionnalités de Hadoop

Consultez la liste suivante pour découvrir les nouvelles fonctionnalités Hadoop dans Amazon EMR 7.4.0.

• Les valeurs de configuration par défaut ont été affinées pour des performances optimales :

  • mapreduce.input.fileinputformat.list-status.num-threads=10 — C'est une hausse par rapport à 1.

  • fs.s3a.block.size=64M — Cela représente une augmentation par rapport à 32M.

  • fs.s3a.multipart.size=128M — Cela représente une hausse par rapport à 64M.

• Out-of-the-box optimisations améliorant les performances pour accélérer les MapReduce tâches avec le système de fichiers S3A.