Amazon EMR 7.4.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.4.0 - Modifications apportées à Hadoop

Type	Description
Upgrade	La version Hadoop est mise à niveau vers la version 3.4.0, reportez-vous aux notes de mise à jour de l'OSS.
Correctif de bogue.	Corriger les métriques négatives relatives au fil en attente et au fil alloué pour FairScheduler
Correctif de bogue.	YARN-11702 : Fixez le fil sur les conteneurs d'allocation
Correctif de bogue.	Améliorez la gestion des conditions de course lors de la réduction de la taille des nœuds
Amélioration	HADOOP-18679 : Ajout d'une API pour la suppression de fichiers bulk/paged
Amélioration	HADOOP-19203 : L'API BulkDelete Wrappedio doit être définie comme étant non contrôlée IOEs IOExceptions
Amélioration	HADOOP-19205 : S3A : initialization/close plus lent qu'avec le SDK v1
Amélioration	HADOOP-19161 : S3A : option fs.s3a.performance.flags pour récupérer la liste des indicateurs de performance
Amélioration	HADOOP-19072 : S3A : étendez les optimisations sur les stores avec fs.s3a.performance.flags pour mkdir

Amazon EMR 7.4.0 - Fonctionnalités de Hadoop

Consultez la liste suivante pour découvrir les nouvelles fonctionnalités Hadoop dans Amazon EMR 7.4.0.

• Les valeurs de configuration par défaut ont été affinées pour des performances optimales :

  • mapreduce.input.fileinputformat.list-status.num-threads=10 — C'est une hausse par rapport à 1.

  • fs.s3a.block.size=64M — Cela représente une augmentation par rapport à 32M.

  • fs.s3a.multipart.size=128M — Cela représente une hausse par rapport à 64M.

• Out-of-the-box optimisations améliorant les performances pour accélérer les MapReduce tâches avec le système de fichiers S3A.