Amazon EMR 7.5.0 - Notes de mise à jour de Hadoop - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Amazon EMR 7.5.0 - Notes de mise à jour de Hadoop

Amazon EMR 7.5.0 - Modifications apportées à Hadoop

Type Description

Correctif de bogue.

A commenté fs.file.impl sur une valeur vide.

Rétroportage

HADOOP-19286 : Support de l'accès interrégional au S3A lorsque S3 est défini region/endpoint

Amélioration

Paramètre de configuration automatique de la région S3 pour le connecteur S3A sur EMR- EC2

Amélioration

Réduisez le nombre d' HeadObject appels dans le S3A

Avec la sortie d'Amazon EMR 7.5, le connecteur S3A de Spark affiche des performances de lecture comparables à celles d'EMRFS, comme en témoignent les tests de performance basés sur un ensemble de données de 3 To pour parquet TPC-DS.

Amazon EMR 7.5.0 - Fonctionnalités de Hadoop

  • fs.s3a.endpoint.regionLa configuration de la région S3 est automatiquement définie sur la région dans laquelle le cluster EMR est lancé avec le connecteur S3A pour le déploiement de l'EMR. EC2

  • L'accès aux régions entre compartiments Amazon S3 est activé par défaut pour le connecteur S3A. Il peut être modifié par réglagefs.s3a.cross.region.access.enabled=true or false.