Amazon EMR 7.4.0 — Hadoop-Versionshinweise

Amazon EMR 7.4.0 — Hadoop-Änderungen

Typ	Beschreibung
Upgrade	Die Hadoop-Version wurde auf 3.4.0 aktualisiert. Weitere Informationen finden Sie in den OSS-Versionshinweisen.
Fehlerbehebung	Korrigieren Sie negative Metriken für ausstehende und zugewiesene Garne für FairScheduler
Fehlerbehebung	YARN-11702: Fehler beim Zuweisen von Containern durch Garn behoben
Fehlerbehebung	Verbessern Sie den Umgang mit Rennbedingungen beim Herunterskalieren von Knoten
Verbesserung	HADOOP-18679: API zum Löschen von Dateien hinzufügen bulk/paged
Verbesserung	HADOOP-19203: WrappeDIO-API, die als „Ungeprüft“ markiert werden soll BulkDelete IOEs IOExceptions
Verbesserung	HADOOP-19205: S3A: langsamer als mit dem v1-SDK initialization/close
Verbesserung	HADOOP-19161: S3A: Option fs.s3a.performance.flags, um eine Liste von Leistungsflags zu übernehmen
Verbesserung	HADOOP-19072: S3A: Erweitern Sie die Optimierungen auf Stores mit fs.s3a.performance.flags für mkdir

Amazon EMR 7.4.0 — Hadoop-Funktionen

In der folgenden Liste finden Sie neue Hadoop-Funktionen in Amazon EMR 7.4.0.

• Die Standardkonfigurationswerte wurden für eine optimale Leistung optimiert:

  • mapreduce.input.fileinputformat.list-status.num-threads=10 — Das ist eine Steigerung von 1.

  • fs.s3a.block.size=64M — Das ist ein Anstieg von 32 M.

  • fs.s3a.multipart.size=128M — Das ist ein Anstieg von 64 M.

• Out-of-the-box leistungssteigernde Optimierungen zur Beschleunigung MapReduce von Aufträgen mit dem S3A-Dateisystem.