Neuerungen?

Auf dieser Seite werden die Änderungen und Funktionen beschrieben, die in den neuesten Versionen von Amazon EMR 6.x und Amazon EMR 5.x verfügbar sind. Diese Versionshinweise sind auch auf der Seite Amazon-EMR-Version 6.14.0 und auf der Seite Amazon-EMR-Version 5.36.1 verfügbar, zusammen mit den Anwendungsversionen, Komponentenversionen und verfügbaren Konfigurationsklassifizierungen für jede Version.

Abonnieren Sie den RSS-Feed für Amazon-EMR-Versionshinweise unter https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss, um Updates zu erhalten, wenn eine neue Amazon-EMR-Version verfügbar ist.

Versionshinweise zu früheren Versionen finden Sie unter Amazon-EMR-Archiv mit Versionshinweisen.

Anmerkung

Amazon-EMR-Versionen verwenden jetzt AWS Signature Version 4 (SigV4), um Anforderungen an Amazon S3 zu authentifizieren. Wir empfehlen Ihnen, eine Amazon-EMR-Version zu verwenden, die SigV4 unterstützt, damit Sie auf neue S3-Buckets zugreifen und Unterbrechungen Ihrer Workloads vermeiden können. Weitere Informationen und eine Liste der Amazon-EMR-Versionen, die SigV4 unterstützen, finden Sie unter Amazon EMR und AWS Signature Version 4.

Amazon EMR 6.14.0 (neueste Version der 6.x-Serie)

Neue Amazon-EMR-Versionen werden über einen Zeitraum von mehreren Tagen in verschiedenen Regionen verfügbar gemacht, beginnend mit der ersten Region am ursprünglichen Veröffentlichungsdatum. Die neueste Version ist in diesem Zeitraum möglicherweise nicht in Ihrer Region verfügbar.

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 6.14.0. Änderungen beziehen sich auf Version 6.13.0. Informationen zum Zeitplan für die Veröffentlichung finden Sie unter Änderungsprotokoll.

Neue -Features

• Amazon EMR 6.14.0 supports Apache Spark 3.4.1, Apache Spark RAPIDS 23.06.0-amzn-2, Flink 1.17.1, Iceberg 1.3.1, and Trino 422.

• Amazon EMR Managed Scaling ist jetzt in der Region ap-southeast-3 Asien-Pazifik (Jakarta) für Cluster verfügbar, die Sie mit Amazon EMR 6.14.0 und höher erstellen.

Änderungen, Verbesserungen und behobene Probleme

• Die Version 6.14.0 optimiert die Protokollverwaltung mit Amazon EMR, das auf Amazon EC2 ausgeführt wird. Infolgedessen können Sie eine leichte Senkung der Speicherkosten für Ihre Cluster-Protokolle feststellen.

• Die Version 6.14.0 verbessert den Skalierungs-Workflow, um verschiedene Core-Instances zu berücksichtigen, deren Größe für ihre Amazon-EBS-Volumes erheblich variiert. Diese Verbesserung gilt nur für Core-Knoten; Herunterskalierungs-Operationen für Aufgabenknoten sind davon nicht betroffen.

• Die Version 6.14.0 verbessert die Interaktion von Amazon EMR mit Open-Source-Anwendungen wie Apache Hadoop YARN ResourceManager and HDFS NameNode. Diese Verbesserung reduziert das Risiko von Betriebsverzögerungen bei der Cluster-Skalierung und verringert Startup-Fehler, die aufgrund von Verbindungsproblemen mit den Open-Source-Anwendungen auftreten.

• Die Version 6.14.0 optimiert die Anwendungsinstallation beim Clusterstart. Dies verbessert die Cluster-Startup-Zeiten für bestimmte Kombinationen von Amazon-EMR-Anwendungen.

• Die Version 6.14.0 behebt ein Problem, bei dem Cluster-Herunterskalierungs-Operationen möglicherweise zum Stillstand kommen, wenn ein Cluster, der in einer VPC mit einer benutzerdefinierten Domain ausgeführt wird, auf einen Core- oder Aufgabenknoten-Neustart stößt.

• Wenn Sie einen Cluster mit der neuesten Patch-Version von Amazon EMR 5.36 oder höher oder 6.6 oder höher starten, verwendet Amazon EMR die neueste Amazon-Linux-2-Version für das standardmäßige Amazon-EMR-AMI. Weitere Informationen finden Sie unter Verwendung des standardmäßigen Amazon-Linux-AMI für Amazon EMR.

  OsReleaseLabel (Amazon-Linux-Version)	Amazon-Linux-Kernversion	Verfügbarkeitsdatum	Unterstützte Regionen
  2.0.20230906.0	4.14.322	11. September 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (VAE), Kanada (Zentral), Israel (Tel Aviv)

Amazon EMR 5.36.1 (neueste Version der 5.x-Serie)

Neue Amazon-EMR-Versionen werden über einen Zeitraum von mehreren Tagen in verschiedenen Regionen verfügbar gemacht, beginnend mit der ersten Region am ursprünglichen Veröffentlichungsdatum. Die neueste Version ist in diesem Zeitraum möglicherweise nicht in Ihrer Region verfügbar.

Die folgenden Versionshinweise enthalten Informationen über Amazon EMR Version 5.36.1. Änderungen beziehen sich auf Version 5.36.0. Informationen zum Zeitplan der Veröffentlichung finden Sie im Änderungsprotokoll.

Änderungen, Verbesserungen und behobene Probleme

• Amazon EMR Version 5.36.1 bietet Unterstützung für die Archivierung von Protokollen in Amazon S3 während der Cluster-Herunterskalierung. In früheren 5.x-Versionen konnten Sie Protokolldateien nur während der Clusterbeendigung in Amazon S3 archivieren. Die Verbesserung stellt sicher, dass auf dem Cluster generierte Protokolldateien auch nach dem Beenden des Knotens auf Amazon S3 bestehen bleiben. Weitere Informationen finden Sie unter Konfigurieren der Cluster-Protokollierung und des Debuggings.

• Die Version 5.36.1 verbessert den On-Cluster-Log-Management-Daemon zur Überwachung zusätzlicher Protokollordner in Ihrem EMR-Cluster. Durch diese Verbesserung werden Szenarien mit übermäßiger Festplattenauslastung minimiert.

• Die Version 5.36.1 startet den Log-Management-Daemon auf dem Cluster automatisch neu, wenn er beendet wird. Durch diese Verbesserung wird das Risiko verringert, dass Knoten aufgrund übermäßiger Festplattenauslastung als fehlerhaft erscheinen.

• Die Version 5.36.1 behebt ein Problem, bei dem Amazon-EMR-Daemons auf dem Primärknoten veraltete Metadaten für beendete Instances im Cluster beibehielten. Die Beibehaltung veralteter Daten kann dazu führen, dass die CPU- und Speicherauslastung innerhalb des Clusters unbegrenzt zunimmt, was letztendlich zu Clusterausfällen führen kann.

• Bei Clustern, die mit mehreren Primärknoten gestartet werden, behebt die Version 5.36.1 ein Problem, bei dem ein Amazon-EC2-Hardwarefehler auf einem der Primärknoten zum Ausfall eines zweiten Primärknotens führen und Ihren Cluster instabil machen könnte.

• Für Cluster, die mit Verschlüsselung während der Übertragung konfiguriert sind, unterstützt verwaltete Skalierung jetzt die Datenmenge von Spark Shuffle. Spark-Shuffle-Daten sind Daten, die Spark auf mehrere Partitionen verteilt, um bestimmte Operationen auszuführen. Beim Herunterskalieren ignoriert verwaltete Skalierung die Instances mit Shuffle-Daten. Dadurch werden wiederholte Auftragsversuche und Neuberechnungen verhindert, was sich negativ auf den Preis und die Leistung auswirkt. Weitere Informationen zu Shuffle-Vorgängen finden Sie im Spark-Programmierhandbuch.

• Wenn Sie einen Cluster mit der neuesten Patch-Version von Amazon EMR 5.36 oder höher oder 6.6 oder höher starten, verwendet Amazon EMR die neueste Amazon-Linux-2-Version für das standardmäßige Amazon-EMR-AMI. Weitere Informationen finden Sie unter Verwendung des standardmäßigen Amazon-Linux-AMI für Amazon EMR.

  OsReleaseLabel (Amazon-Linux-Version)	Amazon-Linux-Kernversion	Verfügbarkeitsdatum	Unterstützte Regionen
  2.0.20230727.0	4.14.320	14. August 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (VAE), Kanada (Zentral), Israel (Tel Aviv)
  2.0.20230719.0	4.14.320	02. August 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Mailand), Europa (Spanien), Europa (Frankfurt), Europa (Zürich), Europa (Irland), Europa (London), Europa (Paris), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Hyderabad), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Asien-Pazifik (Jakarta), Asien-Pazifik (Melbourne), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Naher Osten (VAE), Kanada (Zentral), Israel (Tel Aviv)
  2.0.20230628.0	4.14.318	12. Juli 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Kanada (Zentral), Europa (Stockholm), Europa (Irland), Europa (London), Europa (Paris), Europa (Frankfurt), Europa (Mailand), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Jakarta), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain)
  2.0.20230612.0	4.14.314	23. Juni 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Kanada (Zentral), Europa (Stockholm), Europa (Irland), Europa (London), Europa (Paris), Europa (Frankfurt), Europa (Mailand), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Jakarta), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain)
  2.0.20230404.1	4.14.311	18. April 2023	USA Ost (Nord-Virginia), USA Ost (Ohio), USA West (Nordkalifornien), USA West (Oregon), Europa (Stockholm), Europa (Irland), Europa (London), Europa (Paris), Europa (Frankfurt), Europa (Mailand), Asien-Pazifik (Hongkong), Asien-Pazifik (Mumbai), Asien-Pazifik (Jakarta), Asien-Pazifik (Tokio), Asien-Pazifik (Seoul), Asien-Pazifik (Osaka), Asien-Pazifik (Singapur), Asien-Pazifik (Sydney), Afrika (Kapstadt), Südamerika (São Paulo), Naher Osten (Bahrain), Kanada (Zentral)

Amazon EMR und AWS Signature Version 4

Amazon-EMR-Versionen verwenden jetzt AWS Signature Version 4 (SigV4), um Anforderungen an Amazon S3 zu authentifizieren. Buckets, die nach dem 24. Juni 2020 in Amazon S3 erstellt wurden, unterstützen keine Anfragen, die mit Signature Version 2 (SIGv2) signiert wurden. Buckets, die am oder vor dem 24. Juni 2020 erstellt wurden, unterstützen weiterhin SIGv2. Wir empfehlen, dass Sie zu einer Amazon-EMR-Version migrieren, die Signature Version 4 unterstützt. So können Sie weiterhin auf neue S3-Buckets zugreifen und mögliche Unterbrechungen Ihrer Workloads vermeiden.

Wenn Sie Anwendungen verwenden, die in Amazon EMR enthalten sind, wie Apache Spark, Apache Hive und Presto, müssen Sie Ihren Anwendungscode nicht ändern, um SigV4 zu verwenden. Wenn Sie benutzerdefinierte Anwendungen verwenden, die nicht in Amazon EMR enthalten sind, müssen Sie möglicherweise Ihren Code aktualisieren, um SigV4 zu verwenden. Weitere Informationen finden Sie unter Umstieg von Signature Version 2 auf Signature Version 4 im Amazon-S3-Benutzerhandbuch.

Die folgenden Amazon-EMR-Versionen, die SigV4 unterstützen, sind jetzt verfügbar: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1 und emr-5.21.2 und emr-5.22.0 und höher.