Neuerungen? - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Neuerungen?

In diesem Thema werden die Funktionen und Probleme in der aktuellen Amazon EMR-Serien 6.x und 5.x behandelt. Diese Versionshinweise sind auch auf der Registerkarte Release 6.2.0 und der Registerkarte Release verfügbar, zusammen mit den Anwendungsversionen, Komponentenversionen und verfügbaren Konfigurationsklassifizierungen für diese Version.5.31.0

Abonnieren Sie das RSS-Feed für &EMR-Versionshinweise unter https://docs.aws.amazon.com/emr/latest/ReleaseGuide/amazon-emr-release-notes.rss, um benachrichtigt zu werden, wenn eine neue Amazon EMR-Version verfügbar ist.

Ältere Versionshinweise bis zurück zu Version 4.2.0 finden Sie unter Amazon EMR-Neuigkeitenverlauf.

Anmerkung

25 frühere Amazon EMR-Versionen verwenden jetzt zum Authentifizieren von Anforderungen an Amazon S3. AWS Signature Version 4. Die Verwendung von AWS Signature Version 2 wird schrittweise eingestellt. Neue S3-Buckets, die nach dem 24. Juni 2020 erstellt wurden, unterstützen keine mit Signature Version 2 signierten Anforderungen mehr. Vorhandene Buckets unterstützen weiterhin Signature Version 2. Wir empfehlen, zu einer Amazon EMR-Version zu migrieren, die Signature Version 4 unterstützt. So können Sie weiterhin auf neue S3-Buckets zugreifen und mögliche Unterbrechungen Ihrer Workloads vermeiden.

Die folgenden EMR-Versionen, die Signature Version 4 unterstützen, sind jetzt verfügbar: emr-4.7.4, emr-4.8.5, emr-4.9.6, emr-4.10.1, emr-5.1.1, emr-5.2.3, emr-5.3.2, emr-5.4.1, emr-5.5.4, emr-5.6.1, emr-5.7.1, emr-5.8.3, emr-5.9.1, emr-5.10.1, emr-5.11.4, emr-5.12.3, emr-5.13.1, emr-5.14.2, emr-5.15.1, emr-5.16.1, emr-5.17.2, emr-5.18.1, emr-5.19.1, emr-5.20.1 und emr-5.21.2. Die EMR-Versionen 5.22.0 und höher unterstützen bereits Signature Version 4.

Sie müssen Ihren Anwendungscode nicht ändern, um Signature Version 4 verwenden zu können, wenn Sie Amazon EMR-Anwendungen wie Apache Spark, Apache Hive, Presto usw. verwenden. Wenn Sie benutzerdefinierte Anwendungen verwenden, die nicht in Amazon EMR enthalten sind, müssen Sie Ihren Code möglicherweise aktualisieren, um Signature Version 4 verwenden zu können. Weitere Informationen dazu, welche Updates möglicherweise erforderlich sind, finden Sie unter Von Signature Versionؘ 2 zur Signature Version 4 wechseln.

Version 6.2.0 (Neueste Version der Amazon EMR 6.x-Serie)

New Amazon EMR release versions are made available in different regions over a period of several days, beginning with the first region on the initial release date. The latest release version may not be available in your region during this period.

Die folgenden Versionshinweise enthalten Informationen zu Amazon EMR Version 6.2.0. Änderungen beziehen sich auf Version 6.1.0.

Erste Version: 09. Dezember 2020

Letzte Aktualisierung: 08. Jan. 2021

Unterstützte Anwendungen

  • AWS SDK for Java Version 1.11.828

  • emr-record-server Version 1.7.0

  • Flink Version 1.11.2

  • Ganglia Version 3.7.2

  • Hadoop Version 3.2.1-amzn-1

  • HBase Version 2.2.6

  • HBase-operator-tools 1.0.0

  • HCatalog Version 3.1.2-amzn-0

  • Hive Version 3.1.2-amzn-3

  • Hudi Version 0.6.0-amzn-1

  • Hue Version 4.8.0

  • JupyterHub Version 1.1.0

  • Livy Version 0.7.0

  • MXNet Version 1.7.0

  • Oozie Version 5.2.0

  • Phoenix Version 5.0.0

  • Pig Version 0.17.0

  • Presto Version 0.238.3-amzn-1

  • PrestoSQL Version 343

  • Spark Version 3.0.1

  • Sparks-Rapids 0.2.0

  • TensorFlow Version 2.3.1

  • Zeppelin Version 0.9.0-preview1

  • Zookeeper Version 3.4.14

  • Anschlüsse und Treiber: DynamoDB Connector 4.16.0

Neue Funktionen

Änderungen, Verbesserungen und behobene Probleme

  • Spark: Leistungsverbesserungen in der Spark-Laufzeitumgebung.

Bekannte Probleme

  • Maven-Artefakte von Amazon EMR 6.2.0 werden nicht veröffentlicht. Sie werden mit einer zukünftigen Version von Amazon EMR veröffentlicht.

  • Persistentes HFile-Tracking mit der HBase storefile-Systemtabelle unterstützt die HBase-Regionsreplikationsfunktion nicht. Weitere Informationen zur HBase-Regionsreplikation finden Sie unter Timeline-consistent High Available Reads.

  • Versionsunterschiede bei Amazon EMR 6.x und EMR 5.x Hive Bucketing

    EMR 5.x verwendet OOS Apacke Hive 2, während in EMR 6.x OOS Apache Hive 3 verwendet wird. Der Open Source Hive2 verwendet Bucketing Version 1, während Open Source Hive3 Bucketing Version 2 verwendet. Diese unterschiedliche Bucketing-Version zwischen Hive 2 (EMR 5.x) und Hive 3 (EMR 6.x) bedeutet, dass Hive-Bucketing-Hashing-anders funktioniert. Sehen Sie sich das folgende Beispiel an.

    Die folgende Tabelle ist ein Beispiel, das in EMR 6.x bzw. EMR 5.x erstellt wurde.

    -- Using following LOCATION in EMR 6.x CREATE TABLE test_bucketing (id INT, desc STRING) PARTITIONED BY (day STRING) CLUSTERED BY(id) INTO 128 BUCKETS LOCATION 's3://your-own-s3-bucket/emr-6-bucketing/'; -- Using following LOCATION in EMR 5.x LOCATION 's3://your-own-s3-bucket/emr-5-bucketing/';

    Einfügen der gleichen Daten sowohl in EMR 6.x als auch in EMR 5.x.

    INSERT INTO test_bucketing PARTITION (day='01') VALUES(66, 'some_data'); INSERT INTO test_bucketing PARTITION (day='01') VALUES(200, 'some_data');

    Bei Überprüfen des S3-Speicherorts wird ersichtlich, dass der Bucketing-Dateiname anders lautet, da die Hashing-Funktion zwischen EMR 6.x (Hive 3) und EMR 5.x (Hive 2) unterschiedlich ist.

    [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-6-bucketing/day=01/ 2020-10-21 20:35:16 13 000025_0 2020-10-21 20:35:22 14 000121_0 [hadoop@ip-10-0-0-122 ~]$ aws s3 ls s3://your-own-s3-bucket/emr-5-bucketing/day=01/ 2020-10-21 20:32:07 13 000066_0 2020-10-21 20:32:51 14 000072_0

    Sie können den Versionsunterschied auch anzeigen, indem Sie den folgenden Befehl in der Hive CLI in EMR 6.x ausführen. Beachten Sie, dass es Bucketing-Version 2 zurückgibt.

    hive> DESCRIBE FORMATTED test_bucketing; ... Table Parameters: bucketing_version 2 ...

Version 5.31.0 (Neueste Version der Amazon EMR 5.x-Serie)

New Amazon EMR release versions are made available in different regions over a period of several days, beginning with the first region on the initial release date. The latest release version may not be available in your region during this period.

Die folgenden Versionshinweise enthalten Informationen zu Amazon EMR Version 5.32.0. Änderungen beziehen sich auf Version 5.31.0.

Erste Version: 8. Januar 2021

Upgrades

  • Upgrade von Amazon Glue-Connector auf Version 1.14.0

  • Upgrade von Amazon SageMaker Spark SDK auf Version 1.4.1

  • Upgrade von AWS Java SDK auf Version 1.11.890

  • Upgrade von EMR DynamoDB Connector auf Version 4.16.0

  • Upgrade von EMRFS auf Version 2.45.0

  • EMR Log Analytics Metriken auf Version 1.18.0 aktualisiert

  • Upgrade des EMR-MetricsAndEventsApiGateway-Clients auf Version 1.5.0

  • EMR Record Server auf Version 1.8.0 aktualisiert

  • Upgrade von EMR S3 Dist CP auf Version 2.17.0

  • EMR Secret Agent auf Version 1.7.0 aktualisiert

  • Upgrade von Flink auf Version 1.11.2

  • Upgrade von Hadoop auf Version 2.10.1-amzn-0

  • Upgrade von Hive auf Version 2.3.7-amzn-3

  • Upgrade von Hue auf Version 4.8.0

  • Upgrade von Mxnet auf Version 1.7.0

  • Upgrade von OpenCV auf Version 4.4.0

  • Upgrade von Presto auf Version 0.240.1-amzn-0

  • Spark auf Version 2.4.7-amzn-0 aktualisiert

  • Upgrade von TensorFlow auf Version 2.3.1

Änderungen, Verbesserungen und behobene Probleme

Neue Funktionen

  • Ab Amazon EMR 5.32.0 können Sie einen Cluster starten, der sich nativ in Apache Ranger integriert. Apache Ranger ist ein Open-Source-Framework zur Aktivierung, Überwachung und Verwaltung umfassender Datensicherheit auf der Hadoop-Plattform. Weitere Informationen finden Sie unter Apache Ranger. Mit der nativen Integration können Sie Ihren eigenen Apache Ranger nutzen, um eine feinkörnige Datenzugriffskontrolle auf Amazon EMR durchzusetzen. Weitere Informationen finden Sie unter Integrieren von Amazon EMR in Apache Ranger im Amazon EMR-Versionshinweise.

  • Amazon-EMR-Version 5.32.0 unterstützt Amazon EMR auf EKS. Weitere Informationen zu den ersten Schritten mit EMR auf EKS finden Sie unter Was ist Amazon EMR auf EKS.

  • Amazon-EMR-Version 5.32.0 unterstützt Amazon EMR Studio (Vorversion). Weitere Informationen zu den ersten Schritten mit EMR Studio finden Sie unter Amazon EMR Studio (Vorversion).

Bekannte Probleme

  • Konsolenunterstützung zum Erstellen einer Sicherheitskonfiguration, die die AWS-Ranger-Integrationsoption angibt, wird derzeit in der Region GovCloud nicht unterstützt. Die Sicherheitskonfiguration kann mit der CLI erfolgen. Weitere Informationen finden Sie unter Erstellen der EMR-Sicherheitskonfiguration im Management Guide für Amazon EMR.