Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon EMR auf EKS 6.7.0-Versionen
Die folgenden Amazon EMR 6.7.0-Versionen sind für Amazon EMR am EKS verfügbar. Wählen Sie eine bestimmte XXXXemr-6.7.0-Version aus, um weitere Details wie das zugehörige Container-Image-Tag anzuzeigen.
Versionshinweise für Amazon EMR 6.7.0
-
Unterstützte Anwendungen – Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.
-
Unterstützte Komponenten –
aws-hm-client
(Glue-Konnektor),aws-sagemaker-spark-sdk
,emr-s3-select
,emrfs
,emr-ddb
,hudi-spark
. -
Mit dem Upgrade auf JEG 2.6 ist die Kernelverwaltung jetzt asynchron, was bedeutet, dass JEG Transaktionen nicht blockiert werden, wenn ein Kernel-Start läuft. Dies verbessert die Benutzererfahrung erheblich, da Folgendes bereitgestellt wird:
-
Fähigkeit, Befehle in aktuell laufenden Notebooks auszuführen, wenn andere Kernelstarts im Gange sind
-
Fähigkeit, mehrere Kernel gleichzeitig zu starten, ohne dass sich dies auf bereits laufende Kernel auswirkt
-
-
Unterstützte Konfigurationsklassifizierungen:
Klassifizierungen Beschreibungen core-site
Ändern Sie die Werte in der
core-site.xml
-Hadoop-Datei.emrfs-site
EMRFSEinstellungen ändern.
spark-metrics
Ändern Sie die Werte in der
metrics.properties
-Spark-Datei.spark-defaults
Ändern Sie die Werte in der
spark-defaults.conf
-Spark-Datei.spark-env
Ändert die Werte in der Spark-Umgebung.
spark-hive-site
Ändern Sie die Werte in der
hive-site.xml
-Spark-Datei.spark-log4j
Ändern Sie die Werte in der
log4j.properties
-Spark-Datei.Mithilfe von Konfigurationsklassifizierungen können Sie Anwendungen anpassen. Diese entsprechen häufig einer XML Konfigurationsdatei für die Anwendung, wie
spark-hive-site.xml
z. Weitere Informationen finden Sie unter Configuring Applications.
Gelöste Probleme
-
Amazon EMR auf EKS 6.7 behebt ein Problem in 6.6 bei der Verwendung der Pod-Vorlagen-Funktionalität von Apache Spark mit interaktiven Endpunkten. Das Problem trat bei EMR Amazon in den EKS Versionen 6.4, 6.5 und 6.6 auf. Sie können jetzt Pod-Vorlagen verwenden, um zu definieren, wie Ihre Spark-Treiber- und Ausführer-Pods starten, wenn Sie interaktive Endpunkte zur Ausführung interaktiver Analysen verwenden.
-
In früheren EMR EKS Amazon-On-Versionen blockierte Jupyter Enterprise Gateway Transaktionen, wenn der Kernelstart im Gange war, was die Ausführung der aktuell laufenden Notebook-Sitzungen behinderte. Sie können jetzt Befehle in aktuell laufenden Notebooks ausführen, wenn andere Kernelstarts im Gange sind. Sie können auch mehrere Kernel gleichzeitig starten, ohne das Risiko einzugehen, die Konnektivität zu Kerneln zu verlieren, die bereits laufen.