Amazon EMR 7.2.0 — Tez-Versionshinweise

Amazon EMR 7.2.0 — Tez-Änderungen

Typ	Description
Verbesserung	Es wurde eine Option zur Deaktivierung von Lokalitätseinschränkungen beim Anfordern von Containern für Aufgaben bereitgestellt.
Fehlerbehebung	Machen Sie den TaskDependenciesaddTaskDependency#-Thread sicher
Upgrade	Aktualisieren Sie die TLS-Version für Tez auf 1.3.

Amazon EMR 7.2.0 — Neue Konfigurationen

Klassifizierung	Name	Standard	Description
tez-site	tez.task.relaxed.locality	false	Wenn diese Option aktiviert ist, werden Einschränkungen der Rack- und Knotenlokalität bei der Anforderung eines Containers für eine Aufgabe nicht berücksichtigt.

Amazon EMR 7.2.0 — Bekannte Probleme bei Tez

Problem mit der TEZ-DAG-Bereinigung (EMR 6.11.0 — EMR 7.2.0) — In Clustern mit aktiviertem SSL, auf denen die EMR-Versionen 6.11.0 bis 7.2.0 ausgeführt werden, gibt es ein bekanntes Problem, bei dem während der DAG-Bereinigungsphase eine SSLHandshakeAusnahme im TEZ Application Master (AM) auftritt. Dies passiert, wenn versucht wird, zwischengeschaltete Shuffle-Daten nach Abschluss der Abfrage über HTTPS von Remoteknoten zu löschen, nicht während der Abfrageausführung. Das Problem tritt auf, weil Tez AM die entsprechende TrustStore-Konfiguration nicht lesen kann, wenn der Shuffle-Handler-Serviceendpunkt aufgerufen wird. Dies betrifft jedoch nur die Bereinigung von Shuffle-Daten während der DAG-Bereinigung. Die Bereinigung auf Anwendungsebene (AM) erfolgt sowieso und bereinigt alle verbleibenden Shuffle-Daten. Dies führt also nicht zur Akkumulation von Shuffle-Daten.

Version korrigieren: — EMR 7.3.0

Problemumgehung — Fügen Sie die folgende SSL-Konfiguration zu tez-site.xml hinzu:

<property>
    <name>ssl.client.truststore.location</name>
    <value>{SSL_TRUSTSTORE_LOCATION}</value>
</property>