Amazon EMR 6.9.0 – Versionshinweise zu Hive

PDFRSS

Amazon EMR 6.9.0 – Hive-Änderungen

Typ	Beschreibung
Upgrade	Aktualisieren von Jetty auf 9.4.48.v20220622
Upgrade	Unterstützung von Hadoop 3.3.3
Funktion	Amazon-EMR-Hive-Integration mit Lake Formation für interaktive Workloads mithilfe der GCSC-API.
Funktion	Amazon-EMR-Hive-Integration mit Iceberg.
Verbesserung	Aktivieren Sie SSL in HiveServer 2, wenn die Verschlüsselung während der Übertragung mithilfe von Amazon EMR-Sicherheitskonfigurationen aktiviert ist.
Verbesserung	Aktivieren Sie standardmäßig den optimierten Hive-EMRFS-Amazon-S3-Committer. Weitere Informationen finden Sie unter Aktivierung des optimierten Hive EMRFS S3 Committers.
Verbesserung	Fügen Sie hinzuHiveHBaseTableInputFormatV2, dass nur die zugeordnete Version von erbt wird, um SPARK-34210 zu InputFormat reparieren. Stellen Sie hive.hbase.inputformat.v2 auf true ein, um es zu verwenden.
Verbesserung	Warten Sie, bis TezAM im Hintergrund mit hive.cli.tez.session.async gestartet wird, anstatt es zu beenden und sofort neu zu starten. Verwenden Sie diese hive.emr.cli.tez.session.open.timeout-Option, um dieses Timeout in Sekunden festzulegen.
Verbesserung	Fügen Sie die Option hive.conf.restricted.list.append hinzu, um kommagetrennte Konfigurationen an die bestehende eingeschränkte Konfigurationsliste hive.conf.restricted.list anzuhängen.
Verbesserung	Klarere Fehlermeldung, wenn die Hive-Abfrage fehlschlägt, weil der Speicherort für die Datenbank nicht definiert ist.
Backport	HIVE-24484: Aktualisieren Sie Hadoop auf 3.3.1 und Tez auf 0.10.2
Backport	HIVE-22398: Entfernen Sie die YARN-Warteschlangenverwaltung über. ShimLoader
Backport	HIVE-23190: LLAP: modifizieren, um das Dateisystemobjekt zu übergeben. IndexCache TezSpillRecord
Backport	HIVE-22185: HADOOP-15832 wird Probleme bei Tests verursachen, die Cluster verwenden. MiniYarn
Backport	HIVE-21670: Ersetzen Sie mockito-all durch mockito-core-Abhängigkeit.
Backport	HIVE-24542: Bereiten Sie Guava für Upgrades vor.
Backport	HIVE-23751: Methode überschreiben, um sie nach HADOOP-16582 auszurichten. QTest #mkdirs() ProxyFileSystem
Backport	HIVE-21603: Java-11-Vorbereitung: Powermock-Version aktualisieren.
Backport	HIVE-24083: hcatalog-Fehler in Hadoop 3.3.0: Authentifizierungstyp erforderlich.
Backport	HIVE-24282: Spalten anzeigen sollte Ausgabespalten nicht sortieren, sofern nicht ausdrücklich anders angegeben.
Backport	HIVE-20656: Sinnvolle Standardeinstellungen: Die Speicherkonfigurationen für die Kartenaggregation sind zu aggressiv.
Backport	HIVE-25443: Arrow SerDe kann komplexe Datentypen nicht serialisieren/deserialisieren, wenn es mehr als 1024 Werte gibt
Backport	HIVE-19792: Aktualisieren Sie Orc auf 1.5.2 und aktivieren Sie die Decimal_64-Schema-Evolutionstests.
Backport	HIVE-20437: Behandelt die Schemaentwicklung von Float, Double und Decimal.
Backport	HIVE-21987: Hive kann Parquet int32, das mit Dezimalzahlen annotiert ist, nicht lesen.
Backport	HIVE-20038: Bei Aktualisierungsabfragen für Tabellen ohne Buckets und partitionierte Tabellen wird NPE ausgelöst.

Amazon EMR 6.9.0 – Bekannte Probleme mit Hive

• Bei Amazon EMR 6.6.0 bis 6.9.x haben INSERT-Abfragen mit dynamischer Partition und einer ORDER-BY- oder SORT-BY-Klausel immer zwei Reduzierungen. Dieses Problem wird durch die OSS-Änderung HIVE-20703 verursacht, die die Optimierung dynamischer Sortierpartitionen einer kostenbasierten Entscheidung unterstellt. Wenn Ihr Workload keine Sortierung dynamischer Partitionen erfordert, empfehlen wir Ihnen, die hive.optimize.sort.dynamic.partition.threshold-Eigenschaft auf -1 zu setzen, um das neue Feature zu deaktivieren und die korrekt berechnete Anzahl von Reduzierern zu erhalten. Dieses Problem wurde behoben in OSS Hive als Teil von HIVE-22269 und in Amazon EMR 6.10.0 behoben.