Amazon EMR 6.9.0 - Catatan rilis Hive

Amazon EMR 6.9.0 - Perubahan sarang

Tipe	Deskripsi
Meningkatkan	Tingkatkan Dermaga ke 9.4.48.v20220622
Meningkatkan	Support untuk Hadoop 3.3.3
Fitur	Integrasi Amazon EMR Hive dengan Lake Formation untuk beban kerja interaktif menggunakan GCSC API.
Fitur	Integrasi Amazon EMR Hive dengan Iceberg.
Peningkatan	Aktifkan SSL di HiveServer 2 saat enkripsi dalam transit diaktifkan menggunakan konfigurasi keamanan Amazon EMR.
Peningkatan	Aktifkan komitmen yang dioptimalkan Hive EMRFS Amazon S3 secara default. Untuk informasi selengkapnya, lihatMengaktifkan Hive EMRFS S3 optimized committer.
Peningkatan	TambahkanHiveHBaseTableInputFormatV2 yang hanya mewarisi versi mapred InputFormat untuk memperbaiki SPARK-34210. Aturhive.hbase.inputformat.v2true untuk menggunakannya.
Peningkatan	Tunggu TezaM diluncurkan di latar belakang dengan hive.cli.tez.session.async alih-alih mengakhirinya dan segera meluncurkan yang baru. Gunakanhive.emr.cli.tez.session.open.timeout untuk mengatur batas waktu ini dalam hitungan detik.
Peningkatan	Tambahkan opsi hive.conf.restricted.list.append untuk menambahkan konfigurasi yang dipisahkan koma ke daftar konfigurasi terbatas yang adahive.conf.restricted.list.
Peningkatan	Pesan kesalahan yang lebih jelas ketika permintaan Hive gagal karena lokasi tidak didefinisikan untuk database.
Backport	HIVE-24484: Tingkatkan Hadoop ke 3.3.1 Dan Tez ke 0.10.2
Backport	HIVE-22398: Hapus manajemen antrian YARN melalui ShimLoader.
Backport	HIVE-23190: LLAP: memodifikasi IndexCache untuk melewati objek filesystem ke TezSpillRecord.
Backport	HIVE-22185: HADOOP-15832 akan menyebabkan masalah dengan tes menggunakan MiniYarn cluster.
Backport	HIVE-21670: Menggantimockito-all denganmockito-core ketergantungan.
Backport	HIVE-24542: Siapkan Jambu untuk Upgrade.
Backport	HIVE-23751: QTest:#mkdirs() Metode OverrideProxyFileSystem untuk menyelaraskan setelah HADOOP-16582.
Backport	HIVE-21603: Java 11 persiapan: memperbarui versi powermock.
Backport	HIVE-24083:hcatalog kesalahan di Hadoop 3.3.0: jenis otentikasi diperlukan.
Backport	HIVE-24282: Tampilkan kolom tidak boleh mengurutkan kolom keluaran kecuali disebutkan secara eksplisit.
Backport	HIVE-20656: Default yang masuk akal: Konfigurasi memori agregasi peta terlalu agresif.
Backport	HIVE-25443: Panah SerDe tidak dapat serialisasi/deserialize tipe data kompleks ketika ada lebih dari 1024 nilai
Backport	HIVE-19792: Tingkatkan orc ke 1.5.2 dan aktifkan tes evolusi skema decimal_64.
Backport	HIVE-20437: Menangani evolusi skema dari float, double, dan desimal.
Backport	HIVE-21987: Hive tidak dapat membaca Parket int32 dijelaskan dengan desimal.
Backport	HIVE-20038: Perbarui kueri pada tabel non-ember dan dipartisi melempar NPE.

Amazon EMR 6.9.0 - Masalah yang diketahui sarang

• Dengan Amazon EMR 6.6.0 hingga 6.9.0, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi sortir dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengaturhive.optimize.sort.dynamic.partition.threshold properti-1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan akan tersedia dalam rilis Amazon EMR mendatang. Untuk informasi selengkapnya, hubungiAWS support.