Amazon EMR 6.9.0 - Catatan rilis Hive

Amazon EMR 6.9.0 - Perubahan sarang

Tipe	Deskripsi
Peningkatan	Tingkatkan Jetty ke 9.4.48.v20220622
Peningkatan	Support untuk Hadoop 3.3.3
Fitur	Integrasi Amazon EMR Hive dengan Lake Formation untuk beban kerja interaktif menggunakan GCSC API.
Fitur	Integrasi Amazon EMR Hive dengan Iceberg.
Perbaikan	Aktifkan SSL dalam HiveServer 2 saat enkripsi dalam transit diaktifkan menggunakan konfigurasi keamanan Amazon EMR.
Perbaikan	Aktifkan komitmen yang dioptimalkan oleh Hive EMRFS Amazon S3 secara default. Untuk informasi lebih lanjut lihat,Mengaktifkan komitmen yang dioptimalkan Hive EMRFS S3.
Perbaikan	Tambahkan HiveHBaseTableInputFormatV2 yang hanya mewarisi versi yang dipetakan InputFormat untuk memperbaiki SPARK-34210. Setel hive.hbase.inputformat.v2 true untuk menggunakannya.
Perbaikan	Tunggu TezAm diluncurkan di latar belakang dengan hive.cli.tez.session.async alih-alih menghentikannya dan segera meluncurkan yang baru. Gunakan hive.emr.cli.tez.session.open.timeout untuk mengatur batas waktu ini dalam hitungan detik.
Perbaikan	Tambahkan opsi hive.conf.restricted.list.append untuk menambahkan konfigurasi yang dipisahkan koma ke daftar konfigurasi terbatas yang ada. hive.conf.restricted.list
Perbaikan	Pesan kesalahan yang lebih jelas ketika kueri Hive gagal karena lokasi tidak ditentukan untuk database.
Backport	HIVE-24484: Tingkatkan Hadoop ke 3.3.1 Dan Tez ke 0.10.2
Backport	HIVE-22398: Hapus manajemen antrian YARN melalui. ShimLoader
Backport	HIVE-23190: LLAP: modifikasi IndexCache untuk meneruskan objek sistem file ke. TezSpillRecord
Backport	HIVE-22185: HADOOP-15832 akan menyebabkan masalah dengan tes menggunakan cluster. MiniYarn
Backport	HIVE-21670: Mengganti dengan ketergantungan. mockito-all mockito-core
Backport	HIVE-24542: Siapkan Jambu Biji untuk Upgrade.
Backport	HIVE-23751: QTest: Ganti #mkdirs() metode untuk menyelaraskan setelah HADOOP-16582. ProxyFileSystem
Backport	HIVE-21603: Persiapan Java 11: perbarui versi powermock.
Backport	HIVE-24083: hcatalog kesalahan di Hadoop 3.3.0: jenis otentikasi diperlukan.
Backport	HIVE-24282: Tampilkan kolom tidak boleh mengurutkan kolom keluaran kecuali disebutkan secara eksplisit.
Backport	HIVE-20656: Default yang masuk akal: Konfigurasi memori agregasi peta terlalu agresif.
Backport	HIVE-25443: Panah SerDe tidak dapat membuat serialisasi/deserialisasi tipe data yang kompleks ketika ada lebih dari 1024 nilai
Backport	HIVE-19792: Tingkatkan orc ke 1.5.2 dan aktifkan tes evolusi skema decimal_64.
Backport	HIVE-20437: Menangani evolusi skema dari float, double, dan desimal.
Backport	HIVE-21987: Hive tidak dapat membaca Parquet int32 yang dianotasi dengan desimal.
Backport	HIVE-20038: Perbarui kueri pada tabel non-bucketed dan dipartisi melempar NPE.

Amazon EMR 6.9.0 - Sarang masalah yang diketahui

• Dengan Amazon EMR 6.6.0 hingga 6.9.x, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi pengurutan dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengatur hive.optimize.sort.dynamic.partition.threshold properti -1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan diperbaiki di Amazon EMR 6.10.0.