Amazon EMR 6.7.0 - Catatan rilis Hive

PDFRSS

Amazon EMR 6.7.0 - Perubahan sarang

Tipe	Deskripsi
Fitur	Integrasi Amazon EMR Hive dengan. LakeFormation
Fitur	Pencatatan audit tambahan untuk komitmen yang dioptimalkan oleh Hive EMRFS Amazon S3. Konfigurasi sarang:hive.blobstore.output-committer.logging, default: false
Fitur	Direktori target yang dihapus pada insert overwrite dengan hasil pilih kosong ke tabel/partisi statis yang tidak dipartisi agar berperilaku mirip dengan Hive 2.x. Konfigurasi sarang:hive.emr.iow.clean.target.dir, default: false
Bug	Memperbaiki kegagalan kueri intermiten saat menggunakan komitmen yang dioptimalkan Amazon S3 Hive EMRFS Amazon S3 dengan pengurutan bucket partisi.
Peningkatan	Versi sarang ditingkatkan ke 3.1.3. Lihat catatan rilis Apache Hive 3.1.3 untuk lebih jelasnya.
Peningkatan	Parket yang ditingkatkan ke 1.12.2.
Backport	HIVE-20065: Metastore seharusnya tidak bergantung pada jackson 1.x
Backport	HIVE-20071: Migrasi ke jackson 2.x dan cegah penggunaan
Backport	HIVE-20607: TxnHandler harus digunakan PreparedStatement untuk menjalankan kueri SQL langsung
Backport	HIVE-20740: Hapus kunci global dalam metode.setConf ObjectStore
Backport	HIVE-20961: Pensiun implementasi NVL
Backport	HIVE-22059: jar hive-exec tidak berisi pustaka jackson (fasterxmll)
Backport	HIVE-22351: Perbaiki penggunaan ulir yang salah di ObjectStore TestObjectStore
Backport	HIVE-23534: NPE di RetryingMetaStoreClient #invoke saat menangkap tanpa pesan MetaException
Backport	HIVE-24048: Harmonisasi komponen Jackson ke versi 2.10.latest - Hive
Backport	HIVE-24768: Gunakan jackson-bom di mana-mana untuk penggantian versi
Backport	HIVE-24816: Tingkatkan jackson ke 2.10.5.1 atau 2.11.0+ karena CVE-2020-25649
Backport	HIVE-25971: Penutupan tugas Tez tertunda karena kumpulan utas yang di-cache tidak ditutup
Backport	HIVE-26036: NPE disebabkan oleh get () in MTable ObjectStore

Amazon EMR 6.7.0 - Sarang masalah yang diketahui

• Kueri dengan fungsi windowing pada kolom yang sama dengan join dapat menyebabkan transformasi yang tidak valid seperti yang dilaporkan dalam HIVE-25278 dan menyebabkan hasil yang salah atau kegagalan kueri. Solusinya adalah menonaktifkan CBO pada tingkat kueri untuk kueri semacam itu. Perbaikan akan tersedia dalam rilis EMR Amazon setelah 6.7.0. Untuk informasi lebih lanjut, hubungi AWS dukungan.

• Dengan Amazon EMR 6.6.0 hingga 6.9.x, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi pengurutan dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengatur hive.optimize.sort.dynamic.partition.threshold properti -1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan diperbaiki di Amazon EMR 6.10.0.