Amazon EMR 6.11.0 - Catatan rilis Hive

Amazon EMR 6.11.0 - Perubahan sarang

Tipe	Deskripsi
Peningkatan	Menambahkan dukungan untuk menjatuhkan partisi multithreaded untuk meningkatkan kinerja menjatuhkan partisi
Peningkatan	Support membaca file kueri Hive yang dikodekan
Peningkatan	Mengaktifkan Tez Shuffle Handler secara default untuk pekerjaan Hive on Tez
Bug	Menambahkan opsi untuk mengaktifkan distribusi deterministik kunci ke reduksi untuk memperbaiki hasil yang salah saat hive.groupby.skewindata diaktifkan (dilaporkan dalam HIVE-20220)
Bug	Kegagalan perhitungan statistik tetap saat nama partisi default dikonfigurasi
Bug	Hormati parameter klasifikasi SSL kustom yang diteruskan saat SSL dikonfigurasi di luar kotak untuk HiveServer 2 di cluster dengan enkripsi in-transit diaktifkan
Backport	HIVE-23617: Memperbaiki masalah penyimpanan-api FindBug
Backport	HIVE-26408: Vektorisasi: Perbaiki deallokasi kolom awal, jangan gunakan kembali anak sebagai output ConstantVectorExpression
Backport	HIVE-23614: Selalu lolos ke HiveConfig removeTempOr DuplicateFiles
Backport	HIVE-23354: Hapus pemeriksaan kewarasan ukuran file dari compareTempOr DuplicateFiles
Backport	HIVE-20344: Diperbaiki PrivilegeSynchronizer untuk melempar SBA. AccessControlException Juga memperkenalkan properti hive.privilege.synchronizer untuk menonaktifkan privilege synchronizer
Backport	HIVE-15826: Support mengonfigurasi 'serialization.encoding' untuk semua SerDes
Backport	HIVE-18284: Perbaiki NPE saat memasukkan data dengan klausa 'distribusikan dengan' dengan optimasi pengurutan dynpart
Backport	HIVE-24930: Operator.setDone () hubung singkat dari op anak tidak digunakan di jalur kode vektor (jika childSize == 1)
Backport	HIVE-24523: Jalur baca vektor untuk tidak menghormati SERDEPROPERTIES untuk LazySimpleSerde stempel waktu
Backport	HIVE-23265: Duplikat rowset dikembalikan dengan Limit dan Offset set
Backport	HIVE-21492: tidak VectorizedParquetRecordReader bisa membaca file parket yang dihasilkan menggunakan alat penghemat/kustom
Backport	HIVE-22540: Vektorisasi: Kolom desimal64 tidak berfungsi dengan. VectorizedBatchUtil makeLikeColumnVektor ()
Backport	HIVE-22588: Siram baris yang tersisa untuk sisa set pengelompokan saat mengganti mode grup vektor
Backport	HIVE-22551: BytesColumnVector InitBuffer harus membersihkan vektor dan panjang secara konsisten
Backport	HIVE-22448: CBO: Perluas hitungan ganda yang berbeda dengan kunci grup-demi
Backport	HIVE-22248: Perbaiki masalah statistik yang terus berlanjut
Backport	HIVE-22210: Vektorisasi dapat menggunakan kembali kolom keluaran komputasi yang terlibat dalam penyaringan
Backport	HIVE-21531: Vektorisasi: semua kode tagar NULL tidak dihitung menggunakan Murmur3
Backport	HIVE-20419: Vektorisasi: Mencegah mutasi setelah digunakan dalam kunci hashmap VectorPartitionDesc
Backport	HIVE-19388: selama inisialisasi ClassCastException VectorMapJoinCommonOperator
Backport	HIVE-21584: Persiapan Java 11: pemuat kelas sistem bukan Loader URLClass
Backport	HIVE-25107: Pencatatan Classpath harus pada level DEBUG (#2271)
Backport	HIVE-22097: Java.util tidak kompatibel. ArrayListuntuk java 11
Backport	HIVE-23938: LLAP: JDK11 - beberapa argumen jvm terkait rotasi file log GC tidak dapat digunakan lagi
Backport	HIVE-26226: Kecualikan jdk.tools dep dari hive-metastore di upgrade-acid
Backport	HIVE-17879: Tingkatkan Plugin Datanucleus Maven
Backport	HIVE-27004: DateTimeFormatterBuilder # appendZoneText tidak dapat mengurai 'UTC+' dalam versi Java yang lebih tinggi dari 8
Backport	HIVE-16812: VectorizedOrcAcidRowBatchReader tidak memfilter acara penghapusan
Backport	SARANG-17917:. VectorizedOrcAcidRowBatchReader computeOffsetAndOptimasi ember
Backport	HIVE-19985: ACID: Lewati decoding bagian ROW__ID untuk kueri hanya-baca
Backport	HIVE-20635: VectorizedOrcAcidRowBatchReader tidak memfilter peristiwa penghapusan untuk file asli
Peningkatan	Tingkatkan Javadoc ke 3.3.1
Peningkatan	Tingkatkan Javassist ke 3.24.1-GA
Peningkatan	Perbarui apache-directory-server ke 2.0.0-M14

Konfigurasi baru

Nama	Klasifikasi	Deskripsi
hive.metastore.fs.drop.partition.threads	hive-site	Jumlah utas inti di kumpulan utas partisi drop.
hive.metastore.fs.drop.partition.keepalive.time	hive-site	Waktu dalam hitungan detik bahwa utas asinkron partisi drop idle (dari kumpulan utas) akan menunggu tugas baru tiba sebelum dihentikan.
hive.metastore.fs.drop.partition.threadpool.max.queue.size	hive-site	Ukuran antrian maksimum yang akan digunakan dalam kumpulan utas untuk menjatuhkan partisi dari sistem file.
hive.groupby.enable.deterministic.distribution	hive-site	Aktifkan distribusi deterministik kunci ke reduksi. Ini akan melewati nilai seed konstan saat memanggil fungsi rand yang digunakan untuk partisi acak.
hive.privilege.synchronizer	hive-site	Apakah akan menyinkronkan hak istimewa dari otorisasi eksternal secara berkala di 2. HiveServer
hive.cli.query.file.encoding	hive-site	Pengkodean file untuk semua jenis file kueri (file kueri, file kueri init, file rc dll) yang disediakan dalam argumen cli.
hive.emr.tez.shuffle.enabled	hive-site	Hive on Tez jobs sekarang menggunakan tez_shuffle secara default alih-alih mapreduce_shuffle sebagai Shuffle Handler default.

Konfigurasi usang

Properti konfigurasi berikut tidak digunakan lagi karena HIVE-23354 dan tidak lagi didukung dengan rilis Amazon EMR 6.11.0 dan yang lebih tinggi.

Nama	Nilai default
hive.mapred.reduce.tasks.speculative.execution	false
tez.am.speculation.enabled	false