Amazon EMR 6.6.0 - Catatan rilis Hive

Amazon EMR 6.6.0 - Perubahan sarang

Tipe	Deskripsi
Peningkatan	Tingkatkan Parket ke 1.12.1.
Peningkatan	Tingkatkan versi toples dermaga ke 9.4.43.v20210629
Bug	Memperbaiki masalah yang menyebabkan Hive diinstal pada semua task/core node saat LLAP diaktifkan pada cluster Hive.
Backport	HIVE-25942: Tingkatkan commons-io ke 2.8.0 karena CVE-2021-29425
Backport	HIVE-25726: Tingkatkan kecepatan ke 2.3 karena CVE-2020-13936
Backport	HIVE-25680: Otorisasi #get_table_meta HiveMetastore Server API untuk menggunakan salah satu model Otorisasi. HiveMetastore
Backport	HIVE-25554: Tingkatkan versi panah ke 0,15
Backport	HIVE-25242: Kueri berkinerja sangat lambat dengan vektorized.adaptor = dipilih
Backport	HIVE-25085: MetaStore Klien tidak lagi berbagi di seluruh sesi.
Backport	HIVE-24827: Kueri agregasi sarang mengembalikan hasil yang salah untuk file non teks.
Backport	HIVE-24683: getFileId Hadoop23Shims rentan terhadap NPE untuk jalur yang tidak ada
Backport	HIVE-24656: CBO gagal untuk kueri dengan is null di peta dan tipe array
Backport	HIVE-24556: Optimalkan DefaultGraphWalker untuk kasus tanpa cucu
Backport	HIVE-24408: Tingkatkan Parket ke 1.11.1
Backport	HIVE-24391: Perbaiki kegagalan FIX di cabang-3.1 TestOrcFile
Backport	HIVE-24362: Pemrosesan pohon AST kurang optimal untuk pohon dengan sejumlah besar node
Backport	HIVE-24316: Tingkatkan ORC dari 1.5.6 ke 1.5.8 di cabang-3.1
Backport	HIVE-24307: Beeline dengan file properti dan parameter -e gagal
Backport	HIVE-24245: PTF vektor dengan jumlah dan partisi yang berbeda menghasilkan hasil yang salah.
Backport	HIVE-24224: Perbaiki skipping header/footer untuk Hive on Tez pada file terkompresi
Backport	HIVE-24157: Mode ketat untuk gagal pada CAST timestamp ↔ numerik
Backport	HIVE-24113: NPE dalam Generik UDFTo UnixTimeStamp
Backport	HIVE-23987: Tingkatkan versi panah ke 0.11.0
Backport	HIVE-23972: Tambahkan ID klien eksternal ke klien eksternal LLAP
Backport	HIVE-23806: Hindari membersihkan status stat kolom di semua partisi jika skema diperpanjang. Hal ini meningkatkan runtime dari tabel alter add columns statement.
Backport	HIVE-23779: BasicStatsTask Info tidak dicetak di konsol langsung
Backport	HIVE-23306: Perintah RESET tidak berfungsi jika ada konfigurasi yang disetel oleh System.getProperty
Backport	HIVE-23164: Server tidak dihentikan dengan benar karena utas non-daemon
Backport	HIVE-22967: Support hive.reloadable.aux.jars.path untuk Hive di Tez
Backport	HIVE-22934: Sarang penghitung log interaktif server ke aliran kesalahan
Backport	HIVE-22901: Substitusi variabel dapat menyebabkan OOM pada referensi melingkar
Backport	HIVE-22769: Hasil kueri yang salah dan kegagalan kueri selama pembuatan terpisah untuk file teks terkompresi
Backport	HIVE-22716: Membaca untuk rusak di ByteBuffer ParquetFooterInputFromCache
Backport	HIVE-22648: Tingkatkan Parket ke 1.11.0
Backport	HIVE-22640: Decimal64: ketika jenis kolom partisi ColumnVector adalah Desimal ClassCastException
Backport	HIVE-22621: testcase tidak stabil: .testSigning TestLlapSignerImpl
Backport	HIVE-22533: Perbaiki kemungkinan kerentanan UI web daemon LLAP
Backport	HIVE-22532: PTFPPD dapat mendorong batas secara tidak benar melalui fungsi Rank/DenseRank
Backport	HIVE-22514: HiveProtoLoggingHook mungkin menghabiskan banyak memori
Backport	HIVE-22476: Fungsi sarang datediff memberikan hasil yang tidak konsisten saat hive.fetch.task.conversion disetel ke none
Backport	HIVE-22429: Tabel berkerumun yang dimigrasi menggunakan bucketing_version 1 pada sarang 3 menggunakan bucketing_version 2 untuk sisipan
Backport	HIVE-22412: StatsUtils lempar NPE saat menjelaskan
Backport	HIVE-22360: MultiDelimitSerDe mengembalikan hasil yang salah di kolom terakhir ketika file yang dimuat memiliki lebih banyak kolom daripada yang ada di skema tabel
Backport	HIVE-22332: Hive harus memastikan pengaturan evolusi skema yang valid sejak ORC-540
Backport	HIVE-22331: unix_timestamp tanpa argumen mengembalikan stempel waktu dalam milidetik, bukan detik
Backport	SARANG-22275:. OperationManager queryIdOperationtidak membersihkan beberapa QueryID dengan benar
Backport	HIVE-22273: Pemeriksaan akses gagal saat direktori sementara dihapus
Backport	HIVE-22270: Tingkatkan commons-io ke 2.6
Backport	HIVE-22241: Menerapkan UDF untuk menafsirkan date/timestamp menggunakan representasi internal dan kalender hibrida Gregorian-Julian
Backport	HIVE-22241: Menerapkan UDF untuk menafsirkan date/timestamp menggunakan representasi internal dan hibrida Gregorian-Julian
Backport	HIVE-22232: NPE saat hive.order.columnalignment disetel ke false
Backport	HIVE-22231: Kueri sarang dengan ukuran besar melalui knox gagal dengan Broken pipe Write gagal
Backport	HIVE-22221: Klien eksternal Llap - Perlu mengurangi #getSplits LlapBaseInputFormat
Backport	HIVE-22208: Nama kolom dengan kata kunci yang dicadangkan tidak dapat diloloskan saat kueri termasuk bergabung di atas meja dengan kolom topeng ditulis ulang
Backport	HIVE-22197: Common Merge join throwing class cast exception.
Backport	HIVE-22170: from_unixtime dan unix_timestamp harus menggunakan zona waktu sesi pengguna
Backport	HIVE-22169: Tez: SplitGenerator mencoba mencari file paket yang tidak akan ada untuk Tez
Backport	HIVE-22168: Hapus logging yang sangat mahal dari hotpath cache llap
Backport	HIVE-22161: UDF: disinkronkan pada org.apache.hadoop.hive.ql.udf. FunctionRegistry UDFType kelas
Backport	HIVE-22120: Perbaiki ArrayOutOfBound hasil/pengecualian yang salah di peta luar kiri bergabung pada kondisi batas tertentu
Backport	HIVE-22115: Mencegah pembuatan appender routing kueri jika properti disetel ke false
Backport	HIVE-22113: Mencegah penutupan LLAP pada yang terkait AMReporter RuntimeException
Backport	HIVE-22106: Hapus sinkronisasi lintas kueri untuk partisi-eval
Backport	HIVE-22099: Beberapa tanggal terkait tidak UDFs dapat menangani tanggal Julian dengan benar sejak HIVE-20007
Backport	HIVE-22037: HS2 harus log saat dimatikan karena OOM
Backport	HIVE-21976: Offset harus nol, bukan nol di Kalsit HiveSortLimit
Backport	HIVE-21924: Pisahkan file teks meskipun ada header/footer
Backport	HIVE-21913: Generic UDTFGet Splits harus menangani nama pengguna dengan cara yang sama seperti LLAP
Backport	HIVE-21905: Peningkatan generik di sekitar kelas FetchOperator
Backport	HIVE-21902: HiveServer 2 UI: kebutuhan header respons dermaga X-Frame-Options
Backport	HIVE-21888: Setel hive.parquet.timestamp.skip.conversion default ke true
Backport	HIVE-21868: Vektor CAST... FORMAT
Backport	SARANG-21864: #closeAll LlapBaseInputFormat
Backport	HIVE-21863: Meningkatkan pengecoran tipe Vectorizer untuk ekspresi WHEN
Backport	HIVE-21862: ORC ppd menghasilkan hasil yang salah dengan stempel waktu
Backport	HIVE-21846: Buat utas di TezAm yang secara berkala mengambil metrik LlapDaemon
Backport	HIVE-21837: MapJoin melempar pengecualian ketika kolom yang dipilih memiliki nilai nol sepenuhnya
Backport	HIVE-21834: Hindari panggilan yang tidak perlu untuk menyederhanakan kondisi filter
Backport	HIVE-21832: Metrik baru untuk mendapatkan waktu rata-rata queue/serving/response
Backport	HIVE-21827: Beberapa panggilan masuk SemanticAnalyzer tidak melalui metode getTableObject ByName
Backport	HIVE-21822: Mengekspos LlapDaemon metrik melalui metode API baru
Backport	HIVE-21818: CBO: Menyalin memiliki lalu lintas metastore TableRelOptHiveTable
Backport	HIVE-21815: Statistik dalam file ORC diurai dua kali
Backport	HIVE-21805: HiveServer 2: Gunakan yang cepat ShutdownHookManager APIs
Backport	HIVE-21799: NullPointerException di DynamicPartitionPruningOptimization, saat kunci gabungan ada di kolom agregasi
Backport	HIVE-21794: Tambahkan parameter tampilan terwujud ke sqlStdAuth SafeVarNameRegexes
Backport	HIVE-21768: JDBC: Hapus awalan serikat default untuk kueri UNION yang tidak tertutup
Backport	HIVE-21746: ArrayIndexOutOfBoundsException selama bergabung dengan hash yang dipartisi secara dinamis, dengan CBO dinonaktifkan
Backport	HIVE-21717: Ganti nama gagal untuk direktori dalam tugas pemindahan.
Backport	HIVE-21685: Penyederhanaan yang salah dalam kueri dengan beberapa klausa IN
Backport	HIVE-21681: Jelaskan format menampilkan informasi yang salah untuk beberapa kunci utama
Backport	HIVE-21651: Pindahkan protobuf serde ke hive-exec.
Backport	HIVE-21619: Cetak tipe stempel waktu tanpa presisi dalam SQL jelaskan diperpanjang
Backport	HIVE-21592: tidak OptimizedSql ditampilkan saat ekspresi berisi CONCAT
Backport	HIVE-21576: Memperkenalkan CAST... FORMAT dan daftar terbatas format datetime SQL: 2016
Backport	HIVE-21573: Transportasi biner akan mengabaikan prinsipal jika auth disetel ke DelegationToken
Backport	HIVE-21550: TestObjectStore tes bersisik - Kunci tidak dapat diperoleh dalam waktu yang diminta
Backport	HIVE-21544: Propagasi konstan merusak ekspresi selama pelipatan coalesce/case/when
Backport	HIVE-21539: GroupBy + klausa di mana pada kolom yang sama menghasilkan penulisan ulang kueri yang salah
Backport	HIVE-21538: Beeline: sumber kata sandi meskipun pembaca konsol tidak lolos ke parameter koneksi
Backport	HIVE-21509: LLAP dapat menyimpan vektor kolom yang rusak dan mengembalikan hasil kueri yang salah
Backport	HIVE-21499: seharusnya tidak menghapus fungsi dari registri jika perintah create gagal dengan AlreadyExistsException
Backport	HIVE-21496: Ukuran otomatis buffer yang tidak berurutan dapat meluap
Backport	HIVE-21468: Sensitivitas huruf besar pada nama pengenal untuk handler penyimpanan JDBC
Backport	HIVE-21467: Hapus impor JUnit.framework.Assert yang tidak digunakan lagi
Backport	HIVE-21435: LlapBaseInputFormat harus mendapatkan nomor tugas dari TASK_ATTEMT_ID conf jika ada, saat membangun SubmitWorkRequestProto
Backport	HIVE-21389: Distribusi sarang kehilangan javax.ws.rs-api.jar setelah HIVE-21247
Backport	HIVE-21385: Izinkan menonaktifkan pushdown komputasi yang tidak dapat dipisahkan ke sumber JDBC
Backport	HIVE-21383: Penangan penyimpanan JDBC: Gunakan katalog dan skema untuk mengambil tabel jika ditentukan
Backport	HIVE-21382: Kelompokkan dengan optimasi pengurangan kunci - kunci tidak dikurangi dalam kueri23
Backport	HIVE-21362: Tambahkan format input dan serde untuk membaca dari file protobuf.
Backport	HIVE-21340: CBO: Pangkas kolom non-kunci yang dimasukkan ke dalam a SemiJoin
Backport	HIVE-21332: Bersihkan buffer yang tidak terkunci alih-alih yang terkunci
Backport	HIVE-21329: Ukuran buffer keluaran tanpa urutan waktu proses Tez khusus tergantung pada pipeline operator
Backport	HIVE-21295: StorageHandler harus mengonversi tanggal menjadi string menggunakan konvensi Hive
Backport	HIVE-21294: Vektorisasi: 1-reducer Shuffle dapat melewati fungsi hash objek
Backport	HIVE-21255: Hapus di QueryConditionBuilder JdbcStorageHandler
Backport	HIVE-21253: Support di JDBC DB2 StorageHandler
Backport	HIVE-21232: LLAP: Tambahkan penyedia afinitas split ramah cache-miss
Backport	HIVE-21214: MoveTask : Gunakan AttestId alih-alih ukuran file untuk deduplikasi file compareTempOr DuplicateFiles
Backport	HIVE-21184: Tambahkan jelaskan dan jelaskan paket CBO yang diformat dengan informasi biaya
Backport	HIVE-21182: Lewati pengaturan direktori awal sarang selama perencanaan
Backport	HIVE-21171: Lewati membuat scratch dir untuk tez jika RPC aktif
Backport	HIVE-21126: Izinkan kueri tingkat sesi di #getSplit LlapBaseInputFormat
Backport	HIVE-21107: Tidak dapat menemukan kesalahan bidang” selama bergabung dengan hash yang dipartisi secara dinamis
Backport	HIVE-21061: Kueri CTAS gagal dengan sumber kosong IllegalStateException
Backport	HIVE-21041: NPE, ParseException dalam mendapatkan skema dari rencana logis
Backport	HIVE-21013: JdbcStorageHandler gagal menemukan kolom partisi di Oracle
Backport	HIVE-21006: Perluas SharedWorkOptimizer untuk menghapus semijoin saat ada peluang pemanfaatan kembali
Backport	HIVE-20992: Pisahkan konfigurasi hive.metastore.dbaccess.ssl.properties menjadi konfigurasi yang lebih bermakna
Backport	HIVE-20989: JDBC - Log GetOperationStatus + dapat memblokir kemajuan kueri melalui tidur
Backport	HIVE-20988: Hasil yang salah untuk grup berdasarkan kueri dengan kunci utama pada beberapa kolom
Backport	HIVE-20985: Jika input operator tertentu adalah kolom sementara, vektorisasi dapat menggunakan kembali beberapa di antaranya sebagai output
Backport	HIVE-20978: “hive.jdbc.*” harus ditambahkan ke sqlStdAuth SafeVarNameRegexes
Backport	HIVE-20953: Hapus fungsi dari registri fungsi saat tidak dapat ditambahkan ke metastore saat membuatnya.
Backport	HIVE-20952: Membersihkan .java VectorizationContext
Backport	HIVE-20951: LLAP: Atur Xms ke 50% selalu
Backport	HIVE-20949: Meningkatkan estimasi kardinalitas PKFK dalam perencanaan fisik
Backport	HIVE-20944: Tidak memvalidasi statistik selama kompilasi kueri
Backport	HIVE-20940: Kasus jembatan di mana resolusi tipe Calcite lebih ketat daripada Hive.
Backport	HIVE-20937: Kueri postgres jdbc gagal dengan “BATAS tidak boleh negatif”
Backport	HIVE-20926: Petunjuk pengurangan semi-join gagal saat entri filter mekar tinggi atau saat tidak ada statistik
Backport	HIVE-20920: Gunakan batasan SQL untuk meningkatkan algoritma penataan ulang gabungan
Backport	HIVE-20918: Tandai untuk enable/disable menekan komputasi dari Calcite ke koneksi JDBC
Backport	HIVE-20915: Buat optimasi partisi pengurutan dinamis tersedia untuk HoS dan MR
Backport	HIVE-20910: Penyisipan dalam tabel yang diselimuti gagal karena pengoptimalan pengurutan partisi dinamis
Backport	HIVE-20899: Keytab URI untuk LLAP YARN Service terbatas untuk mendukung HDFS saja
Backport	HIVE-20898: Untuk fungsi terkait waktu, argumen mungkin tidak dilemparkan ke tipe yang tidak dapat dibatalkan
Backport	HIVE-20881: Propagasi konstan menyederhanakan proyeksi
Backport	HIVE-20880: Perbarui nilai default untuk hive.stats.filter.in.min.ratio
Backport	HIVE-20873: Gunakan hash Murmur untuk mengurangi tabrakan hash VectorHashKeyWrapperTwoLong
Backport	HIVE-20868: SMB Join gagal sebentar-sebentar ketika ada anak op di TezDummyOperator getFinalOp MapRecordProcessor
Backport	HIVE-20853: Paparkan ShuffleHandler .registerDAG di API daemon llap
Backport	HIVE-20850: Push case bersyarat dari proyeksi ke tabel dimensi jika memungkinkan
Backport	HIVE-20842: Perbaiki logika yang diperkenalkan di HIVE-20660 untuk memperkirakan statistik untuk grup menurut
Backport	HIVE-20839: Kesalahan “Tidak dapat menemukan bidang” selama bergabung dengan hash yang dipartisi secara dinamis
Backport	HIVE-20835: Interaksi antara kendala dan penulisan ulang MV dapat membuat loop di Calcite planner
Backport	HIVE-20834: Entri sarang menyimpan referensi dari QueryResultCache kueri yang di-cache SemanticAnalyzer
Backport	HIVE-20830: kegagalan pernyataan kueri JdbcStorageHandler rentang dalam beberapa kasus
Backport	HIVE-20829: JdbcStorageHandler range split melempar NPE
Backport	HIVE-20827: Hasil yang tidak konsisten untuk array kosong
Backport	HIVE-20826: Tingkatkan HiveSemiJoin aturan untuk mengonversi gabung+grup di sisi kiri ke Left Semi Join
Backport	HIVE-20821: Tulis ulang SUM0 ke dalam kombinasi SUM+COALESCE
Backport	HIVE-20815: JdbcRecordReader .next tidak boleh makan pengecualian
Backport	HIVE-20813: udf to_epoch_milli perlu mendukung stempel waktu tanpa zona waktu juga.
Backport	HIVE-20804: Perbaikan lebih lanjut untuk mengelompokkan dengan optimasi dengan kendala
Backport	HIVE-20792: Memasukkan stempel waktu dengan zona memotong data
Backport	HIVE-20788: Pengurangan SJ yang diperpanjang dapat mem-backtrack kolom secara tidak benar saat membuat filter
Backport	HIVE-20778: Penataan ulang gabungan mungkin tidak dipicu jika semua gabungan dalam paket dibuat oleh logika dekorrelasi
Backport	HIVE-20772: rekam penghitung CPU per tugas di LLAP
Backport	HIVE-20768: Menambahkan Jendela Tumbling UDF
Backport	HIVE-20767: Beberapa proyek antara operator gabungan dapat memengaruhi penataan ulang gabungan menggunakan kendala
Backport	HIVE-20762: Interval pembersihan NOTIFICATION_LOG di-hardcode sebagai 60-an dan terlalu kecil
Backport	HIVE-20761: Pilih untuk pembaruan pada tabel notification_sequence memiliki interval coba lagi dan percobaan ulang dihitung terlalu kecil
Backport	HIVE-20751: Tingkatkan versi panah ke 0.10.0
Backport	HIVE-20746: HiveProtoHookLogger tidak menutup file pada akhir hari.
Backport	HIVE-20744: Gunakan batasan SQL untuk meningkatkan algoritma penataan ulang gabungan
Backport	HIVE-20740: Hapus kunci global dalam metode.setConf. ObjectStore Cherrypick ini mendukung HIVE-20740 yang ditujukan untuk Hive 3.2 dan 4.x ke 3.1.x
Backport	HIVE-20734: Beeline: Ketika beeline-site.xml adalah dan hive CLI mengalihkan ke langsung, itu harus menggunakan kata sandi sistem alih-alih meminta satu username/dummy
Backport	HIVE-20731: file keystore harus diotorisasi JdbcStorageHandler
Backport	HIVE-20720: Tambahkan opsi kolom partisi ke handler JDBC
Backport	HIVE-20719: Pernyataan SELECT gagal setelah PEMBARUAN dengan optimasi dan vektorisasi hive.optimize.sort.dynamic.partition aktif
Backport	HIVE-20718: Tambahkan driver cli kinerja dengan kendala
Backport	HIVE-20716: Tetapkan nilai default untuk hive.cbo.stats.correlated.multi.key.joins ke true
Backport	HIVE-20712: HivePointLookupOptimizer harus mengekstrak kasus yang dalam
Backport	HIVE-20710: Lipatan konstan mungkin tidak membuat konstanta nol tanpa tipe
Backport	HIVE-20706: external_jdbc_table2.q gagal sebentar-sebentar
Backport	HIVE-20704: Memperluas HivePreFilteringRule untuk mendukung fungsi lainnya
Backport	HIVE-20703: Letakkan optimasi partisi pengurutan dinamis di bawah keputusan berbasis biaya
Backport	HIVE-20702: Memperhitungkan overhead dari estimasi sadar struktur data selama pemilihan mapjoin
Backport	HIVE-20692: Aktifkan pelipatan ekspresi NOT x IS (NOT) [TRUE|FALSE]
Backport	HIVE-20691: Perbaiki org.apache.hadoop.hive.cli. TestMiniLlapCliDriver. testCliDriver[cttl]
Backport	HIVE-20682: Eksekusi kueri async berpotensi gagal jika SessionHive bersama ditutup oleh master thread
Backport	HIVE-20676: HiveServer 2: tidak disetel ke status PrivilegeSynchronizer daemon
Backport	HIVE-20660: Kelompokkan berdasarkan estimasi statistik dapat ditingkatkan dengan membatasi jumlah baris ke tabel sumber
Backport	HIVE-20652: JdbcStorageHandler dorong gabungan dari dua sumber data yang berbeda ke driver jdbc
Backport	HIVE-20651: JdbcStorageHandler kata sandi harus dienkripsi
Backport	HIVE-20649: Manajer memori sadar LLAP untuk penulis Orc
Backport	HIVE-20648: LLAP: Grup vektor menurut operator harus menggunakan memori per eksekutor
Backport	HIVE-20646: Kondisi filter partisi tidak didorong ke kueri metastore jika memiliki IS NOT NULL
Backport	HIVE-20644: Hindari mengekspos informasi sensitif melalui pengecualian Hive Runtime
Backport	HIVE-20636: Tingkatkan jumlah estimasi nilai nol setelah gabungan luar
Backport	HIVE-20632: Kueri dengan get_splits UDF gagal jika tampilan terwujud dibuat pada tabel kueri
Backport	HIVE-20627: Kueri asinkron bersamaan sebentar-sebentar gagal dan menyebabkan kebocoran memori LockException
Backport	HIVE-20623: Pekerjaan bersama: Perluas berbagi entri cache gabung-peta di LLAP
Backport	HIVE-20619: Sertakan MultiDelimitSerDe dalam 2 Secara Default HiveServer
Backport	HIVE-20618: Selama pemilihan bergabung BucketMapJoin mungkin dipilih untuk tabel yang tidak berember
Backport	HIVE-20617: Perbaiki jenis konstanta dalam ekspresi IN agar memiliki tipe yang benar
Backport	HIVE-20612: Buat flag korelasi multi-kunci gabungan baru untuk CBO
Backport	HIVE-20603: Kesalahan “FS salah” saat memasukkan ke partisi setelah mengubah sistem file lokasi tabel
Backport	HIVE-20601: EnvironmentContext null dalam acara ALTER_PARTITION di DbNotificationListener
Backport	HIVE-20583: Gunakan nama host kanonik hanya untuk autentikasi kerberos di HiveConnection
Backport	HIVE-20582: Jadikan hflush di hive proto logging dapat dikonfigurasi
Backport	HIVE-20563: Vektorisasi: KASUS KETIKA ekspresi gagal ketika tipe dan tipe hasil berbeda THEN/ELSE
Backport	HIVE-20558: Ubah default hive.hashtable.key.count.adjustment menjadi 0.99
Backport	HIVE-20552: Dapatkan Skema dari lebih cepat LogicalPlan
Backport	HIVE-20550: Alihkan Web HCat untuk menggunakan langsung untuk mengirimkan kueri Hive
Backport	HIVE-20537: Multi-kolom menggabungkan perkiraan dengan kolom yang tidak berkorelasi yang berbeda di CBO dan Hive
Backport	HIVE-20524: Pemeriksaan Evolusi Skema rusak saat beralih dari Hive versi 2 ke versi 3 untuk ALTER TABLE VARCHAR ke DECIMAL
Backport	HIVE-20522: HiveFilterSetOpTransposeRule dapat menimbulkan kesalahan pernyataan karena nullabilitas bidang
Backport	HIVE-20521: HS2 DOAS=True memiliki masalah izin dengan hadoop.tmp.dir, dengan sistem file MR dan S3A
Backport	HIVE-20515: Hasil kueri kosong saat menggunakan cache hasil dan direktori temp kueri, menghasilkan direktori cache di sistem file yang berbeda
Backport	HIVE-20508: Hive tidak mendukung nama pengguna bertipe “user @realm”
Backport	HIVE-20507: Beeline: Tambahkan perintah utilitas untuk mengambil semua uri dari beeline-site.xml
Backport	HIVE-20505: tingkatkan org.openjdk.jmh:jmh-core ke 1,21
Backport	HIVE-20503: Gunakan estimasi sadar struktur data selama pemilihan mapjoin
Backport	HIVE-20498: Jenis tanggal Support untuk statistik kolom autogathering
Backport	HIVE-20496: Vektorisasi: PTF Vektor IllegalStateException
Backport	HIVE-20494: Generik UDFRestrict InformationSchema rusak setelah HIVE-19440
Backport	HIVE-20477: tidak OptimizedSql ditampilkan jika ekspresi berisi INs
Backport	HIVE-20467: Izinkan JIKA TIDAK EXISTS/IF ADA dalam pembuatan/penurunan paket Sumber Daya
Backport	HIVE-20462: “BUAT TAMPILAN JIKA TIDAK ADA” gagal jika tampilan sudah ada
Backport	HIVE-20455: Log dimuntahkan dari security.authorization. PrivilegeSynchonizer.jalankan
Backport	HIVE-20439: Gunakan batas memori yang meningkat selama pemilihan gabungan untuk llap
Backport	HIVE-20433: Konversi String Implisit ke Timestamp lambat
Backport	HIVE-20432: Tulis ulang BETWEEN ke IN untuk tipe integer untuk estimasi statistik
Backport	HIVE-20423: Setel NULLS LAST sebagai urutan nol default
Backport	HIVE-20418: LLAP IO mungkin tidak menangani file ORC yang indeks baris dinonaktifkan dengan benar untuk kueri tanpa kolom yang dipilih
Backport	HIVE-20412: NPE di HiveMetaHook
Backport	HIVE-20406: Nested Coalesce memberikan hasil yang salah
Backport	HIVE-20399: Lokasi tabel w/a kustom CTAS yang tidak sepenuhnya memenuhi syarat gagal untuk tabel MM
Backport	HIVE-20393: Pengurangan Semijoin: ForDPP berperilaku tidak konsisten markSemiJoin
Backport	HIVE-20391: HiveAggregateReduceFunctionsRule dapat menyimpulkan jenis pengembalian yang salah saat menguraikan fungsi agregat
Backport	HIVE-20383: Nama antrian tidak valid dan masalah sinkronisasi di hook acara proto sarang.
Backport	HIVE-20367: Vektorisasi: Dukungan streaming untuk PTF AVG, MAX, MIN, SUM
Backport	HIVE-20366: Perkiraan statistik kueri TPC-DS78 tidak aktif untuk file null
Backport	HIVE-20364: Perbarui default untuk hive.map.aggr.hash.min.reduction
Backport	HIVE-20352: Vektorisasi: Dukungan fungsi pengelompokan
Backport	HIVE-20347: hive.optimize.sort.dynamic.partition harus bekerja dengan CTAS dan MV yang dipartisi
Backport	HIVE-20345: Basis data drop mungkin hang jika tabel dihapus dari panggilan yang berbeda
Backport	HIVE-20343: Hive 3: CTAS tidak menghormati transactional_properties
Backport	HIVE-20340: Druid Membutuhkan Eksplisit CASTs dari Timestamp ke STRING ketika output fungsi stempel waktu digunakan sebagai Strin
Backport	HIVE-20339: Vektorisasi: Angkat pembatasan yang tidak dibutuhkan menyebabkan beberapa PTF dengan RANK tidak divektorisasi
Backport	HIVE-20337: CachedStore: getPartitionsBy Expr tidak mengisi daftar partisi dengan benar
Backport	HIVE-20336: Kebijakan penyembunyian dan penyaringan untuk tampilan terwujud
Backport	HIVE-20326: Buat kendala dengan RELY sebagai default alih-alih NO RELY
Backport	HIVE-20321: Vektorisasi: Kurangi ukuran memori 1 col menjadi <1 VectorHashKeyWrapper CacheLine
Backport	HIVE-20320: Aktifkan bendera hive.optimize.remove.sq_count_check
Backport	HIVE-20315: Vektorisasi: Perbaiki lebih banyak masalah NULL/Hasil Salah dan hindari pemeran/konversi yang tidak perlu
Backport	HIVE-20314: Sertakan pemangkasan partisi dalam penulisan ulang tampilan terwujud
Backport	HIVE-20312: Izinkan klien panah untuk menggunakan klien mereka sendiri BufferAllocator LlapOutputFormatService
Backport	HIVE-20302: LLAP: eksekusi non-vektor di IO mengabaikan kolom virtual, termasuk ROW__ID
Backport	SARANG-20300: VectorFileSinkArrowOperator
Backport	HIVE-20299: perlombaan potensial dalam tes unit penandatangan LLAP
Backport	HIVE-20296: Tingkatkan HivePointLookupOptimizerRule untuk dapat mengekstrak dari konteks yang lebih canggih
Backport	HIVE-20294: Vektorisasi: Perbaiki masalah NULL/Hasil Salah di COALESCE/ELT
Backport	HIVE-20292: Pengurutan gabungan yang buruk di kueri tpcds dengan batasan utama yang ditentukan
Backport	HIVE-20290: Lazy inisialisasi ArrowColumnarBatchSerDe sehingga tidak mengalokasikan buffer selama GetSplits
Backport	HIVE-20281: SharedWorkOptimizer gagal dengan 'konten cache operator dan perbedaan paket aktual'
Backport	HIVE-20277: Vektorisasi: Ekspresi kasus yang mengembalikan BOOLEAN tidak didukung untuk FILTER
Backport	HIVE-20267: Memperluas WebUI untuk menyertakan formulir ke tingkat log konfigurasi dinamis
Backport	HIVE-20263: Salah ketik dalam variabel HiveReduceExpressionsWithStatsRule
Backport	HIVE-20260: NDV kolom tidak boleh diskalakan saat jumlah baris diubah oleh filter pada kolom lain
Backport	HIVE-20252: Pengurangan Semijoin: Siklus karena cabang semi join mungkin tetap tidak terdeteksi jika sisi meja kecil memiliki peta yang bergabung di hulu.
Backport	HIVE-20245: Vektorisasi: Perbaiki masalah NULL/Hasil Salah di ANTARa/IN
Backport	HIVE-20241: Support spesifikasi partisi dalam pernyataan CTAS
Backport	HIVE-20240: Pengurangan Semijoin: Gunakan variabel lokal untuk memeriksa kondisi tabel eksternal
Backport	HIVE-20226: HMS getNextNotification akan melempar pengecualian saat permintaan maxEvents melebihi max_rows tabel
Backport	HIVE-20225: SerDe untuk mendukung Format Biner Teradata
Backport	HIVE-20213: Tingkatkan Calcite ke 1.17.0
Backport	HIVE-20212: Hiveserver2 dalam mode http memancarkan metrik default.general.open_connections salah
Backport	HIVE-20210: Pengoptimal Ambil Sederhana harus mengarah pada MapReduce saat filter pada kolom non-partisi dan konversi minimal
Backport	HIVE-20209: Koneksi metastore gagal untuk upaya pertama di repl dump
Backport	HIVE-20207: Vektorisasi: Perbaiki masalah NULL/Hasil Salah di Filter/Bandingkan
Backport	HIVE-20204: Jenis konversi selama IN
Backport	HIVE-20203: Panah bocor SerDe DirectByteBuffer
Backport	HIVE-20197: Vektorisasi: Tambahkan pengujian DECIMAL_64, tambahkan aritmatika, dan tambahkan lebih banyak GROUP BY Aggregation Date/Interval/Timestamp
Backport	HIVE-20193: CBOInfo tidak ada dalam rencana jelaskan json
Backport	HIVE-20192: HS2 dengan metastore tertanam membocorkan objek Manajer JDOPersistence
Backport	HIVE-20183: Memasukkan dari tabel berember dapat menyebabkan kehilangan data, jika tabel sumber berisi ember kosong
Backport	HIVE-20177: Vektorisasi: Kurangi alokasi dalam mode Streaming KeyWrapper GroupBy
Backport	HIVE-20174: Vektorisasi: Perbaiki masalah NULL/Hasil Salah di GROUP BY Fungsi Agregasi
Backport	HIVE-20172: StatsUpdater gagal dengan Pengecualian GSS saat mencoba terhubung ke metastore jarak jauh
Backport	HIVE-20153: Hitung dan Jumlah UDF mengkonsumsi lebih banyak memori di Hive 2+
Backport	HIVE-20152: setel ulang status db, ketika repl dump gagal, jadi ganti nama tabel dapat dilakukan
Backport	HIVE-20149: gagal/waktu habis TestHiveCli
Backport	HIVE-20130: Pencatatan yang lebih baik untuk sinkronisasi skema informasi
Backport	HIVE-20129: Kembali ke evolusi skema berbasis posisi untuk tabel orc
Backport	SARANG-20118:. SessionStateUserAuthenticator getGroupNames
Backport	HIVE-20116: menggunakan logger TezTask induk
Backport	HIVE-20115: Tabel asam tidak boleh menggunakan pemindaian footer untuk menganalisis
Backport	HIVE-20103: WM: Hanya penghitung DAG agregat jika setidaknya satu digunakan
Backport	HIVE-20101: BloomKFilter: Hindari menggunakan array byte [] lokal sepenuhnya
Backport	HIVE-20100: OpTraits : Pilih Optraits harus berhenti ketika ketidakcocokan terdeteksi
Backport	HIVE-20098: Statistik: NPE saat mendapatkan statistik partisi kolom Tanggal
Backport	HIVE-20095: Perbaiki fitur untuk mendorong komputasi ke tabel eksternal jdbc
Backport	HIVE-20093: LlapOutputFomatService: Gunakan ArrowBuf dengan Netty untuk Akuntansi
Backport	HIVE-20090: Perluas pembuatan filter reduksi semijoin untuk dapat menemukan peluang baru
Backport	HIVE-20088: Jalur lokasi konfigurasi Beeline dirakit dengan tidak benar
Backport	HIVE-20082: HiveDecimal ke konversi string tidak memformat desimal dengan benar
Backport	HIVE-20069: Perbaiki pengoptimalan ulang jika terjadi optimasi DPP dan Semijoin
Backport	HIVE-20051: Lewati otorisasi untuk tabel suhu
Backport	HIVE-20044: Arrow Serde harus memasukkan nilai char dan menangani string kosong dengan benar
Backport	HIVE-20028: Konfigurasi cache klien Metastore digunakan secara tidak benar
Backport	HIVE-20025: Pembersihan file acara yang dibuat oleh HiveProtoLoggingHook
Backport	HIVE-20020: Hive contrib jar seharusnya tidak ada di lib
Backport	HIVE-20013: Tambahkan pemeran Implisit ke tipe tanggal untuk fungsi to_date
Backport	HIVE-20011: Menjauh dari mode append di hook logging proto
Backport	HIVE-20005: acid_table_stats, acid_no_buckets, dll - perubahan hasil kueri di cabang
Backport	HIVE-20004: Skala salah yang digunakan oleh ConvertDecimal 64 ToDecimal menghasilkan hasil yang salah
Backport	HIVE-19995: Lalu lintas baris agregat untuk tabel asam
Backport	HIVE-19993: Menggunakan alias tabel yang juga muncul sebagai nama kolom tidak mungkin
Backport	HIVE-19992: Vektorisasi: Ikuti ke HIVE-19951 --> tambahkan panggilan ke. SchemaEvolution isOnlyImplicitKonversi untuk menonaktifkan LLAP yang dikodekan I/O untuk ORC hanya ketika konversi tipe data tidak implisit
Backport	HIVE-19989: Metastore menggunakan nama aplikasi yang salah untuk metrik HADOOP2
Backport	HIVE-19981: Tabel terkelola yang dikonversi ke tabel eksternal oleh HiveStrictManagedMigration utilitas harus diatur untuk menghapus data saat tabel dijatuhkan
Backport	HIVE-19967: SMB Join: Butuh Optraits untuk ala GBY Op PTFOperator
Backport	HIVE-19935: Sesi Hive WM dimatikan: Gagal memperbarui jumlah tugas LLAP
Backport	HIVE-19924: Menandai pekerjaan distcp yang dijalankan oleh Repl Load
Backport	HIVE-19891: memasukkan ke dalam tabel eksternal dengan direktori partisi khusus dapat menyebabkan kehilangan data
Backport	HIVE-19850: Pemangkasan partisi dinamis di Tez mengarah ke kesalahan 'Tidak ada pekerjaan yang ditemukan untuk tabel'
Backport	HIVE-19806: Urutkan output qtests untuk menghindari kerapuhan dalam hasil tes
Backport	HIVE-19770: Dukungan untuk CBO untuk kueri dengan beberapa kolom yang sama di pilih
Backport	HIVE-19769: Buat objek khusus untuk nama DB dan Tabel
Backport	HIVE-19765: Tambahkan tes khusus Parket ke BlobstoreCliDriver
Backport	HIVE-19759: Tes serpihan: # TestRpc testServerPort
Backport	HIVE-19711: Alat Skema Sarang Refactor
Backport	HIVE-19701: getDelegationToken FromMetaStore tidak perlu disinkronkan
Backport	HIVE-19694: Buat pernyataan Tampilan Terwujud harus memeriksa konflik nama MV sebelum menjalankan pernyataan SQL MV.
Backport	HIVE-19674: Kelompokkan berdasarkan Konstanta Desimal tekan ke bawah ke tabel Druid
Backport	HIVE-19668: Lebih dari 30% heap terbuang oleh duplikat org.antlr.runtime. CommonTokenstring dan duplikat
Backport	HIVE-19663: refactor pembuatan laporan LLAP IO
Backport	HIVE-19661: alihkan Hive UDFs untuk menggunakan mesin regex Re2J
Backport	HIVE-19628: kemungkinan NPE di LLAP TestSigning
Backport	HIVE-19568: Active/Passive HS2 HA: Larang koneksi langsung ke instance pasif HS2
Backport	HIVE-19564: Vektorisasi: Perbaiki masalah NULL/Hasil Salah dalam Aritmatika
Backport	HIVE-19552: Aktifkan #druidkafkamini_basic .q TestMiniDruidKafkaCliDriver
Backport	HIVE-19432: GetTablesOperation terlalu lambat jika sarang memiliki terlalu banyak database dan tabel
Backport	HIVE-19360: CBO: Tambahkan “OptimizedSQL” ke objek QueryPlan
Backport	HIVE-19326: statistik pengumpulan otomatis: agregasi salah selama kueri UNION
Backport	HIVE-19313: tes gagal TestJdbcWith DBToken StoreNoDoAs
Backport	HIVE-19285: Tambahkan log ke subclass MetaDataOperation
Backport	HIVE-19235: Perbarui file emas untuk tes Minimr
Backport	HIVE-19104: Saat pengujian MetaStore dimulai dengan coba lagi, instance harus independen
Backport	HIVE-18986: Ganti nama tabel akan menjalankan java.lang. StackOverflowError di DataNucleus jika tabel berisi sejumlah besar kolom
Backport	HIVE-18920: CBO: Inisialisasi penyedia Janino sebelum kueri pertama
Backport	HIVE-18873: Melewatkan predikat pushdown untuk MR secara diam-diam di dapat menyebabkan penangan penyimpanan menghasilkan hasil yang salah HiveInputFormat
Backport	HIVE-18871: sarang pada kesalahan eksekusi tez karena menyetel hive.aux.jars.path ke hdfs://
Backport	HIVE-18725: Meningkatkan penanganan kesalahan untuk subquery jika ada referensi kolom yang salah
Backport	HIVE-18696: Folder partisi mungkin tidak dibersihkan dengan benar dalam metode.add_partitions_core jika HiveMetaStore
Backport	HIVE-18453: ACID: Tambahkan sintaks “BUAT TABEL TRANSAKSIONAL” untuk menyatukan dukungan ACID ORC & Parquet
Backport	HIVE-18201: Nonaktifkan XPROD_EDGE untuk sq_count_chec
Backport	HIVE-18140: Statistik tabel yang dipartisi bisa salah dalam kasus campuran statistik dasar
Backport	HIVE-17921: Agregasi dengan struct di LLAP menghasilkan hasil yang salah
Backport	HIVE-17896: TopNKey: Buat operator Top vektor mandiri NKey
Backport	HIVE-17840: HiveMetaStore memakan pengecualian jika transactionalListeners.NotifEvent gagal
Backport	HIVE-17043: Hapus kolom yang tidak unik dari grup dengan kunci jika tidak direferensikan nanti
Backport	HIVE-17040: Bergabunglah dengan eliminasi di hadapan hubungan FK
Backport	HIVE-16839: Panggilan tidak seimbang openTransaction/commitTransaction saat mengubah partisi yang sama secara bersamaan
Backport	HIVE-16100: Pengoptimal Partisi Diurutkan Dinamis kehilangan operator saudara
Backport	HIVE-15956: StackOverflowError ketika menjatuhkan banyak partisi
Backport	HIVE-15177: Otentikasi dengan sarang gagal ketika jenis autentikasi kerberos disetel ke fromSubject dan prinsipal berisi _HOST
Backport	HIVE-14898: HS2 seharusnya tidak mencatat tumpukan panggilan untuk kesalahan header autentikasi kosong
Backport	HIVE-14493: Dukungan partisi untuk tampilan terwujud
Backport	HIVE-14431: Kenali COALESCE sebagai KASUS
Backport	HIVE-13457: Buat titik akhir HS2 REST API untuk memantau informasi
Backport	HIVE-12342: Tetapkan nilai default hive.optimize.index.filter ke true
Backport	HIVE-10296: Cast exception diamati saat hive menjalankan kueri multi join di metastore
Backport	HIVE-6980: Jatuhkan tabel dengan menggunakan sql langsung

Amazon EMR 6.6.0 - Perubahan konfigurasi sarang

• Sebagai bagian dari perubahan OSS HIVE-20703, properti untuk mengurutkan partisi dinamis,, hive.optimize.sort.dynamic.partition telah diganti dengan. hive.optimize.sort.dynamic.partition.threshold

  hive.optimize.sort.dynamic.partition.thresholdKonfigurasi memiliki nilai potensial berikut:

  Nilai	Deskripsi
  0 (default)	Membuat pengoptimalan untuk mengurutkan partisi dinamis sebagai keputusan berbasis biaya saat file ORC digunakan. Jumlah maksimal penulis yang diizinkan dalam kueri INSERT dihitung berdasarkan (memori eksekutor/kontainer) * (persentase memori yang diambil oleh orc) dibagi dengan memori maks (ukuran garis) yang diambil oleh satu penulis.
  -1	Menonaktifkan optimasi untuk mengurutkan partisi dinamis sepenuhnya.
  1	Memungkinkan penyortiran global partisi dinamis. Ini membuat hanya satu penulis catatan terbuka untuk setiap nilai partisi di peredam, sehingga mengurangi tekanan memori pada reduksi.
  2 (atau bilangan bulat yang lebih besar)	Memberitahu Hive untuk menggunakan bilangan bulat yang ditentukan sebagai ambang batas untuk jumlah maksimum penulis.

Amazon EMR 6.6.0 - Sarang masalah yang diketahui

• Kueri dengan fungsi windowing pada kolom yang sama dengan join dapat menyebabkan transformasi yang tidak valid seperti yang dilaporkan dalam HIVE-25278 dan menyebabkan hasil yang salah atau kegagalan kueri. Sebagai solusinya, Anda dapat menonaktifkan CBO pada tingkat kueri untuk kueri tersebut. Hubungi AWS dukungan untuk informasi lebih lanjut.

• Amazon EMR 6.6.0 termasuk perangkat lunak Hive versi 3.1.2. Hive 3.1.2 memperkenalkan fitur yang membagi file teks jika berisi header dan footer (HIVE-21924). Apache Tez App Master membaca setiap file Anda untuk menentukan titik offset dalam rentang data. Perilaku gabungan ini dapat berdampak negatif pada kinerja jika kueri Anda membaca sejumlah besar file teks kecil. Sebagai solusinya, gunakan CombineHiveInputFormat dan sesuaikan ukuran split maksimal dengan mengonfigurasi properti berikut:

  SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
  SET mapreduce.input.fileinputformat.split.maxsize=16777216;

• Dengan Amazon EMR 6.6.0 hingga 6.9.x, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi pengurutan dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengatur hive.optimize.sort.dynamic.partition.threshold properti -1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan diperbaiki di Amazon EMR 6.10.0.