Amazon EMR 6.8.0 - Catatan rilis Hive - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR 6.8.0 - Catatan rilis Hive

Amazon EMR 6.8.0 - Perubahan sarang

Tipe Deskripsi
Perbaikan Kurangi panggilan sistem file dalam perintah msck. Peningkatan kinerja (~ 15-20x pada 10k+partisi)
Backport HIVE-20678: BaseTableOutputFormat HiveH harus diterapkan untuk memastikan kompatibilitas HiveOutputFormat
Backport HIVE-21040: msck melakukan daftar file yang tidak perlu di tingkat terakhir dari pohon direktori
Backport HIVE-21460: Memuat data diikuti dengan kueri pilih* menghasilkan hasil yang salah
Backport HIVE-21660: Hasil yang salah saat menyatukan semua dan tampilan yang lebih baru dengan explode digunakan
Backport HIVE-22505: ClassCastException disebabkan oleh pemilihan operator Vektor yang salah
Backport HIVE-22513: Perambatan konstan kolom yang dicor dalam operasi filter dapat menyebabkan hasil yang salah
Backport HIVE-23435: Hasil gabungan luar penuh tidak ada baris
Backport HIVE-24209: Konversi argumen pencarian yang salah untuk operasi NOT BETWEEN saat vektorisasi diaktifkan
Backport HIVE-24934: VectorizedExpressions anotasi tidak diperlukan di genericudFSQ CountCheck
Backport HIVE-25278: HiveProjectJoinTransposeRule dapat melakukan transformasi yang tidak valid dengan ekspresi windowing
Backport HIVE-25505: Hasil salah dengan header. skip.header.line.count jika baris pertama kosong
Backport HIVE-26080: Tingkatkan accumulo-core ke 1.10.1
Backport HIVE-26235: ATAU Kondisi pada kolom biner mengembalikan hasil kosong
Bug Perbaiki beberapa log peringatan binding SLF4J di stderr selama peluncuran
Bug Perbaiki permintaan SHOW TABLE EXTENDED gagal dengan kesalahan FS yang salah saat partisi dan tabel berada di sistem file yang berbeda.

Amazon EMR 6.8.0 - Sarang masalah yang diketahui

  • Dengan Amazon EMR 6.6.0 hingga 6.9.x, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi pengurutan dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengatur hive.optimize.sort.dynamic.partition.threshold properti -1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan diperbaiki di Amazon EMR 6.10.0.