Amazon EMR 6.9.0 - Catatan rilis Hive - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Amazon EMR 6.9.0 - Catatan rilis Hive

Amazon EMR 6.9.0 - Perubahan sarang

Tipe Deskripsi
Meningkatkan Tingkatkan Dermaga ke 9.4.48.v20220622
Meningkatkan Support untuk Hadoop 3.3.3
Fitur Integrasi Amazon EMR Hive dengan Lake Formation untuk beban kerja interaktif menggunakan GCSC API.
Fitur Integrasi Amazon EMR Hive dengan Iceberg.
Peningkatan Aktifkan SSL di HiveServer 2 saat enkripsi dalam transit diaktifkan menggunakan konfigurasi keamanan Amazon EMR.
Peningkatan Aktifkan komitmen yang dioptimalkan Hive EMRFS Amazon S3 secara default. Untuk informasi selengkapnya, lihatMengaktifkan Hive EMRFS S3 optimized committer.
Peningkatan TambahkanHiveHBaseTableInputFormatV2 yang hanya mewarisi versi mapred InputFormat untuk memperbaiki SPARK-34210. Aturhive.hbase.inputformat.v2true untuk menggunakannya.
Peningkatan Tunggu TezaM diluncurkan di latar belakang dengan hive.cli.tez.session.async alih-alih mengakhirinya dan segera meluncurkan yang baru. Gunakanhive.emr.cli.tez.session.open.timeout untuk mengatur batas waktu ini dalam hitungan detik.
Peningkatan Tambahkan opsi hive.conf.restricted.list.append untuk menambahkan konfigurasi yang dipisahkan koma ke daftar konfigurasi terbatas yang adahive.conf.restricted.list.
Peningkatan Pesan kesalahan yang lebih jelas ketika permintaan Hive gagal karena lokasi tidak didefinisikan untuk database.
Backport HIVE-24484: Tingkatkan Hadoop ke 3.3.1 Dan Tez ke 0.10.2
Backport HIVE-22398: Hapus manajemen antrian YARN melalui ShimLoader.
Backport HIVE-23190: LLAP: memodifikasi IndexCache untuk melewati objek filesystem ke TezSpillRecord.
Backport HIVE-22185: HADOOP-15832 akan menyebabkan masalah dengan tes menggunakan MiniYarn cluster.
Backport HIVE-21670: Menggantimockito-all denganmockito-core ketergantungan.
Backport HIVE-24542: Siapkan Jambu untuk Upgrade.
Backport HIVE-23751: QTest:#mkdirs() Metode OverrideProxyFileSystem untuk menyelaraskan setelah HADOOP-16582.
Backport HIVE-21603: Java 11 persiapan: memperbarui versi powermock.
Backport HIVE-24083:hcatalog kesalahan di Hadoop 3.3.0: jenis otentikasi diperlukan.
Backport HIVE-24282: Tampilkan kolom tidak boleh mengurutkan kolom keluaran kecuali disebutkan secara eksplisit.
Backport HIVE-20656: Default yang masuk akal: Konfigurasi memori agregasi peta terlalu agresif.
Backport HIVE-25443: Panah SerDe tidak dapat serialisasi/deserialize tipe data kompleks ketika ada lebih dari 1024 nilai
Backport HIVE-19792: Tingkatkan orc ke 1.5.2 dan aktifkan tes evolusi skema decimal_64.
Backport HIVE-20437: Menangani evolusi skema dari float, double, dan desimal.
Backport HIVE-21987: Hive tidak dapat membaca Parket int32 dijelaskan dengan desimal.
Backport HIVE-20038: Perbarui kueri pada tabel non-ember dan dipartisi melempar NPE.

Amazon EMR 6.9.0 - Masalah yang diketahui sarang

  • Dengan Amazon EMR 6.6.0 hingga 6.9.0, kueri INSERT dengan partisi dinamis dan klausa ORDER BY atau SORT BY akan selalu memiliki dua reduksi. Masalah ini disebabkan oleh perubahan OSS HIVE-20703, yang menempatkan optimasi partisi sortir dinamis di bawah keputusan berbasis biaya. Jika beban kerja Anda tidak memerlukan penyortiran partisi dinamis, kami sarankan Anda mengaturhive.optimize.sort.dynamic.partition.threshold properti-1 untuk menonaktifkan fitur baru dan mendapatkan jumlah reduksi yang dihitung dengan benar. Masalah ini diperbaiki di OSS Hive sebagai bagian dari HIVE-22269 dan akan tersedia dalam rilis Amazon EMR mendatang. Untuk informasi selengkapnya, hubungiAWS support.