Amazon EMR 6.11.0 – Hive 版本備註

Amazon EMR 6.11.0 – Hive 變更

Type	說明
改進項目	新增了對多執行緒捨棄分割區的支援，以提高捨棄分割區的效能
改進項目	支援讀取編碼的 Hive 查詢檔案
改進項目	依預設，為 Hive on Tez 作業啟用 Tez 混洗處理常式
錯誤	新增了一個選項，以允許在啟用 hive.groupby.skewindata 時對縮減器啟用固定式金鑰分佈，從而修正錯誤結果 (在 HIVE-20220 中報告)
錯誤	修正了在設定預設分割區名稱時，統計資料運算失敗的問題
錯誤	遵守在啟用了傳輸中加密的叢集中，以立即可用的方式為 HiveServer2 設定 SSL 時傳遞的任何自訂 SSL 分類參數
向後移植	HIVE-23617：修正了 storage-api FindBug 問題
向後移植	HIVE-26408：向量化：修正暫存資料欄的取消配置，不要重複使用子項 ConstantVectorExpression 作為輸出
向後移植	HIVE-23614：始終將 HiveConfig 傳遞給 removeTempOrDuplicateFiles
向後移植	HIVE-23354：從 compareTempOrDuplicateFiles 中移除檔案大小例行性檢查
向後移植	HIVE-20344：為擲出 AccessControlException 的 SBA 修正了 PrivilegeSynchronizer。還引入了 hive.privilege.synchronizer 屬性來停用權限同步器
向後移植	HIVE-15826：支援為所有 SerDes 設定 'serialization.encoding'
向後移植	HIVE-18284：修正使用 dynpart 排序優化插入具有 'distribute by' 子句的資料時出現的 NPE
向後移植	HIVE-24930：在向量化程式碼路徑中不使用來自子操作的 Operator.setDone() 短路 (如果 childSize == 1)
向後移植	HIVE-24523：LazySimpleSerde 的向量化讀取路徑不支援時間戳記的 SERDEPROPERTIES
向後移植	HIVE-23265：在設定了「限制」和「位移」的情況下傳回重複的資料列集
向後移植	HIVE-21492：VectorizedParquetRecordReader 無法讀取使用 thrift/自訂工具產生的 parquet 檔案
向後移植	HIVE-22540：向量化：Decimal64 資料欄不適用於 VectorizedBatchUtil.makeLikeColumnVector()
向後移植	HIVE-22588：切換向量 groupby 模式時，排清其餘分組集的剩餘資料列
向後移植	HIVE-22551：BytesColumnVector initBuffer 應一致地清除向量和長度
向後移植	HIVE-22448：CBO：使用 group-by 金鑰擴展多個不同的計數
向後移植	HIVE-22248：修正持續存在的統計資料問題
向後移植	HIVE-22210：向量化可以重複使用篩選中涉及的運算輸出資料欄
向後移植	HIVE-21531：向量化：所有 NULL 雜湊程式碼都不是使用 Murmur3 運算的
向後移植	HIVE-20419：向量化：防止在 hashmap 金鑰中使用 VectorPartitionDesc 後發生變動
向後移植	HIVE-19388：VectorMapJoinCommonOperator 初始化期間出現 ClassCastException
向後移植	HIVE-21584：Java 11 準備工作：系統類別載入器不是 URLClassLoader
向後移植	HIVE-25107：類別路徑日誌記錄應處於 DEBUG 層級 (#2271)
向後移植	HIVE-22097：適用於 java 11 的 java.util.ArrayList 不相容
向後移植	HIVE-23938：LLAP：JDK11 – 某些 GC 日誌檔案輪換相關的 jvm 引數無法再使用
向後移植	HIVE-26226：在 upgrade-acid 中將 jdk.tools dep 從 hive-metastore 中排除
向後移植	HIVE-17879：升級 Datanucleus Maven 外掛程式
向後移植	HIVE-27004：DateTimeFormatterBuilder#appendZoneText 無法在高於 8 的 Java 版本中剖析 'UTC+'
向後移植	HIVE-16812：VectorizedOrcAcidRowBatchReader 無法篩選刪除事件
向後移植	HIVE-17917：VectorizedOrcAcidRowBatchReader.computeOffsetAndBucket 優化
向後移植	HIVE-19985：ACID：略過解碼唯讀查詢的 ROW__ID 區段
向後移植	HIVE-20635：VectorizedOrcAcidRowBatchReader 不會篩選原始檔案的刪除事件
升級	將 Javadoc 升級至 3.3.1
升級	將 Javassist 升級至 3.24.1-GA
升級	將 apache-directory-server 更新至 2.0.0-M14

新組態

名稱	分類	Description
hive.metastore.fs.drop.partition.threads	hive-site	捨棄分割區執行緒集區中的核心執行緒數量。
hive.metastore.fs.drop.partition.keepalive.time	hive-site	閒置的捨棄分割區非同步執行緒 (來自執行緒集區) 在終止之前等待新任務到達的時間 (以秒為單位)。
hive.metastore.fs.drop.partition.threadpool.max.queue.size	hive-site	執行緒集區中用於從檔案系統中捨棄分割區的最大佇列大小。
hive.groupby.enable.deterministic.distribution	hive-site	啟用將金鑰固定分佈至縮減器。它將在呼叫用於隨機分割的 rand 函數時傳遞固定的種子值。
hive.privilege.synchronizer	hive-site	是否在 HiveServer2 中定期同步來自外部授權方的權限。
hive.cli.query.file.encoding	hive-site	cli 引數中提供的所有類型的查詢檔案 (查詢檔案、init 查詢檔案、rc 檔案等) 的檔案編碼。
hive.emr.tez.shuffle.enabled	hive-site	Hive on Tez 作業現在預設使用 tez_shuffle 而不是 mapreduce_shuffle 作為預設混洗處理常式。

已棄用組態

由於 HIVE-23354，下列組態屬性已棄用，且 Amazon EMR 6.11.0 版及更高版本不再支援。

名稱	預設值
hive.mapred.reduce.tasks.speculative.execution	false
tez.am.speculation.enabled	false