Amazon EMR 6.7.0 – Hive 版本備註

Amazon EMR 6.7.0 – Hive 變更

類型	描述
功能	Amazon EMR Hive 與 LakeFormation 整合。
功能	適用於 Hive EMRFS Amazon S3 優化的遞交程式的其他稽核日誌記錄。Hive 組態：hive.blobstore.output-committer.logging，預設值：false
功能	如果在插入覆寫時刪除目標目錄，選擇結果為空，會導致未分割的資料表/靜態分割區的行為與 Hive 2.x 類似。Hive 組態：hive.emr.iow.clean.target.dir，預設值：false
錯誤	修正了在將 Hive EMRFS Amazon S3 優化的遞交程式與分割區儲存貯體排序搭配使用時，出現的間歇性查詢失敗。
升級	已將 Hive 版本升級至 3.1.3。如需詳細資訊，請參閱 Apache Hive 3.1.3 版本備註。
升級	已將 Parquet 升級至 1.12.2。
向後移植	HIVE-20065：中繼存放區不應依賴 jackson 1.x
向後移植	HIVE-20071：遷移至 jackson 2.x 並阻止使用
向後移植	HIVE-20607：TxnHandler 應使用 PreparedStatement 來執行直接 SQL 查詢
向後移植	HIVE-20740：移除 ObjectStore.setConf 方法中的全域鎖定
向後移植	HIVE-20961：淘汰 NVL 實作
向後移植	HIVE-22059：hive-exec jar 不包含 (fasterxml) jackson 程式庫
向後移植	HIVE-22351：修正 TestObjectStore 中執行緒化 ObjectStore 的錯誤用量
向後移植	HIVE-23534：在擷取 MetaException 時，RetryingMetaStoreClient#invoke 中出現 NPE，但無訊息
向後移植	HIVE-24048：將 Jackson 元件統一至版本 2.10.latest – Hive
向後移植	HIVE-24768：在任何地方均使用 jackson-bom 進行版本替代
向後移植	HIVE-24816：由於 CVE-2020-25649，將 jackson 升級至 2.10.5.1 或 2.11.0+
向後移植	HIVE-25971：Tez 任務關閉因快取執行緒集區未關閉而延遲
向後移植	HIVE-26036：ObjectStore 中的 getMTable() 導致 NPE

Amazon EMR 6.7.0 – Hive 已知問題

• 如果使用視窗化函數對與聯結相同的資料欄進行查詢，則可能會導致如 HIVE-25278 中報告的轉換無效問題，並導致查詢結果不正確或查詢失敗。解決方法是在查詢層級為此類查詢停用 CBO。修正程式將在 6.7.0 之後的 Amazon EMR 發行版本中提供。如需詳細資訊，請聯絡 AWS Support。

• 在 Amazon EMR 6.6.0 至 6.9.x 中，具有動態分割區和 ORDER BY 或 SORT BY 子句的 INSERT 查詢將始終具有兩個縮減器。此問題是因 OSS 變更 HIVE-20703 所造成，此變更會將動態排序分割區優化置於成本型決策下。如果您的工作負載不需要對動態分割區進行排序，建議將 hive.optimize.sort.dynamic.partition.threshold 屬性設定為 -1，以停用新功能並取得計算正確的縮減器數量。此問題已作為 HIVE-22269 的一部分在 OSS Hive 中修正，並已在 Amazon EMR 6.10.0 中修正。