Amazon EMR 6.7.0：Hive 发布说明

Amazon EMR 6.7.0：Hive 更改

类型	说明
功能	亚马逊 EMR Hive 与 LakeFormation... 集成
功能	适用于 Hive EMRFS Amazon S3 优化提交程序的其他审核日志记录。Hive config：hive.blobstore.output-committer.logging，默认值：false
功能	在向未 table/static 分区分区插入覆盖时删除了目标目录，其行为与 Hive 2.x 类似。Hive config：hive.emr.iow.clean.target.dir，默认值：false
Bug	修复了在将 Hive EMRFS Amazon S3 优化提交程序与分区存储桶排序结合使用时出现间歇性查询失败的问题。
升级	已将 Hive 升级到版本 3.1.3。请参阅 Apache Hive 3.1.3 发布说明以了解更多详细信息。
升级	已将 Parquet 升级到 1.12.2。
逆向移植	HIVE-20065: Metastore 不应该依赖杰克逊 1.x
逆向移植	HIVE-20071: 迁移到 jackson 2.x 并防止使用
逆向移植	HIVE-20607: TxnHandler 应使用 PreparedStatement 来执行直接 SQL 查询
逆向移植	HIVE-20740: 移除全局锁定 ObjectStore.setConf 方法
逆向移植	HIVE-20961: 停用 NVL 的实施
逆向移植	HIVE-22059: hive-exec jar 不包含 (fasterxml) 杰克逊库
逆向移植	HIVE-22351: 修复了中不正确的线程 ObjectStore用法 TestObjectStore
逆向移植	HIVE-23534: 在没有留言的情况下捕捉 MetaException时在 RetryingMetaStoreClient #invoke 中不是
逆向移植	HIVE-24048: 将 Jackson 组件协调到版本 2.10.latest-Hive
逆向移植	HIVE-24768: 随处使用 jackson-bom 进行版本更换
逆向移植	HIVE-24816: 由于以下原因，将 jackson 升级到 2.10.5.1 或 2.11.0+ CVE-2020-25649
逆向移植	HIVE-25971: 由于缓存线程池未关闭，Tez 任务关闭被延迟
逆向移植	HIVE-26036: NPE 由 getmTable () 导致 ObjectStore

Amazon EMR 6.7.0：Hive 已知问题

• 如中所述，在与 join 相同的列上使用窗口函数的查询可能会导致无效的转换，HIVE-25278并导致不正确的结果或查询失败。解决方法是在查询级别为此类查询禁用 CBO。修复程序将在 6.7.0 之后的 Amazon EMR 发行版中提供。有关更多信息，请联系客 AWS 服。

• 在 6.6.0 到 6.9.x 版 Amazon EMR 中，带有动态分区和 ORDER BY 或 SORT BY 子句的 INSERT 查询将始终具有两个 Reducer。这个问题是由于 OSS 变更造成的 HIVE-20703，它使动态排序分区优化置于基于成本的决策之下。如果您的工作负载不需要对动态分区进行排序，建议将 hive.optimize.sort.dynamic.partition.threshold 属性设置为 -1 以禁用新功能并获得计算正确的 Reducer 数量。此问题作为其一部分在 OSS Hive 中得到修复，HIVE-22269并在 Amazon EMR 6.10.0 中得到修复。