Amazon EMR 7.4.0 - Hive リリースノート

PDFRSS

Amazon EMR 7.4.0 - Hive の変更点

タイプ	説明
アップグレード	HIVE-28191: Hadoop バージョンを 3.4.0 にアップグレードする
アップグレード	hadoop シェード protobuf を 3.21 にアップグレード
アップグレード	commons-cli を 1.5.0 にアップグレードする
アップグレード	commons-compress を 1.24.0 にアップグレードする
アップグレード	commons-io を 2.14.0 にアップグレードする
アップグレード	commons-lang3 を 3.21.0 にアップグレードする
改善点	HiveCLI で既存のセッションを使用しようとしているときに Tez セッションが開かれるのを待つ時間を 10 秒に変更する
改善点	LIMIT を使用した簡易選択クエリで Tez DAG のショートサーキットメカニズムを有効にする
改善点	HIVE-21100: TEZ エンジンと UNION 句の使用時に発生したテーブルサブディレクトリのフラット化を許可する
バグ修正	HIVE-25095: Beeline/hive -e コマンドは末尾の引用符でクエリを処理できない
バグ修正	HIVE-13781: パーティションディレクトリが存在しない場合、Tez ジョブが FileNotFoundException で失敗する
バグ修正	HIVE-28480: 以前の RS の結合ブランチ間でパーティションハッシュジェネレーターの SMB の不一致を無効にする

Amazon EMR 7.4.0 - 新しい設定

分類	名前	デフォルト	説明
hive-site	hive.ignore.failure.partition.dir.not.found	false	テーブルパーティションは存在するが、実際のオブジェクトストレージパスが存在しない場合、失敗を無視します。
hive-site	hive.tez.union.flatten.subdirectories	false	テーブルにデータを書き込み、UNION ALL がクエリの最後のステップである場合、Hive on Tez は UNION ALL の各ブランチにサブディレクトリを作成します。このプロパティを有効にすると、サブディレクトリが削除され、ファイルの名前が変更され、親ディレクトリに移動されます。hive.blobstore.use.output-committer が有効になっている場合、これは効果がないことに注意してください。