Amazon EMR 6.7.0 - Hive リリースノート - Amazon EMR

Amazon EMR 6.7.0 - Hive リリースノート

Amazon EMR 6.7.0 - Hive の変更点

説明
機能 Amazon EMR の Hive と LakeFormation の統合
機能 Hive EMRFS Amazon S3 最適化コミッター用の監査ログが追加されました。Hive 設定: hive.blobstore.output-committer.logging、デフォルト: false
機能 挿入時に削除されたターゲットディレクトリは、空の選択結果でパーティション化されていないテーブル/静的パーティションに上書きされ、Hive 2.x と同様に動作するようになりました。Hive 設定: hive.emr.iow.clean.target.dir、デフォルト: false
バグ Hive EMRFS Amazon S3 最適化コミッターをパーティションバケットソートで使用すると断続的に発生するクエリエラーを修正しました。
Upgrade Hive をバージョン 3.1.3 にアップグレードしました 詳細については、「Apache Hive 3.1.3 リリースノート」を参照してください。
Upgrade Parquet を 1.12.2 にアップグレードしました。
バックポート HIVE-20065: メタストアを jackson 1.x に依存することはできない
バックポート HIVE-20071: jackson 2.x に移行して使用を防止する
バックポート HIVE-20607: TxnHandler は直接 SQL クエリを実行するために PreparedStatement を使用する必要がある
バックポート HIVE-20740: ObjectStore.setConf メソッドのグローバルロックを削除
バックポート HIVE-20961: NVL の実装を廃止
バックポート HIVE-22059: hive-exec jar には (fasterxml) jackson ライブラリが含まれていない
バックポート HIVE-22351: TestObjectStore のスレッド化された ObjectStore の使用が正しくない問題を修正
バックポート HIVE-23534: メッセージなしで MetaException をキャッチしたときの RetryingMetaStoreClient#invoke の NPE
バックポート HIVE-24048: Jackson のコンポーネントをバージョン 2.10 の最新版 (Hive) に一致させる
バックポート HIVE-24768: バージョン交換にはどこでも jackson-bom を使用する
バックポート HIVE-24816: CVE-2020-25649 により、jackson を 2.10.5.1 または 2.11.0+ にアップグレードする
バックポート HIVE-25971: キャッシュされたスレッドプールが閉じられていないため、Tez タスクのシャットダウンが遅れる
バックポート HIVE-26036: ObjectStore の getMTable() が原因の NPE

Amazon EMR 6.7.0 - Hive の既知の問題

  • join と同じ列にウィンドウ関数があるクエリは、HIVE-25278 で報告されているように無効な変換を引き起こし、誤った結果やクエリ失敗の原因となることがあります。回避策は、このようなクエリのクエリレベルで CBO を無効にすることです。この修正は、6.7.0 以降の Amazon EMR リリースで利用できるようになります。詳細については、AWS サポートにお問い合わせください。

  • Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには常に 2 つのリデューサーがあります。この問題は、OSS が変更された HIVE-20703 が原因です。これにより、動的ソートパーティションの最適化がコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、hive.optimize.sort.dynamic.partition.threshold プロパティを -1 に設定して新機能を無効にし、リデューサーの数を正しく計算することをお勧めします。この問題は、HIVE-22269 の一部として OSS Hive で修正され、Amazon EMR 6.10.0 で修正されています。