Amazon EMR 6.7.0-ハイブリリースノート - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 6.7.0-ハイブリリースノート

Amazon EMR 6.7.0-ハイブの変更

説明
特徴 Amazon EMR Hive との統合 LakeFormation
特徴 Hive EMRFS Amazon S3 最適化コミッターの監査ログが追加されました。ハイブ設定:hive.blobstore.output-committer.logging、デフォルト:false
特徴 Hive 2.x と同様に動作するように、挿入時にターゲットディレクトリを削除し、選択結果を空にしてパーティション化されていないテーブル/静的パーティションに上書きしました。ハイブ設定:hive.emr.iow.clean.target.dir、デフォルト:false
バグ Hive EMRFS Amazon S3 最適化コミッターとパーティションバケットソートを使用する際の断続的なクエリ失敗を修正しました。
Upgrade Hive バージョン 3.1.3 にアップグレードされました。詳細については、Apache Hive 3.1.3 リリースノートを参照してください
Upgrade 寄木細工を 1.12.2 にアップグレードしました。
バックポート HIVE-20065: メタストアはジャクソン 1.x に頼るべきではない
バックポート HIVE-20071: ジャクソン 2.x に移行して使用を防ぐ
バックポート HIVE-20607: 直接 SQL TxnHandler PreparedStatement クエリを実行する場合に使用する必要があります
バックポート HIVE-20740: ObjectStore .setConf メソッドのグローバルロックを削除する
バックポート HIVE-20961: NVL 実装の廃止
バックポート HIVE-22059: ハイブ実行ジャーには (fasterxml) ジャクソンライブラリが含まれていません
バックポート HIVE-22351: ObjectStoreでの誤ったスレッド使用法を修正 TestObjectStore
バックポート HIVE-23534: MetaException メッセージなしでキャッチすると RetryingMetaStoreClient #invoke にNPEが表示されない
バックポート HIVE-24048: ジャクソンのコンポーネントをバージョン 2.10 にハーモナイズして最新版-Hive
バックポート HIVE-24768: バージョン交換にはどこでもjackson-bom を使う
バックポート HIVE-24816: CVE-2020-25649 により、ジャクソンを2.10.5.1または2.11.0+にアップグレードしてください
バックポート HIVE-25971:キャッシュされたスレッドプールが閉じられていないため、Tez タスクのシャットダウンが遅くなる
バックポート HIV-26036: の getMTable () が原因で発生した NPE ObjectStore

Amazon EMR 6.7.0-既知の問題

  • join と同じ列にウィンドウ関数を使用するクエリでは、HIVE-25278 で報告されているように変換が無効になり、結果が不正確になったり、クエリが失敗したりする可能性があります。回避策は、このようなクエリのクエリレベルで CBO を無効にすることです。この修正は、6.7.0 以降の Amazon EMR リリースで利用可能になる予定です。詳細については、AWSサポートにお問い合わせください。

  • Amazon EMR 6.6.0 ~ 6.9.0 では、動的パーティションと ORDER BY 句または SORT BY 句を使用した INSERT クエリには必ず 2 つのリデューサーがあります。この問題は、OSS の HIVE-20703 の変更、つまり動的なソートパーティションの最適化がコストベースの判断の対象となることが原因です。ワークロードで動的パーティションのソートが不要な場合は、hive.optimize.sort.dynamic.partition.threshold-1プロパティをに設定して新機能を無効にし、リデューサーの数を正しく計算することをおすすめします。この問題は HIVE-22269 の一部として OSS Hive で修正されており、今後の Amazon EMR リリースで利用できるようになる予定です。詳細については、AWSサポートにお問い合わせください。