Amazon EMR 6.9.0-Hive リリースノート - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 6.9.0-Hive リリースノート

Amazon EMR 6.9.0-ハイブの変更

説明
Upgrade Jetty をアップグレード20220622
Upgrade ハドゥープ 3.3.3 のサポート
機能 Amazon EMR Hive とレイクフォーメーションの統合により、GCSC API を使用したインタラクティブなワークロードが可能になります。
機能 Amazon EMR Hive と Iceberg の統合
改善 SSL を有効にするHiveServer2 いつ転送中の暗号化Amazon EMR のセキュリティ設定を使用して有効になっています。
改善 Hive EMRFS Amazon S3 最適化コミッターをデフォルトで有効にします。詳細については、「Hive EMRFS S3 最適化コミッターを有効にする」を参照してください。
改善 [追加]HiveHBaseTableInputFormatV2マップされたバージョンのみを継承しますInputFormat修正するスパーク-34210。セットhive.hbase.inputformat.v2trueそれを使うには。
改善 TeZamがバックグラウンドで起動するのを待ってくださいhive.cli.tez.session.asyncそれを終了してすぐに新しいものを起動する代わりに。使用hive.emr.cli.tez.session.open.timeoutこのタイムアウトを秒単位で設定します。
改善 オプションを追加hive.conf.stricted.list.appendカンマで区切られた設定を既存の制限付き設定リストに追加するにはhive.conf.restricted.list
改善 データベースのロケーションが定義されていないために Hive クエリが失敗したときのエラーメッセージがより明確になりました。
バックポート ハイブ-24484: Hadoopを3.3.1にアップグレードし、Tezを0.10.2にアップグレードしてください
バックポート ハイブ22398: 経由で YARN キュー管理を削除ShimLoader。
バックポート ハイブ-23190: LLAP: 変更IndexCacheファイルシステムオブジェクトを渡すにはTezSpillRecord。
バックポート ハイブ-22185: HADOOP-15832 を使用してテストを行うと、問題が発生します。MiniYarnクラスター。
バックポート ハイブ-21670: 交換mockito-allmockito-core依存。
バックポート ハイブ-24542: アップグレードに備えてグアバを準備してください。
バックポート ハイブ-23751: Qテスト:オーバーライド#mkdirs()メソッドインProxyFileSystemHADOOP-16582の後に位置合わせしてください。
バックポート ハイブ21603: Java 11 の準備:パワーモックのバージョンを更新します。
バックポート ハイブ-24083:hcatalogHadoop 3.3.0 のエラー:認証タイプが必要です。
バックポート ハイブ-24282: 特に明記されていない限り、列を表示して出力列をソートしないでください。
バックポート ハイブ-20656: 妥当なデフォルト:マップ集約メモリ構成がアグレッシブすぎる。
バックポート ハイブ-25443: 矢印SerDe1024 個を超える値がある場合、複雑なデータ型をシリアル化/逆シリアル化できない
バックポート ハイブ-19792: orc を 1.5.2 にアップグレードして decimal_64 スキーマのエボリューションテストを有効にしてください。
バックポート ハイブ-20437: 浮動小数点数、倍精度浮動小数点数、10進数からのスキーマの展開を処理します。
バックポート ハイブイ 1987: ハイブは 10 進数のアノテーションが付いた Parquet int32 を読み取ることができません。
バックポート ハイブ-20038: バケット化されていないテーブルや分割されたテーブルを更新クエリすると NPE がスローされます。

Amazon EMR 6.9.0-Hive の既知の問題点

  • Amazon EMR 6.6.0 から 6.9.x では、動的パーティションと ORDER BY 句または SORT BY 句を使用する INSERT クエリには、必ず 2 つのリデューサーが含まれます。この問題は OSS の変更が原因ですハイブ-20703これにより、動的ソートパーティションの最適化はコストベースの決定下に置かれます。ワークロードが動的パーティションのソートを必要としない場合は、hive.optimize.sort.dynamic.partition.thresholdプロパティへ-1新しい機能を無効にして、リデューサーの数を正しく計算してください。この問題は OSS Hive で次の一環として修正されていますハイブ-22269Amazon EMR 6.10.0 で修正されています。