Amazon EMR 6.8.0-Hive リリースノート

アマゾン EMR 6.8.0-ハイブの変更

型	説明
改善	msck コマンドのファイルシステムコールを減らします。パフォーマンスの向上 (10,000 以上のパーティションで約 15 ～ 20 倍)
バックポート	HIVE-20678: HiveOutputFormat 互換性を確保するには HiveHBaseTableOutputFormat を実装する必要があります
バックポート	HIVE-21040: msck がディレクトリツリーの最後のレベルで不要なファイル一覧を表示する
バックポート	HIVE-21460: データを読み込んでから select * クエリを実行すると、誤った結果になる
バックポート	HIVE-21660: すべてのビューとそれ以降のビューを結合して展開すると誤った結果になる
バックポート	HIVE-22505: ClassCastException ベクトル化された演算子の選択が間違っていることが原因
バックポート	HIVE-22513: フィルター操作での鋳造カラムの絶え間ない伝播により、誤った結果が生じる可能性がある
バックポート	HIVE-23435: 外部ジョインの結果全体に行が見つからない
バックポート	HIVE-24209: ベクトル化が有効になっている場合の NOT BETWEEN 操作の検索引数の変換が正しくない
バックポート	HIVE-24934: ジェネリック UDFSq VectorizedExpressions ではアノテーションは不要ですCountCheck
バックポート	HIVE-25278: HiveProjectJoinTransposeRule ウィンドウ式で無効な変換を行う可能性がある
バックポート	HIVE-25505: ヘッダーの結果が正しくありません。最初の行が空白の場合は、.header.line.count をスキップしてください
バックポート	HIVE-26080: アキュムロコアを 1.10.1 にアップグレード
バックポート	HIVE-26235: バイナリ列のOR条件が空の結果を返している
バグ	起動中にstderrの複数のSLF4Jバインディング警告ログを修正
バグ	パーティションとテーブルが異なるファイルシステムにあるときに、SHOW TABLE EXTENDED クエリが間違ったFSエラーで失敗する問題を修正しました。

Amazon EMR 6.8.0-Hive の既知の問題

• Amazon EMR 6.6.0 から 6.9.0 では、動的パーティションと ORDER BY 句または SORT BY 句を使用する INSERT クエリには、常に 2 つのリデューサーがあります。この問題は OSS の変更 HIVE-20703 が原因で、動的ソートパーティションの最適化はコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、hive.optimize.sort.dynamic.partition.threshold-1プロパティをに設定して新機能を無効にし、リデューサーの数を正しく計算することをおすすめします。この問題は、Hive で Hive で Hive で Hive で Hive で Hive で Hive で Hive で、Amazon EMR 6.6.0 で修正されています。