Amazon EMR 6.6.0-Hive リリースノート - Amazon EMR
Hive 変更設定変更既知の問題

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR 6.6.0-Hive リリースノート

アマゾン EMR 6.6.0-ハイブの変更

型 説明
Upgrade

Parquet 1.12.1 にアップグレードします。
Upgrade

ジェッティジャーのバージョンを 9.4.43.v20210629 にアップグレード
バグ Hive クラスターで LLAP が有効になっているときに、Hive がすべてのタスク/コアノードにインストールされる原因となっていた問題を修正しました。
バックポート HIVE-25942: CVE-2021-29425 が原因で commons-io を 2.8.0 にアップグレードしてください
バックポート HIVE-25726: CVE-2020-13936 によるベロシティの 2.3 へのアップグレード
バックポート HIVE-25680: #get_table_meta HiveMetastore サーバー API HiveMetastore が任意の認証モデルを使用するように認証します。
バックポート HIVE-25554: アローバージョンを 0.15 にアップグレード
バックポート HIVE-25242: ベクトル化された.adaptor = を選択すると、クエリの実行が非常に遅くなる
バックポート HIVE-25085: MetaStore クライアントはセッション間で共有されなくなりました。
バックポート HIVE-24827：Hive 集約クエリが非テキストファイルに対して誤った結果を返す。
バックポート HIVE-24683: Hadoop23のシムが、 getFileId 存在しないパスでNPEになりやすい
バックポート HIVE-24656: マップタイプと配列タイプが null のクエリで CBO が失敗する
バックポート HIVE-24556: DefaultGraphWalker 孫がいない場合に最適化
バックポート HIVE-24408: パーケットを 1.11.1 にアップグレード
バックポート HIVE-24391: ブランチ 3.1 TestOrcFile での修正エラーを修正しました
バックポート HIVE-24362: AST ツリー処理は、多数のノードを持つツリーには最適ではない
バックポート HIVE-24316: ブランチ 3.1 の ORC を 1.5.6 から 1.5.8 にアップグレードする
バックポート HIVE-24307: プロパティファイルと-e パラメータを指定したビーラインが失敗する
バックポート HIVE-24245：ベクトル化された PTF がカウントされ、パーティションが重複して生成される結果が正しくない。
バックポート HIVE-24224: Tez 上の Hive の圧縮ファイルでのヘッダー/フッターのスキップを修正
バックポート HIVE-24157: キャストタイムスタンプ ↔ 数値で失敗するストリクトモード
バックポート HIVE-24113: ジェネリック UDF の非推奨ポリカーボネートToUnixTimeStamp
バックポート HIVE-23987: アローバージョンを 0.11.0 にアップグレード
バックポート HIVE-23972: LLAP 外部クライアントに外部クライアント ID を追加
バックポート HIVE-23806: スキーマが拡張されている場合に備えて、すべてのパーティションのカラムの状態をクリアしないでください。これにより、alter table add columns ステートメントの実行時間が改善されます。
バックポート HIVE-23779: BasicStatsTask ビーラインコンソールに情報が印刷されない
バックポート HIVE-23306: System.getProperty によって設定されている構成があると、RESET コマンドが機能しない
バックポート HIVE-23164: デーモンスレッド以外のためにサーバーが正しく終了しない
バックポート HIVE-22967: Hive on Tez の hive.reloadable.aux.jars.path をSupport
バックポート HIVE-22934: エラーストリームへの Hive サーバーのインタラクティブログカウンター
バックポート HIVE-22901: 変数置換を行うと、循環参照でOOMが発生することがある
バックポート HIVE-22769: 圧縮テキストファイルの分割生成中にクエリ結果が正しくなく、クエリが失敗する
バックポート HIVE-22716: ByteBuffer 読み取りが妨げられている ParquetFooterInputFromCache
バックポート HIVE-22648: パーケットを 1.11.0 にアップグレード
バックポート HIVE-22640: 十進法64ColumnVector: ClassCastException パーティション列タイプが十進数の場合
バックポート HIVE-22621: 不安定なテストケース: TestLlapSignerImpl. テスト署名
バックポート HIVE-22533: LLAP デーモンのウェブ UI で発生する可能性があった脆弱性を修正
バックポート HIVE-22532: PTFPPDDenseRank がランク/ファンクションを通じてリミットを誤ってプッシュすることがある
バックポート HIVE-22514: HiveProtoLoggingHook 大量のメモリを消費する可能性があります
バックポート HIVE-22476: hive.fetch.task.convertionが「なし」に設定されていると、ハイブの日付差分関数に一貫性のない結果が表示される
バックポート HIVE-22429: ハイブ 3 の bucketing_version 1 を使用して移行されたクラスター化テーブルは、挿入に bucketing_version 2 を使用する
バックポート HIVE-22412: 説明するときに NPE StatsUtils を投げる
バックポート HIVE-22360: ロードされたファイルにテーブルスキーマの列よりも多くの列がある場合、 MultiDelimitSerDe 最後の列に間違った結果を返す
バックポート HIVE-22332: ORC-540 以降、ハイブはスキーマの展開設定が有効であることを確認する必要があります
バックポート HIVE-22331: 引数なしの unix_timestamp はタイムスタンプを秒単位ではなくミリ秒単位で返す
バックポート HIVE-2275: OperationManager。 queryIdOperation複数のクエリ ID を適切にクリーンアップしない
バックポート HIVE-22273: 一時ディレクトリを削除するとアクセスチェックが失敗する
バックポート HIVE-22270: コモンズ入出力を 2.6 にアップグレード
バックポート HIVE-22241: UDF を実装して、内部表現とグレゴリオ暦とユリウス暦のハイブリッドカレンダーを使用して日付/タイムスタンプを解釈する
バックポート HIVE-22241: UDF を実装して、内部表現とグレゴリオ暦とジュリアンのハイブリッドを使用して日付/タイムスタンプを解釈する
バックポート HIVE-22232: hive.order.columnalignment が false に設定されていると NPE
バックポート HIVE-22231：ノックス経由のサイズの大きい Hive クエリが壊れたパイプで失敗する（書き込み失敗）
バックポート HIVE-22221: 外部クライアントをラップする- LlapBaseInputFormat #getSplits を減らす必要がある
バックポート HIVE-22208: マスク列のあるテーブルへの結合を含むクエリが書き直されると、予約キーワードを含む列名がエスケープ解除される
バックポート HIVE-22197：共通マージジョインでクラスキャストが発生する例外が発生する。
バックポート HIVE-22170: from_unixtime と unix_timestamp にはユーザーセッションのタイムゾーンを使用する必要があります
バックポート HIVE-22169: テズ: SplitGenerator テズには存在しないプランファイルを探そうとする
バックポート HIVE-22168: LLAP キャッシュのホットパスから非常に高価なロギングを削除する
バックポート HIVE-22161: UDF: FunctionRegistry org.apache.Hadoop.Hive.ql.UDF.UDFTypeクラスと同期します
バックポート HIVE-22120:ArrayOutOfBound 特定の境界条件で左側の外部マップ結合で誤った結果/例外が発生する問題を修正
バックポート HIVE-22115: プロパティが false に設定されている場合、クエリルーティングアペンダーが作成されないようにする
バックポート HIVE-22113: AM レポーター関連の LLAP シャットダウンを防止する RuntimeException
バックポート HIVE-22106: パーティション評価のためのクロスクエリー同期を削除
バックポート HIVE-22099: HIVE-20007 以降、いくつかの日付関連の UDF がユリウス暦の日付を正しく処理できない
バックポート HIVE-22037: OOM が原因でシャットダウンすると HS2 がログに記録される必要がある
バックポート HIVE-21976: 方解石ではオフセットをゼロではなくヌルにする必要がある HiveSortLimit
バックポート HIVE-21924: ヘッダー/フッターが存在する場合でもテキストファイルを分割する
バックポート HIVE-21913: ジェネリック UDTF は LLAPGetSplits と同じ方法でユーザー名を処理する必要がある
バックポート HIVE-21905: FetchOperator クラス周辺のジェネリック医薬品の改良
バックポート HIVE-21902: HiveServer 2 UI: 桟橋のレスポンスヘッダーには X-Frame オプションが必要
バックポート HIVE-21888: hive.parquet.timestamp.skip.convertionのデフォルトをtrueに設定
バックポート HIVE-21868: キャストをベクター化... フォーマット
バックポート HIVE-21864: LlapBaseInputFormat #closeAll
バックポート HIVE-21863: WHEN エクスプレッションのベクタライザー型キャスティングの改善
バックポート HIVE-21862: ORC ppd がタイムスタンプ付きで間違った結果を生成する
バックポート HIVE-21846: TeZAM LlapDaemon で定期的にメトリクスを取得するスレッドを作成する
バックポート HIVE-21837: MapJoin 選択した列の値が完全に NULL である場合に例外が発生する
バックポート HIVE-21834: フィルター条件を簡略化するために不要な呼び出しを避ける
バックポート HIVE-21832: 平均キュー/サービング/応答時間を取得する新しいメトリック
バックポート HIVE-21827: SemanticAnalyzer getTableObjectByName 複数の呼び出しがメソッドを通過しない
バックポート HIVE-21822: 新しい API LlapDaemon メソッドを使用してメトリクスを公開する
バックポート HIVE-21818: CBO: TableRelOptHiveTable コピーにメタストアトラフィックがある
バックポート HIVE-21815: ORC ファイル内の統計情報が 2 回解析される
バックポート HIVE-21805: HiveServer 2: 高速な ShutdownHookManager API を使用する
バックポート HIVE-21799: NullPointerException DynamicPartitionPruningOptimization ジョインキーがアグリゲーションカラムにある場合
バックポート HIVE-21794: マテリアライズドビューパラメータをに追加 sqlStdAuthSafeVarNameRegexes
バックポート HIVE-21768: JDBC: 囲まれていない UNION クエリのデフォルトのユニオンプレフィックスを削除する
バックポート HIVE-21746: CBO を無効にした状態で、 ArrayIndexOutOfBoundsException動的に分割されたハッシュ結合中
バックポート HIVE-21717：移動タスクでディレクトリの名前を変更できない。
バックポート HIVE-21685: 複数の IN 句を含むクエリの簡略化が間違っている
バックポート HIVE-21681: 複数の主キーの情報が正しく表示されない
バックポート HIVE-21651: プロトバグサーバーをハイブエクセックに移動する。
バックポート HIVE-21619: SQL 説明拡張でタイムスタンプタイプを精度なしで出力する
バックポート HIVE-21592: OptimizedSql エクスプレッションに CONCAT が含まれている場合は表示されません
バックポート HIVE-21576: CAST... フォーマットの紹介と SQL: 2016 日時フォーマットの限定リスト
バックポート HIVE-21573: 認証が DelegationToken に設定されている場合、バイナリトランスポートはプリンシパルを無視する
バックポート HIVE-21550: TestObjectStore テストが不安定だ-要求された時間内にロックを取得できなかった
バックポート HIVE-21544: 一定の伝播により折り畳み中の合体式/ケース式/場合式が壊れる
バックポート HIVE-21539: GroupBy + 同じ列のWHERE句を使用すると、クエリの書き換えが不正確になる
バックポート HIVE-21538: Beeline: コンソールリーダーが接続パラメータに渡されなかったのにパスワードソース
バックポート HIVE-21509: LLAP が破損した列ベクトルをキャッシュし、間違ったクエリ結果を返すことがある
バックポート HIVE-21499: create コマンドが失敗した場合は、レジストリから関数を削除しないでください AlreadyExistsException
バックポート HIVE-21496: 順序付けされていないバッファの自動サイズ設定がオーバーフローすることがある
バックポート HIVE-21468: JDBC ストレージハンドラーの識別子名の大文字と小文字の区別
バックポート HIVE-21467: 廃止予定の JUnit.Framework.Assert インポートを削除
バックポート HIVE-21435: ビルド中に TASK_ATPT_ID LlapBaseInputFormat 設定からタスク番号を取得する必要があります (存在する場合) SubmitWorkRequestProto
バックポート HIVE-21389: HIVE-21247 の実行後に Hive ディストリビューションが javax.ws.rs-api.jar エラーになる
バックポート HIVE-21385: JDBC ソースへの分割不可能な計算のプッシュダウンを無効にできるようにする
バックポート HIVE-21383: JDBC ストレージハンドラー:指定されている場合、カタログとスキーマを使用してテーブルを取得します
バックポート HIVE-21382: キーによるグループ削減の最適化-クエリ23でキーが削減されない
バックポート HIVE-21362: protobuf ファイルから読み込むための入力フォーマットとサーバーを追加します。
バックポート HIVE-21340: CBO: キー以外のカラムが入力されないようにする SemiJoin
バックポート HIVE-21332: ロックされているバッファの代わりにロックされていないバッファを削除する
バックポート HIVE-21329: オペレーターパイプラインに依存するカスタム Tez ランタイムの出力バッファーサイズの順序なし
バックポート HIVE-21295: StorageHandler ハイブ規則を使用して日付を文字列に変換する必要があります
バックポート HIVE-21294: ベクトル化:1-リデューサーシャッフルはオブジェクトハッシュ関数をスキップできる
バックポート HIVE-21255: QueryConditionBuilder 削除する JdbcStorageHandler
バックポート HIVE-21253: JDBC で DB2 をSupport StorageHandler
バックポート HIVE-21232: LLAP: キャッシュミスが発生しやすいスプリットアフィニティプロバイダーを追加
バックポート HIVE-21214 MoveTask : ファイルの重複排除には、ファイルサイズの代わりに AmptID を使用する compareTempOrDuplicateFiles
バックポート HIVE-21184: 費用情報を含む「説明して説明する」フォーマットの CBO プランを追加
バックポート HIVE-21182: 計画中にハイブスクラッチディレクトリのセットアップをスキップする
バックポート HIVE-21171: RPC がオンの場合、お茶用のスクラッチダイの作成をスキップする
バックポート HIVE-21126: LlapBaseInputFormat #getSplit でセッションレベルのクエリを許可する
バックポート HIVE-21107: 動的に分割されたハッシュ結合中に「フィールドが見つかりません」エラー
バックポート HIVE-21061: IllegalStateException ソースが空の場合、CTAS クエリが失敗する
バックポート HIVE-21041: NPE、 ParseException 論理プランからスキーマを取得する際の問題
バックポート HIVE-21013 JdbcStorageHandler : オラクルのパーティション列が見つかりません
バックポート HIVE-21006: SharedWorkOptimizer 再利用の機会がある場合はセミジョインを削除するように拡張する
バックポート HIVE-20992: コンフィグ hive.metastore.dbaccess.ssl.properties をより意味のあるコンフィグに分割する
バックポート HIVE-20989: JDBC- GetOperationStatus + ログがスリープによってクエリの進行をブロックすることがある
バックポート HIVE-20988: 複数の列に主キーがあるグループ別クエリの結果が間違っている
バックポート HIVE-20985: 選択演算子の入力が一時的な列の場合、ベクトル化によりその一部が出力として再利用される可能性がある
バックポート HIVE-20978:「hive.jdbc.*」を追加する必要があります sqlStdAuthSafeVarNameRegexes
バックポート HIVE-20953: 作成時にメタストアに追加できない場合、関数レジストリから関数を削除する。
バックポート HIVE-20952: VectorizationContext .java のクリーニング
バックポート HIVE-20951: LLAP: Xms を常に 50% に設定する
バックポート HIVE-20949: フィジカルプランニングにおけるPKFKカーディナリティ推定の改善
バックポート HIVE-20944: クエリのコンパイル中に統計情報を検証しない
バックポート HIVE-20940: カルサイトのタイプ解像度が Hive よりも厳しいブリッジケース
バックポート HIVE-20937: Postgres の JDBC クエリが「リミットが負であってはならない」と表示されて失敗する
バックポート HIVE-20926：ブルームフィルターのエントリが多い場合や統計情報がない場合に、セミジョインリダクションのヒントが失敗する
バックポート HIVE-20920: SQL 制約を使用して結合順序変更アルゴリズムを改善する
バックポート HIVE-20918: Calcite から JDBC 接続への計算のプッシュダウンを有効/無効にするフラグ
バックポート HIVE-20915: HOとMRが動的ソートパーティション最適化を利用できるようにする
バックポート HIVE-20910: 動的パーティションソートの最適化により、バケットテーブルへの挿入が失敗する
バックポート HIVE-20899: LLAP YARN サービスのキータブ URI は HDFS のみをサポートするように制限されています
バックポート HIVE-20898: 時間関連関数の場合、引数を NULL 不可の型にキャストできない
バックポート HIVE-20881: 一定の伝播は投影を単純化しすぎている
バックポート HIVE-20880: hive.stats.filter.in.min.ratio のデフォルト値を更新
バックポート HIVE-20873: VectorHashKeyWrapperTwoLong ハッシュ衝突を減らすためにマーマーハッシュを使う
バックポート HIVE-20868： TezDummyOperator 子オペレーションがあると SMB ジョインが断続的に失敗する getFinalOp MapRecordProcessor
バックポート HIVE-20853: ShuffleHandler .registerDAG をラップデーモン API に公開する
バックポート HIVE-20850: 可能であればケース条件付きを投影表からディメンションテーブルにプッシュする
バックポート HIVE-20842: HIVE-20660 で導入された、グループ別の統計情報を推定するロジックを修正
バックポート HIVE-20839: 動的に分割されたハッシュ結合中に「フィールドが見つかりません」エラーが発生する
バックポート HIVE-20835: 制約と MV 書き換えの相互作用により、方解石プランナーでループが発生することがある
バックポート HIVE-20834: SemanticAnalyzer キャッシュされたクエリを参照している Hive QueryResultCache エントリ
バックポート HIVE-20830: JdbcStorageHandler レンジクエリーのアサーションが失敗する場合がある
バックポート HIVE-20829: JdbcStorageHandler レンジスプリットスローでNPE
バックポート HIVE-20827: 空の配列の結果に一貫性がない
バックポート HIVE-20826: HiveSemiJoin 左側のジョイン+グループを左側のセミジョインに変換するルールを強化
バックポート HIVE-20821: SUM0 を SUM + COALESCE の組み合わせに書き換える
バックポート HIVE-20815: JdbcRecordReader .next は例外を食べてはいけない
バックポート HIVE-20813: udf to_epoch_milli はタイムゾーンなしのタイムスタンプもサポートする必要があります。
バックポート HIVE-20804: 制約付き最適化によるグループ化のさらなる改善
バックポート HIVE-20792: ゾーンを含むタイムスタンプを挿入するとデータが切り捨てられる
バックポート HIVE-20788: フィルター作成時に拡張された SJ リダクションが列を誤ってバックトラックすることがある
バックポート HIVE-20778：プラン内のすべての結合が相関解除ロジックによって作成されている場合、結合の順序変更がトリガーされないことがある
バックポート HIVE-20772: LLAP にタスクごとの CPU カウンタを記録する
バックポート HIVE-20768: タンブリングウィンドウ UDF の追加
バックポート HIVE-20767: 結合演算子間の複数のプロジェクトが、制約を使用する結合の順序変更に影響することがある
バックポート HIVE-20762: NOTIFICATION_LOG のクリーンアップ間隔が 60 秒とハードコードされており、小さすぎます
バックポート HIVE-20761: notification_sequence テーブルに再試行間隔があり、再試行回数が少なすぎる場合に、更新対象として選択する
バックポート HIVE-20751: アローバージョンを 0.10.0 にアップグレード
バックポート HIVE-20746: HiveProtoHookLogger 1 日の終わりにファイルを閉じない。
バックポート HIVE-20744: SQL 制約を使用して結合順序変更アルゴリズムを改善する
バックポート HIVE-20740: ObjectStore .setConf メソッドのグローバルロックを解除します。このチェリーピックは Hive 3.2 および 4.x 用の HIVE-20740 を 3.1.x にバックポートします
バックポート HIVE-20734: Beeline: beeline-site.xml がそうで Hive CLI が beeline にリダイレクトすると、システムユーザー名/ダミーパスワードの入力を求めるのではなく、システムユーザー名/ダミーパスワードを使用する必要があります
バックポート HIVE-20731: JdbcStorageHandler キーストアファイルを認証する必要があります
バックポート HIVE-20720: JDBC ハンドラーにパーティション列オプションを追加
バックポート HIVE-20719：hive.optimize.sort.dynamic.partition の最適化とベクトル化がオンになっていると、更新後に SELECT ステートメントが失敗する
バックポート HIVE-20718: コンストレイント付きのパフォーマンス CLI ドライバーを追加
バックポート HIVE-20716: hive.cbo.stats.correlated.multi.key.joins のデフォルト値を true に設定
バックポート HIVE-20712: HivePointLookupOptimizer ディープケースを抽出する必要があります
バックポート HIVE-20710: 定数を折りたたむと、型がないと NULL 定数が作成されない
バックポート HIVE-20706: external_jdbc_table2.q が断続的に失敗する
バックポート HIVE-20704: HivePreFilteringRule 他の機能をサポートするように拡張する
バックポート HIVE-20703: 動的ソートパーティションの最適化をコストベースの決定下に置く
バックポート HIVE-20702: マップ/ジョイン選択時のデータ構造を考慮した推定によるオーバーヘッドを考慮に入れる
バックポート HIVE-20692: NOT x IS (NOT) [TRUE|FALSE] 式の折りたたみを有効にする
バックポート HIVE-20691: org.apache.hadoop.hive.cli を修正しました。 TestMiniLlapCliDriver。 testCliDriver[cttl]
バックポート HIVE-20682: 共有セッション Hive がマスタースレッドによって閉じられると、非同期クエリの実行が失敗することがある
バックポート HIVE-20676: HiveServer 2: PrivilegeSynchronizer デーモンステータスに設定されていません
バックポート HIVE-20660: 行の総数をソーステーブルに制限することで、統計によるグループ化の推定を改善できる
バックポート HIVE-20652:2 つの異なるデータソースを jdbc JdbcStorageHandler ドライバーにプッシュジョインする
バックポート HIVE-20651: JdbcStorageHandler パスワードは暗号化する必要があります
バックポート HIVE-20649: オークライター向けの LLAP 対応メモリマネージャー
バックポート HIVE-20648: LLAP: オペレータ別のベクトルグループでは、エグゼキュータごとにメモリを使用する必要があります
バックポート HIVE-20646: IS NOT NULL の場合、パーティションフィルター条件がメタストアクエリにプッシュされない
バックポート HIVE-20644: Hive ランタイムの例外による機密情報の公開を避ける
バックポート HIVE-20636: 外部結合後のヌル値数の推定を改善
バックポート HIVE-20632: クエリされたテーブルにマテリアライズドビューが作成されると、get_splits UDF によるクエリが失敗する
バックポート HIVE-20627: LockException 同時実行の非同期クエリが断続的に失敗し、メモリリークが発生する
バックポート HIVE-20623: 共有作業:LLAP のマップ結合キャッシュエントリの共有を拡張
バックポート HIVE-20619: MultiDelimitSerDe デフォルトで HiveServer 2 つに含める
バックポート HIVE-20618: バケット化されていないテーブルでは、 BucketMapJoin結合時に選択が選択される場合がある
バックポート HIVE-20617: IN 式の定数の型が正しい型になるように修正しました
バックポート HIVE-20612: CBO 用の新しい結合マルチキー相関フラグを作成する
バックポート HIVE-20603: テーブルロケーションファイルシステムを変更した後にパーティションに挿入すると「間違ったFS」エラーが発生する
バックポート HIVE-20601: の ALTER_PARTITION EnvironmentContext イベントが NULL DbNotificationListener
バックポート HIVE-20583: ケルベロスの認証にのみ正規のホスト名を使用する HiveConnection
バックポート HIVE-20582: ハイブプロトロギングの hflush を設定可能にする
バックポート HIVE-20563: ベクトル化:THEN/ELSE タイプと結果タイプが異なる場合にエクスプレッションが失敗するケース
バックポート HIVE-20558: hive.hashtable.key.count.adjustmentのデフォルトを0.99に変更
バックポート HIVE-20552: LogicalPlan スキーマをより速く取得する
バックポート HIVE-20550: ビーラインを使用してハイブクエリを送信するように WebHCat を切り替える
バックポート HIVE-20537: CBO と Hive で異なる相関関係のない列と複数列が推定値を結合する
バックポート HIVE-20524: Hive バージョン 2 からバージョン 3 に移行すると、ALTER TABLE VARCHAR から DECIMAL へのスキーマの進化チェックが壊れる
バックポート HIVE-20522: フィールドに NULL HiveFilterSetOpTransposeRule 値を入力できないためにアサーションエラーが発生することがある
バックポート HIVE-20521: HS2 DOAS=True には hadoop.tmp.dir、MR と S3A ファイルシステムのパーミッションの問題があります
バックポート HIVE-20515: 結果キャッシュとクエリ一時ディレクトリ、結果キャッシュディレクトリを異なるファイルシステムで使用すると、クエリ結果が空になる
バックポート HIVE-20508: Hive は「user @realm」タイプのユーザー名をサポートしていません
バックポート HIVE-20507: Beeline: beeline-site.xml からすべての URI を取得するユーティリティコマンドを追加
バックポート HIVE-20505: org.openjdk.jmh: jmh-core を 1.21 にアップグレード
バックポート HIVE-20503: マップ結合選択時にデータ構造を考慮した推定を使用する
バックポート HIVE-20498: 列統計情報の自動収集の日付タイプをSupport
バックポート HIVE-20496: ベクトル化:ベクトル化された PTF IllegalStateException
バックポート HIVE-20494: HIVE-19440 の後にジェネリック UDFRestrictInformationSchema が壊れた
バックポート HIVE-20477: OptimizedSql エクスプレッションにインが含まれている場合は表示されません
バックポート HIVE-20467: リソースプランの作成/削除時に存在しない場合は許可する/存在する場合は許可する
バックポート HIVE-20462: ビューが既に存在する場合、「存在しない場合はビューを作成」が失敗する
バックポート HIVE-20455: セキュリティ認証からログが流出する。 PrivilegeSynchonizerrun
バックポート HIVE-20439: LLAP のジョイン選択時に膨らんだメモリ制限を使用する
バックポート HIVE-20433: 暗黙の文字列からタイムスタンプへの変換が遅い
バックポート HIVE-20432: 統計情報推定用の整数型の BETWEEN を IN に書き換える
バックポート HIVE-20423: ヌル配列をデフォルトのヌル順序として最後に設定する
バックポート HIVE-20418：列が選択されていないクエリで行インデックスが無効になっている ORC ファイルが LLAP IO で正しく処理されないことがある
バックポート HIVE-20412: NPE ピン HiveMetaHook
バックポート HIVE-20406: ネストコアレスの結果が正しくない
バックポート HIVE-20399：完全修飾されていないカスタムテーブルロケーションのCTAS が MM テーブルで失敗する
バックポート HIVE-20393: セミジョインリダクション: markSemiJoinDPP の動作に一貫性がない
バックポート HIVE-20391: 集計関数を分解するときに、 HiveAggregateReduceFunctionsRule間違った戻り値の型を推測することがある
バックポート HIVE-20383: Hive プロトイベントフックのキュー名が無効で、同期の問題が発生する。
バックポート HIVE-20367: ベクトル化:PTF 平均値、最大値、最小値、合計値のストリーミングをSupport
バックポート HIVE-20366: TPC-DS クエリ 78 の統計情報が、そのフィルタがヌルである場合の推定値がずれている
バックポート HIVE-20364: hive.map.aggr.hash.min.reductionのデフォルトを更新
バックポート HIVE-20352: ベクトル化:グループ化機能をSupport
バックポート HIVE-20347: hive.optimize.sort.dynamic.partition はパーティション化された CTAS と MV で動作するはずです
バックポート HIVE-20345: 別の呼び出しでテーブルが削除されると、ドロップデータベースがハングアップすることがある
バックポート HIVE-20343: ハイブ 3: CTAS はトランザクションプロパティを尊重しない
バックポート HIVE-20340: タイムスタンプ関数の出力を文字列として使用する場合、ドルイドはタイムスタンプから文字列への明示的なキャストが必要
バックポート HIVE-20339：ベクトル化：不要な制限を解除すると、RANKを含む一部のPTFがベクトル化されなくなる
バックポート HIVE-20337 CachedStore: getPartitionsBy Expr がパーティションリストに正しくデータを入力していない
バックポート HIVE-20336: マテリアライズドビューのマスキングおよびフィルタリングポリシー
バックポート HIVE-20326: [リプライなし] の代わりに [リプライする] をデフォルトとして制約を作成する
バックポート HIVE-20321: ベクトル化:1 VectorHashKeyWrapper 列のメモリサイズを 1 未満に削減 CacheLine
バックポート HIVE-20320: hive.optimize.remove.sq_count_check フラグをオンにする
バックポート HIVE-20315: ベクトル化:NULL /間違った結果の問題をより多く修正し、不必要なキャスト/変換を回避
バックポート HIVE-20314: マテリアライズドビューの書き換えにパーティションプルーニングを含める
バックポート HIVE-20312: BufferAllocator アロークライアントが独自のものを使用できるようにする LlapOutputFormatService
バックポート HIVE-20302: LLAP: IO での非ベクトル化実行では、ROW__ID を含む仮想列が無視される
バックポート HIVE-20300: VectorFileSinkArrowOperator
バックポート HIVE-20299: LLAP シグナーユニットテストにおける競合の可能性
バックポート HIVE-20296: HivePointLookupOptimizerRule より高度なコンテキストから抽出できるように改良
バックポート HIVE-20294: ベクトル化:合体/ELT で NULL /間違った結果になる問題を修正しました
バックポート HIVE-20292: プライマリ制約が定義されている tpcds クエリ93 のジョインの順序が正しくありません
バックポート HIVE-20290: 遅延初期化により ArrowColumnarBatchSerDe 、実行中にバッファが割り当てられなくなる GetSplits
バックポート HIVE-20281:「オペレータキャッシュの内容と実際のプランが異なる」 SharedWorkOptimizer と表示されて失敗する
バックポート HIVE-20277: ベクトル化:ブール値を返すケース式は FILTER ではサポートされていません
バックポート HIVE-20267: ログレベルを動的に構成するフォームを含むように WebUI を拡張する
バックポート HIVE-20263: HiveReduceExpressionsWithStatsRule 変数のタイプミス
バックポート HIVE-20260: 行数が別の列のフィルターによって変更された場合、列の NDV をスケーリングしてはいけない
バックポート HIVE-20252：セミジョインリダクション：小さなテーブルサイドの上流にマップジョインがあると、セミジョインブランチによるサイクルが検出されないままになることがある。
バックポート HIVE-20245: ベクトル化:入力の間に NULL /間違った結果になる問題を修正
バックポート HIVE-20241: CTAS ステートメントのパーティショニング仕様をSupport
バックポート HIVE-20240: セミジョインリダクション:ローカル変数を使用して外部テーブルの状態をチェックする
バックポート HIVE-20226: リクエストの最大イベント数がテーブルの max_rows を超えると、HMS getNextNotification が例外をスローする
バックポート HIVE-20225: SerDe テラデータバイナリ形式をサポートするには
バックポート HIVE-20213: カルサイトを 1.17.0 にアップグレード
バックポート HIVE-20212: HTTP モードの Hiveserver2 がメトリックのデフォルト.general.open_Connections を誤って出力する
バックポート HIVE-20210: パーティション以外の列でフィルター処理を行い、 MapReduce 変換が最小限の場合、簡易フェッチオプティマイザーが起動するはずです
バックポート HIVE-20209: 返信ダンプを初めて試みたときにメタストア接続が失敗する
バックポート HIVE-20207: ベクトル化:フィルター/比較での NULL /間違った結果の問題を修正しました
バックポート HIVE-20204: 入力中のタイプ変換
バックポート HIVE-20203: SerDe 矢印が漏れる DirectByteBuffer
バックポート HIVE-20197: ベクトル化:DECIMAL_64 テストの追加、日付/間隔/タイムスタンプ演算の追加、集計によるグループ化の追加
バックポート HIVE-20193: cboInfoが説明プランjsonに存在しない
バックポート HIVE-20192: メタストアが埋め込まれた HS2 が JDOPersistenceManager オブジェクトをリークしている
バックポート HIVE-20183: ソーステーブルに空のバケットが含まれている場合、バケットテーブルから挿入するとデータが失われる可能性がある
バックポート HIVE-20177: ベクトル化: KeyWrapper GroupBy ストリーミングモードでの割り当てを減らす
バックポート HIVE-20174: ベクトル化:GROUP BY 集計関数で発生する NULL /間違った結果の問題を修正しました
バックポート HIVE-20172: リモートメタストアに接続しようとしたときに GSS StatsUpdater 例外が発生して失敗しました
バックポート HIVE-20153: UDF のカウントと合計が Hive 2 以降でより多くのメモリを消費する
バックポート HIVE-20152: repl ダンプが失敗したときにデータベースの状態をリセットして、テーブルの名前を変更できるようにする
バックポート HIVE-20149: TestHiveCli フェイル/タイムアウト
バックポート HIVE-20130: 情報スキーマシンクロナイザーのロギングの改善
バックポート HIVE-20129: Orc テーブルの位置ベースのスキーマ展開に戻す
バックポート HIVE-20118: SessionStateUserAuthenticator。 getGroupNames
バックポート HIVE-20116: TezTask ペアレントロガーを使用しています
バックポート HIVE-20115: ACID テーブルは分析にフッタースキャンを使用すべきではない
バックポート HIVE-20103: WM: DAG カウンタが 1 つ以上使用されている場合のみ集約する
バックポート HIVE-20101: ブルームクフィルター:ローカルバイト [] 配列を完全に使用しないでください
バックポート HIVE-20100 OpTraits : 不一致が検出されると、Optraitsの選択が停止するはずです
バックポート HIVE-20098: 統計情報:日付列のパーティション統計を取得する際の NPE
バックポート HIVE-20095: 計算を jdbc 外部テーブルにプッシュする機能を修正
バックポート HIVE-20093: LlapOutputFomatService: ArrowBuf アカウンティングにネティと一緒に使う
バックポート HIVE-20090: セミジョインリダクションフィルターの作成を拡張して、新しい機会を発見できるようにする
バックポート HIVE-20088: ビーラインコンフィグのロケーションパスが正しく組み立てられない
バックポート HIVE-20082: HiveDecimal 文字列への変換で十進数が正しくフォーマットされない
バックポート HIVE-20069: DPP およびセミジョイン最適化の場合の再最適化を修正
バックポート HIVE-20051: テンポラリテーブルの認証をスキップする
バックポート HIVE-20044: アロー・セルデは文字値をパディングし、空の文字列を正しく処理する必要がある
バックポート HIVE-20028: メタストアクライアントのキャッシュ構成が誤って使用される
バックポート HIVE-20025: によって作成されたイベントファイルのクリーンアップ HiveProtoLoggingHook
バックポート HIVE-20020: ハイブ投稿ジャーはライブラリにあるべきではない
バックポート HIVE-20013: to_date 関数の日付タイプに暗黙的なキャストを追加
バックポート HIVE-20011: プロトロギングフックの追加モードから離れる
バックポート HIVE-20005: acid_table_stats、acid_no_buckets など-ブランチでのクエリ結果の変更
バックポート HIVE-20004: ConvertDecimal 64 で間違ったスケールを使用すると、ToDecimal 結果が不正確になる
バックポート HIVE-19995: アシッドテーブルの行トラフィックを集約する
バックポート HIVE-19993: 列名としても表示されるテーブルエイリアスを使用できない
バックポート HIVE-19992: ベクター化:HIVE-19951 に続く--> 呼び出しを追加 SchemaEvolution isOnlyImplicitデータ型変換が暗黙的でない場合にのみORCのエンコードされたLLAP I/Oを無効にする変換
バックポート HIVE-19989: メタストアが HADOOP2 メトリクスに間違ったアプリケーション名を使用する
バックポート HIVE-19981: HiveStrictManagedMigration ユーティリティによって外部テーブルに変換された管理テーブルは、テーブルが削除されたときにデータを削除するように設定する必要があります
バックポート HIVE-19967: SMB ジョイン:GBY オペレーション用の PTF オペレータにはポートレイトが必要
バックポート HIVE-19935: Hive WM セッションが強制終了されました:LLAP タスク数の更新に失敗しました
バックポート HIVE-19924: リプレロードによって実行される distcp ジョブにタグを付ける
バックポート HIVE-19891: カスタムパーティションディレクトリを含む外部テーブルに挿入すると、データが失われる可能性がある
バックポート HIVE-19850: Tez の動的パーティションプルーニングにより「テーブルスキャンの作業が見つかりません」というエラーが発生する
バックポート HIVE-19806: テスト結果が不安定にならないように qtest の出力をソートする
バックポート HIVE-19770: 選択時に同じ列が複数あるクエリの CBO のSupport
バックポート HIVE-19769: データベース名とテーブル名専用のオブジェクトを作成する
バックポート HIVE-19765: パーケット固有のテストをに追加 BlobstoreCliDriver
バックポート HIVE-19759: フレークテスト: TestRpc#testServerPort
バックポート HIVE-19711: ハイブスキーマツールをリファクタリングする
バックポート HIVE-19701: getDelegationTokenFromMetaStore 同期させる必要はありません
バックポート HIVE-19694: マテリアライズドビューの作成ステートメントは、MV の SQL ステートメントを実行する前に MV 名の競合をチェックする必要があります。
バックポート HIVE-19674: 十進定数によるグループ化がドルイドテーブルにプッシュダウン
バックポート HIVE-19668: org.antlr.runtime の重複によってヒープの 30% 以上が無駄になっています。 CommonTokenと重複文字列
バックポート HIVE-19663: LLAP 入出力レポート生成をリファクタリングする
バックポート HIVE-19661: Re2J 正規表現エンジンを使用するように Hive ユーザー定義ファイルを切り替える
バックポート HIVE-19628: LLAP テスト署名で NPE が発生する可能性がある
バックポート HIVE-19568: アクティブ/パッシブ HS2 HA: パッシブ HS2 インスタンスへの直接接続を禁止する
バックポート HIVE-19564: ベクトル化:算術演算で NULL /間違った結果になる問題を修正しました
バックポート HIVE-19552: TestMiniDruidKafkaCliDriver #druidkafkamini_basic .q を有効にする
バックポート HIVE-19432: GetTablesOperation ハイブのデータベースとテーブルが多すぎると遅すぎる
バックポート HIVE-19360: CBO: QueryPlan オブジェクトに「最適化された SQL」を追加
バックポート HIVE-19326: 統計情報のauto 収集:UNION クエリ中の集計が正しくない
バックポート HIVE-19313: TestJdbcWithTokenStoreNoDoAs データベーステストが失敗している
バックポート HIVE-19285: ログをのサブクラスに追加する MetaDataOperation
バックポート HIVE-19235: ミニマーテスト用のゴールデンファイルの更新
バックポート HIVE-19104: 再試行でテストを開始すると、 MetaStore インスタンスは独立しているはずです
バックポート HIVE-18986: テーブルの名前を変更すると java.lang が実行されます。 StackOverflowError テーブルに多数の列が含まれている場合は DataNucleus で
バックポート HIVE-18920: CBO: 最初のクエリの前にジャニーノプロバイダーを初期化する
バックポート HIVE-18873: で MR HiveInputFormat の述語プッシュダウンをサイレントにスキップすると、ストレージハンドラーが誤った結果を生成することがある
バックポート HIVE-18871: hive.aux.jars.path を hdfs://に設定したためにハイブオンテズ実行エラーが発生する
バックポート HIVE-18725: 間違った列参照がある場合のサブクエリのエラー処理を改善
バックポート HIVE-18696: 次の場合、 HiveMetaStore .add_partitions_core メソッドでパーティションフォルダーが正しくクリーンアップされないことがある
バックポート HIVE-18453: ACID:「トランザクションテーブルの作成」構文を追加して ACID ORC と Parquet のサポートを統一する
バックポート HIVE-18201: sq_count_chec の XPROD_EDGE を無効にする
バックポート HIVE-18140: 基本的な統計情報が混在するケースでは、分割テーブルの統計がおかしくなる
バックポート HIVE-17921: LLAP の構造体による集約が誤った結果になる
バックポート HIVE-17896: TopNKey: スタンドアロンのベクトル化可能な TopN キー演算子を作成する
バックポート HIVE-17840: HiveMetaStore TransactionalListeners.notifyEvent が失敗すると例外が発生する
バックポート HIVE-17043: 後で参照されない場合、一意でない列をキーごとにグループから削除する
バックポート HIVE-17040: FKリレーションシップが存在する場合のジョインエリミネーション
バックポート HIVE-16839: 同じパーティションを同時に変更すると、オープントランザクション/コミットトランザクションへの呼び出しが不均衡になる
バックポート HIVE-16100: 動的ソートパーティションオプティマイザーが兄弟演算子を失う
バックポート HIVE-15956: StackOverflowError たくさんのパーティションをドロップするとき
バックポート HIVE-15177: Kerberos 認証タイプが FromSubject に設定されていて、プリンシパルに _HOST が含まれていると、ハイブによる認証が失敗する
バックポート HIVE-14898: HS2 は空の認証ヘッダーエラーのコールスタックをログに記録すべきではない
バックポート HIVE-14493: マテリアライズドビューのパーティショニングサポート
バックポート HIVE-14431: コアレスをケースとして認識する
バックポート HIVE-13457: 情報を監視するための HS2 REST API エンドポイントを作成する
バックポート HIVE-12342: hive.optimize.index.filter のデフォルト値を true に設定
バックポート HIVE-10296: Hive がメタストアでマルチジョインクエリを実行すると、キャスト例外が発生する
バックポート HIVE-6980: ダイレクト SQL を使用してテーブルをドロップする

Amazon EMR 6.6.0-ハイブ設定の変更

  • OSS の変更の一環として、動的パーティションをソートするプロパティである HIVE-20703 がに置き換えられましたhive.optimize.sort.dynamic.partition.threshold。hive.optimize.sort.dynamic.partition

    hive.optimize.sort.dynamic.partition.thresholdこの構成には次の潜在的な値があります。

    値 説明

    0

    (デフォルト)

    ORC ファイルを使用する場合に、動的パーティションをソートするための最適化をコストベースの決定にします。INSERT クエリで許可される最大ライター数は、(エグゼキューター/コンテナメモリ) * (orc が使用するメモリの割合) を 1 人のライターが使用する最大メモリ (ストライプサイズ) で割った値に基づいて計算されます。

    -1

    動的パーティションを完全にソートするための最適化を無効にします。

    1

    動的パーティションのグローバルソートを有効にします。これにより、リデューサー内の各パーティション値に対してオープンなレコードライターが 1 つだけになり、レデューサーのメモリ負荷が軽減されます。

    2

    (またはそれ以上の整数)

    指定された整数を最大ライター数のしきい値として使用するように Hive に指示します。

Amazon EMR 6.6.0-Hive の既知の問題

  • join と同じ列にウィンドウ関数を使用するクエリを実行すると、HIVE-25278 で報告されているように変換が無効になり、結果が不正確になったり、クエリが失敗したりする可能性があります。回避策として、このようなクエリのクエリレベルで CBO を無効にできます。詳細については、AWSサポートにお問い合わせください。

  • Amazon EMR 6.0 には、Hive ソフトウェアバージョン 3.1.2 が含まれています。Hive 3.1.2 では、ヘッダーとフッターを含むテキストファイルを分割する機能が導入されています (HIVE-21924)。Apache Tez アプリマスターは、各ファイルを読み取り、データ範囲内のオフセットポイントを決定します。これらの動作が組み合わさって、クエリが多数の小さなテキストファイルを読み取る場合、パフォーマンスに悪影響を及ぼす可能性があります。回避策として、CombineHiveInputFormat次のプロパティを設定して最大分割サイズを設定して調整してください。

    SET hive.tez.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
SET mapreduce.input.fileinputformat.split.maxsize=16777216;

  • Amazon EMR 6.6.0 から 6.9.0 では、動的パーティションと ORDER BY 句または SORT BY 句を使用する INSERT クエリには、常に 2 つのリデューサーがあります。この問題は OSS の変更 HIVE-20703 が原因で、動的ソートパーティションの最適化はコストベースの決定下に置かれます。ワークロードで動的パーティションのソートが不要な場合は、hive.optimize.sort.dynamic.partition.threshold-1プロパティをに設定して新機能を無効にし、リデューサーの数を正しく計算することをおすすめします。この問題は、Hive で Hive で Hive で Hive で Hive で Hive で Hive で Hive で、Amazon EMR 6.6.0 で修正されています。