Apache Hive - Amazon EMR

Apache Hive

Hive はオープンソースのデータウェアハウス兼分析パッケージで、Hadoop クラスター上で動作します。Hive スクリプトは、Hive QL (クエリ言語) という SQL に似た言語を使用しています。この言語はプログラミングモデルを抽象化しており、データウェアハウスとの一般的なやりとりをサポートします。Hive では、Directed Acyclic Graphs (DAG) や MapReduce プログラムに基づいて Java などの下位レベルのコンピューター言語で Tez ジョブを記述する複雑さを回避できます。

Hive は、シリアライズ形式を取り込むことで、SQL の枠組みを拡張しています。また、データ自体は操作せずにデータと一致するテーブルスキーマを作成することで、クエリ処理をカスタマイズすることもできます。SQL は日付、数値、文字列などのプリミティブなデータ型のみサポートしていますが、Hive テーブルの値は JSON オブジェクト、ユーザー定義のデータ型、Java で記述した関数などの構造化された要素です。

Hive の詳細については、http://hive.apache.org/ を参照してください。

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Hive のバージョンと、Amazon EMR で Hive と共にインストールされるコンポーネントを示しています。

このリリースで Hive と共にインストールされるコンポーネントのバージョンについては、リリース 6.0.0 のコンポーネントバージョンを参照してください。

emr-6.0.0 の Hive バージョン情報
Amazon EMR リリースラベル Hive バージョン Hive でインストールされるコンポーネント

emr-6.0.0

Hive 3.1.2

emrfs、emr-ddb、emr-goodies、emr-kinesis、emr-s3-dist-cp、emr-s3-select、hadoop-client、hadoop-mapred、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、hive-client、hive-hbase、hcatalog-server、hive-server2、hudi、mariadb-server、tez-on-yarn、zookeeper-client、zookeeper-server

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Hive のバージョンと、Amazon EMR で Hive と共にインストールされるコンポーネントを示しています。

このリリースで Hive と共にインストールされるコンポーネントのバージョンについては、リリース 5.29.0 のコンポーネントバージョンを参照してください。

Hive emr-5.29.0 のバージョン情報
Amazon EMR リリースラベル Hive バージョン Hive でインストールされるコンポーネント

emr-5.29.0

Hive 2.3.6

emrfs、emr-ddb、emr-goodies、emr-kinesis、emr-s3-dist-cp、emr-s3-select、hadoop-client、hadoop-mapred、hadoop-hdfs-datanode、hadoop-hdfs-library、hadoop-hdfs-namenode、hadoop-httpfs-server、hadoop-kms-server、hadoop-yarn-nodemanager、hadoop-yarn-resourcemanager、hadoop-yarn-timeline-server、hive-client、hive-hbase、hcatalog-server、hive-server2、hudi、mysql-server、tez-on-yarn

Amazon EMR 5.18.0 以降では、Amazon EMR アーティファクトリポジトリを使用し、特定の Amazon EMR リリースバージョンで利用可能なライブラリおよび依存関係の正確なバージョンに対してジョブコードをビルドできます。詳細については、「Amazon EMR アーティファクトリポジトリを使用して依存関係を確認する」を参照してください。