Amazon EMR リリース 4.7.0

4.7.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Ganglia、HBase、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie-Sandbox、Phoenix、Pig、Presto-Sandbox、Spark、Sqoop-Sandbox、Tez、Zeppelin-Sandbox、ZooKeeper-Sandbox。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

• Amazon EMR 7.x リリースのアプリケーションバージョン

• Amazon EMR 6.x リリースのアプリケーションバージョン

• Amazon EMR 5.x リリースのアプリケーションバージョン

• Amazon EMR 4.x リリースのアプリケーションバージョン

アプリケーションバージョン情報
	emr-4.7.0	emr-4.6.1	emr-4.6.0	emr-4.5.0
AWS SDK for Java	1.10.75	1.10.27	1.10.27	1.10.27
Python	追跡されていません	追跡されていません	追跡されていません	追跡されていません
Scala	追跡されていません	追跡されていません	追跡されていません	追跡されていません
AmazonCloudWatchAgent	-	-	-	-
Delta	-	-	-	-
Flink	-	-	-	-
Ganglia	3.7.2	3.7.2	3.7.2	3.7.2
HBase	1.2.1	1.2.0	1.2.0	-
HCatalog	1.0.0	1.0.0	1.0.0	1.0.0
Hadoop	2.7.2	2.7.2	2.7.2	2.7.2
Hive	1.0.0	1.0.0	1.0.0	1.0.0
Hudi	-	-	-	-
Hue	3.7.1	3.7.1	3.7.1	3.7.1
Iceberg	-	-	-	-
JupyterEnterpriseGateway	-	-	-	-
JupyterHub	-	-	-	-
Livy	-	-	-	-
MXNet	-	-	-	-
Mahout	0.12.0	0.11.1	0.11.1	0.11.1
Oozie	-	-	-	-
Oozie-Sandbox	4.2.0	4.2.0	4.2.0	4.2.0
Phoenix	4.7.0	-	-	-
Pig	0.14.0	0.14.0	0.14.0	0.14.0
Presto	-	-	-	-
Presto-Sandbox	0.147	0.143	0.143	0.140
Spark	1.6.1	1.6.1	1.6.1	1.6.1
Sqoop	-	-	-	-
Sqoop-Sandbox	1.4.6	1.4.6	1.4.6	1.4.6
TensorFlow	-	-	-	-
Tez	0.8.3	-	-	-
Trino (PrestoSQL)	-	-	-	-
Zeppelin	-	-	-	-
Zeppelin-Sandbox	0.5.6	0.5.6	0.5.6	0.5.6
ZooKeeper	-	-	-	-
ZooKeeper-Sandbox	3.4.8	3.4.8	3.4.8	-

4.7.0 リリースノート

重要

Amazon EMR 4.7.0 は廃止されています。代わりに Amazon EMR 4.7.1 以降を使用してください。

リリース日: 2016 年 6 月 2 日

機能

• Apache Phoenix 4.7.0 を追加しました

• Apache Tez 0.8.3 を追加しました

• HBase 1.2.1 にアップグレードしました

• Mahout 0.12.0 にアップグレードしました

• Presto 0.147 にアップグレードしました

• AWS SDK for Java を 1.10.75 にアップグレードしました

• ユーザーがローカルモードで Pig を実行できるようにするため、最終的なフラグが mapreduce.cluster.local.dir の mapred-site.xml プロパティから削除されました。

• Amazon Redshift JDBC ドライバーがクラスターで利用可能

  Amazon Redshift JDBC ドライバーが /usr/share/aws/redshift/jdbc に含まれました。/usr/share/aws/redshift/jdbc/RedshiftJDBC41.jar は JDBC 4.1 互換の Amazon Redshift ドライバー、/usr/share/aws/redshift/jdbc/RedshiftJDBC4.jar は JDBC 4.0 互換の Amazon Redshift ドライバーです。詳細については、「Amazon Redshift 管理ガイド」の「JDBC 接続の設定」を参照してください。

• Java 8

  Presto を除き、OpenJDK 1.7 はすべてのアプリケーションに使用されるデフォルトの JDK です。ただし、OpenJDK 1.7 と 1.8 の両方がインストールされています。アプリケーションの JAVA_HOME を設定する方法については、「Java 8 を使用したアプリケーションの設定」を参照してください。

以前のリリースから解決された既知の問題

• emr-4.6.0 で Amazon EMR 用のスループット最適化 HDD (st1) EBS ボリュームで著しくパフォーマンスに影響を与えていたカーネルの問題を修正しました。

• アプリケーションとして Hadoop を選択せずに HDFS 暗号化ゾーンを指定した場合にクラスターが失敗する問題を修正しました。

• デフォルトの HDFS 書き込みポリシーを RoundRobin から AvailableSpaceVolumeChoosingPolicy に変更しました。一部のボリュームは RoundRobin設定で適切に使用されなかったため、コアノードに障害が発生し、HDFS の信頼性が低下しました。

• 整合性のあるビューを実現するためにデフォルトの DynamoDB メタデータテーブルを作成するときに、例外が発生する原因となっていた EMRFS CLI に関する問題を修正しました。

• マルチパートの名前の変更およびコピーオペレーション中に発生する可能性のあった、EMRFS のデッドロックの問題を修正しました。

• EMRFS で CopyPart サイズがデフォルト 5 MB になる問題を修正しました。現在では、デフォルト値は 128 MB で適切に設定されます。

• サービスを停止できなくなる可能性のある、Zeppelin upstart 設定の問題を修正しました。

• s3a:// がそれぞれのクラスパスで適切にロードされていないために、/usr/lib/hadoop/hadoop-aws.jar URI スキームを使用できなくなる Spark および Zeppelin の問題を修正しました。

• HUE-2484 を移植しました。

• HBase ブラウザサンプルでの問題を修正するため、Hue 3.9.0 (JIRA が存在しない) から commit を移植しました。

• HIVE-9073 を移植しました。

4.7.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント	Version	説明
emr-ddb	3.1.0	Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies	2.0.0	Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis	3.2.0	Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクタ。
emr-s3-dist-cp	2.4.0	Amazon S3 に最適化された分散コピーアプリケーション。
emrfs	2.7.1	Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
ganglia-monitor	3.7.2	Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector	3.7.2	Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web	3.7.1	Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client	2.7.2-amzn-2	'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode	2.7.2-amzn-2	ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library	2.7.2-amzn-2	HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode	2.7.2-amzn-2	ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-httpfs-server	2.7.2-amzn-2	HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server	2.7.2-amzn-2	Hadoop の KeyProvider API に基づく暗号化キー管理サーバー。
hadoop-mapred	2.7.2-amzn-2	MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager	2.7.2-amzn-2	個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager	2.7.2-amzn-2	クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hadoop-yarn-timeline-server	2.7.2-amzn-2	YARN アプリケーションの現在の情報と履歴情報を取得するためのサービス。
hbase-hmaster	1.2.1	リージョンの調整および管理コマンドの実行を行う HBase クラスター用のサービス。
hbase-region-server	1.2.1	1 つ以上の HBase リージョンに対応するサービス。
hbase-client	1.2.1	HBase コマンドラインクライアント。
hbase-rest-server	1.2.1	HBase の RESTful HTTP エンドポイントを提供するサービス。
hbase-thrift-server	1.2.1	HBase に Thrift エンドポイントを提供するサービス。
hcatalog-client	1.0.0-amzn-5	hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server	1.0.0-amzn-5	分散アプリケーション用のテーブルおよびストレージ管理レイヤーである HCatalog を提供するサービス。
hcatalog-webhcat-server	1.0.0-amzn-5	HCatalog に REST インターフェイスを提供する HTTP エンドポイント。
hive-client	1.0.0-amzn-5	Hive コマンドラインクライアント。
hive-metastore-server	1.0.0-amzn-5	Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server	1.0.0-amzn-5	Hive クエリをウェブリクエストとして受け入れるサービス。
hue-server	3.7.1-amzn-7	Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
mahout-client	0.12.0	機械学習用のライブラリ。
mysql-server	5.5.46	MySQL データベースサーバー。
oozie-client	4.2.0	Oozie コマンドラインクライアント。
oozie-server	4.2.0	Oozie ワークフローリクエストを受け入れるサービス。
phoenix-library	4.7.0-HBase-1.2	サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server	4.7.0-HBase-1.2	JDBC のアクセス、プロトコルのバッファ、および Avatica API への JSON 形式のアクセスを提供するし軽量サーバー
presto-coordinator	0.147	presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker	0.147	いくつかのクエリを実行するサービス。
pig-client	0.14.0-amzn-0	Pig コマンドラインクライアント。
spark-client	1.6.1	Spark コマンドラインクライアント。
spark-history-server	1.6.1	完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn	1.6.1	YARN のメモリ内実行エンジン。
spark-yarn-slave	1.6.1	YARN スレーブで必要な Apache Spark ライブラリ。
sqoop-client	1.4.6	Apache Sqoop コマンドラインクライアント。
tez-on-yarn	0.8.3	tez YARN アプリケーションおよびライブラリ。
webserver	2.4.18	Apache HTTP サーバー。
zeppelin-server	0.5.6-incubating	インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server	3.4.8	設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client	3.4.8	ZooKeeper コマンドラインクライアント。

4.7.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

emr-4.7.0 分類
分類	説明
capacity-scheduler	Hadoop の capacity-scheduler.xml ファイルの値を変更します。
core-site	Hadoop の core-site.xml ファイルの値を変更します。
emrfs-site	EMRFS の設定を変更します。
hadoop-env	Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。
hadoop-log4j	Hadoop の log4j.properties ファイルの値を変更します。
hbase-env	HBase の環境の値を変更します。
hbase-log4j	HBase の hbase-log4j.properties ファイルの値を変更します。
hbase-metrics	HBase の hadoop-metrics2-hbaase.properties ファイルの値を変更します。
hbase-policy	HBase の hbase-policy.xml ファイルの値を変更します。
hbase-site	HBase の hbase-site.xml ファイルの値を変更します。
hdfs-encryption-zones	HDFS 暗号化ゾーンを設定します。
hdfs-site	HDFS の hdfs-site.xml の値を変更します。
hcatalog-env	HCatalog 環境の値を変更します。
hcatalog-server-jndi	HCatalog の jndi.properties の値を変更します。
hcatalog-server-proto-hive-site	HCatalog の proto-hive-site.xml の値を変更します。
hcatalog-webhcat-env	HCatalog WebHCat 環境の値を変更します。
hcatalog-webhcat-log4j	HCatalog WebHCat の log4j.properties の値を変更します。
hcatalog-webhcat-site	HCatalog WebHCat の webhcat-site.xml ファイルの値を変更します。
hive-env	Hive 環境の値を変更します。
hive-exec-log4j	Hive の hive-exec-log4j.properties ファイルの値を変更します。
hive-log4j	Hive の hive-log4j.properties ファイルの値を変更します。
hive-site	Hive の hive-site.xml ファイルの値を変更します
hue-ini	Hue の ini ファイルの値を変更します
httpfs-env	HTTPFS 環境の値を変更します。
httpfs-site	Hadoop の httpfs-site.xml ファイルの値を変更します。
hadoop-kms-acls	Hadoop の kms-acls.xml ファイルの値を変更します。
hadoop-kms-env	Hadoop KMS 環境の値を変更します。
hadoop-kms-log4j	Hadoop の kms-log4j.properties ファイルの値を変更します。
hadoop-kms-site	Hadoop の kms-site.xml ファイルの値を変更します。
mapred-env	MapReduce アプリケーションの環境の値を変更します。
mapred-site	MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。
oozie-env	Oozie の環境の値を変更します。
oozie-log4j	Oozie の oozie-log4j.properties ファイルの値を変更します。
oozie-site	Oozie の oozie-site.xml ファイルの値を変更します。
phoenix-hbase-metrics	Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。
phoenix-hbase-site	Phoenix の hbase-site.xml ファイルの値を変更します。
phoenix-log4j	Phoenix の log4j.properties ファイルの値を変更します。
phoenix-metrics	Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。
pig-properties	Pig の pig.properties ファイルの値を変更します。
pig-log4j	Pig の log4j.properties ファイルの値を変更します。
presto-log	Presto の log.properties ファイルの値を変更します。
presto-config	Presto の config.properties ファイルの値を変更します。
presto-connector-hive	Presto の hive.properties ファイルの値を変更します。
spark	Apache Spark 用の Amazon EMR-curated 設定。
spark-defaults	Spark の spark-defaults.conf ファイルの値を変更します。
spark-env	Spark 環境の値を変更します。
spark-log4j	Spark の log4j.properties ファイルの値を変更します。
spark-metrics	Spark の metrics.properties ファイルの値を変更します。
sqoop-env	Sqoop の環境の値を変更します。
sqoop-oraoop-site	Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。
sqoop-site	Sqoop の sqoop-site.xml ファイルの値を変更します。
tez-site	Tez の tez-site.xml ファイルの値を変更します。
yarn-env	YARN 環境の値を変更します。
yarn-site	YARN の yarn-site.xml ファイルの値を変更します。
zeppelin-env	Zeppelin 環境の値を変更します。
zookeeper-config	ZooKeeperの zoo.cfg ファイルの値を変更します。
zookeeper-log4j	ZooKeeperの log4j.properties ファイルの値を変更します。