Amazon EMR リリース 4.3.0 - Amazon EMR
4.3.0 アプリケーションバージョン4.3.0 リリースノート4.3.0 コンポーネントバージョン4.3.0 設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMR リリース 4.3.0

4.3.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Ganglia、Hadoop、Hive、Hue、Mahout、Oozie-Sandbox、Pig、Presto-Sandbox、Spark、Zeppelin-Sandbox。

以下の表は、Amazon EMR のこのリリースで利用可能なアプリケーションバージョンと、前の 3 つの Amazon EMR リリース (該当する場合) で利用可能なアプリケーションバージョンを示しています。

Amazon EMR の各リリースのアプリケーションバージョンの包括的な履歴については、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-4.3.0 emr-4.2.0 emr-4.1.0 emr-4.0.0
AWS SDK for Java 1.10.271.10.27追跡されていません追跡されていません
Python 追跡されていません追跡されていません追跡されていません追跡されていません
Scala 追跡されていません追跡されていません追跡されていません追跡されていません
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink - - - -
Ganglia3.7.23.6.0 - -
HBase - - - -
HCatalog - - - -
Hadoop2.7.12.6.02.6.02.6.0
Hive1.0.01.0.01.0.01.0.0
Hudi - - - -
Hue3.7.13.7.13.7.1 -
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.11.00.11.00.11.00.10.0
Oozie - - - -
Oozie-Sandbox4.2.04.2.04.0.1 -
Phoenix - - - -
Pig0.14.00.14.00.14.00.14.0
Presto - - - -
Presto-Sandbox0.1300.1250.119 -
Spark1.6.01.5.21.5.01.4.1
Sqoop - - - -
Sqoop-Sandbox - - - -
TensorFlow - - - -
Tez - - - -
Trino (PrestoSQL) - - - -
Zeppelin - - - -
Zeppelin-Sandbox0.5.50.5.50.6.0-SNAPSHOT -
ZooKeeper - - - -
ZooKeeper-Sandbox - - - -

4.3.0 リリースノート

次のリリースノートには、Amazon EMR 4.3.0 リリースに関する情報が含まれています。

リリース日: 2016 年 1 月 19 日

機能

  • Hadoop 2.7.1 にアップグレードしました

  • Spark 1.6.0 にアップグレードしました

  • Ganglia を 3.7.2 にアップグレードしました

  • Presto を 0.130 にアップグレードしました

  • Amazon EMR を true に設定すると、spark.dynamicAllocation.enabled にいくつかの変更が加えられていました。デフォルトでは false です。true に設定すると、maximizeResourceAllocation 設定で定義されているデフォルト設定に影響を与えます。

    • spark.dynamicAllocation.enabled を true に設定した場合、spark.executor.instances は maximizeResourceAllocation によって設定されません。

    • spark.driver.memory 設定は、spark.executors.memory 設定と同様に、クラスター内のインスタンスタイプに基づいて定義されます。ただし、Spark ドライバーアプリケーションは、マスターインスタンスまたはいずれかのコアインスタンスで（たとえば、YARN クライアントモードとクラスターモードのそれぞれで）実行されるため、spark.driver.memory 設定は、これらの 2 つのインスタンスグループ間で、小さい方のインスタンスのインスタンスタイプに基づいて定義されます。

    • spark.default.parallelism 設定は、YARN コンテナに使用可能な CPU コアの数の 2 倍に定義されます。以前のリリースでは、半分の値に定義されていました。

    • Spark YARN プロセス用に予約されるメモリオーバーヘッドの計算精度が上がったため、Spark に使用可能なメモリの合計量 (spark.executor.memory) がわずかに増えました。

以前のリリースから解決された既知の問題

  • 現在、YARN ログの集計はデフォルトで有効になります。

  • YARN ログの集計が有効な場合に、クラスターの Amazon S3 ログバケットにログがプッシュされない問題を修正しました。

  • YARN コンテナサイズは、すべてのノードタイプで新たに最低 32 になりました。

  • 大規模なクラスターのプライマリノードで過剰なディスク I/O を発生させる Ganglia の問題を修正しました。

  • クラスターのシャットダウン時に Amazon S3 にアプリケーションログがプッシュされない問題を修正しました。

  • 特定のコマンドを失敗させる EMRFS CLI の問題を修正しました。

  • Zeppelin で、基盤となる に依存関係がロードされない問題を修正しました SparkContext。

  • インスタンスの追加を試みるサイズ変更の発行によって発生する問題を修正しました。

  • CREATE TABLE AS SELECT が Amazon S3 への過剰なリスト呼び出しを行う Hive の問題を修正しました。

  • Hue、Oozie、および Ganglia がインストールされていると、大規模なクラスターが適切にプロビジョニングされない問題を修正しました。

  • エラーで失敗した場合でもゼロ終了コードを返す s3-dist-cp の問題を修正しました。

4.3.0 コンポーネントバージョン

このリリースで Amazon EMR がインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon EMR に固有であり、システムプロセスと機能に対してインストールされます。これらは通常、emr または aws で開始されます。通常、最新の Amazon EMR リリースのビッグデータアプリケーションパッケージは、コミュニティにある最新バージョンです。コミュニティリリースは、できるだけ早く Amazon EMR で入手可能になるようにしています。

Amazon EMR の一部のコンポーネントは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 の myapp-component というオープンソースコミュニティコンポーネントが、異なる Amazon EMR リリースに組み込むために 3 回変更された場合、そのリリースバージョンは 2.2-amzn-2 として表示されます。

コンポーネント Version 説明
emr-ddb3.0.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.0.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.1.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-s3-dist-cp2.1.0Amazon S3 に最適化された分散コピーアプリケーション。
emrfs2.3.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.7.1-amzn-0'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.7.1-amzn-0ブロックを保存する HDFS ノードレベルのサービス。
hadoop-hdfs-library2.7.1-amzn-0HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.7.1-amzn-0ファイル名を追跡し、場所をブロックする HDFS サービス。
hadoop-httpfs-server2.7.1-amzn-0HDFS オペレーションの HTTP エンドポイント。
hadoop-kms-server2.7.1-amzn-0Hadoop の KeyProvider API に基づく暗号化キー管理サーバー。
hadoop-mapred2.7.1-amzn-0MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager2.7.1-amzn-0個別のノードでコンテナを管理する YARN サービス。
hadoop-yarn-resourcemanager2.7.1-amzn-0クラスターリソースおよび分散アプリケーションを割り当て、管理する YARN サービス。
hive-client1.0.0-amzn-2Hive コマンドラインクライアント。
hive-metastore-server1.0.0-amzn-2Hadoop オペレーションの SQL 用のメタデータを保存するセマンティックレポジトリである Hive メタストアにアクセスするためのサービス。
hive-server1.0.0-amzn-2Hive クエリをウェブリクエストとして受け入れるサービス。
hue-server3.7.1-amzn-5Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
mahout-client0.11.0機械学習用のライブラリ。
mysql-server5.5MySQL データベースサーバー。
oozie-client4.2.0Oozie コマンドラインクライアント。
oozie-server4.2.0Oozie ワークフローリクエストを受け入れるサービス。
presto-coordinator0.130presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.130いくつかのクエリを実行するサービス。
pig-client0.14.0-amzn-0Pig コマンドラインクライアント。
spark-client1.6.0Spark コマンドラインクライアント。
spark-history-server1.6.0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn1.6.0YARN のメモリ内実行エンジン。
spark-yarn-slave1.6.0YARN スレーブで必要な Apache Spark ライブラリ。
webserver2.4Apache HTTP サーバー。
zeppelin-server0.5.5-incubating-amzn-1インタラクティブなデータ分析を可能にするウェブベースのノートブック。

4.3.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは多くの場合、hive-site.xml などのアプリケーションの構成 XML ファイルに対応します。詳細については、「アプリケーションの設定」を参照してください。

emr-4.3.0 分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-site

HDFS の hdfs-site.xml の値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j

Hive の hive-exec-log4j.properties ファイルの値を変更します。

hive-log4j

Hive の hive-log4j.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS 環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

spark

Apache Spark 用の Amazon EMR-curated 設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARN の yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。