Amazon EMRリリース 4.6.0 - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 4.6.0

4.6.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: GangliaHBaseHCatalogHadoopHiveHueMahoutOozie-SandboxPigPresto-SandboxSparkSqoop-SandboxZeppelin-SandboxZooKeeper-Sandbox

次の表に、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-4.6.0 emr-4.5.0 emr-4.4.0 emr-4.3.0
AWS SDK for Java 1.10.271.10.271.10.271.10.27
Python 追跡されていません追跡されていません追跡されていません追跡されていません
Scala 追跡されていません追跡されていません追跡されていません追跡されていません
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink - - - -
Ganglia3.7.23.7.23.7.23.7.2
HBase1.2.0 - - -
HCatalog1.0.01.0.01.0.0 -
Hadoop2.7.22.7.22.7.12.7.1
Hive1.0.01.0.01.0.01.0.0
Hudi - - - -
Hue3.7.13.7.13.7.13.7.1
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.11.10.11.10.11.10.11.0
Oozie - - - -
Oozie-Sandbox4.2.04.2.04.2.04.2.0
Phoenix - - - -
Pig0.14.00.14.00.14.00.14.0
Presto - - - -
Presto-Sandbox0.1430.1400.1360.130
Spark1.6.11.6.11.6.01.6.0
Sqoop - - - -
Sqoop-Sandbox1.4.61.4.61.4.6 -
TensorFlow - - - -
Tez - - - -
Trino (PrestoSQL) - - - -
Zeppelin - - - -
Zeppelin-Sandbox0.5.60.5.60.5.60.5.5
ZooKeeper - - - -
ZooKeeper-Sandbox3.4.8 - - -

4.6.0 リリースノート

次のリリースノートには、Amazon 4.6.0 EMR リリースに関する情報が含まれています。

  • 1HBase.2.0 を追加

  • Zookeeper-Sandbox 3.4.8 を追加しました

  • Presto-Sandbox 0.143 にアップグレードしました

  • Amazon EMRリリースは、Amazon Linux 2016.03.0 に基づくようになりました。詳細については、「https://aws.amazon.com/amazon-linux-ami/2016.03-release-notes/」を参照してください。

  • スループット最適化 HDD (st1) EBSボリュームタイプに影響する問題

    Linux カーネルバージョン 4.2 以降の問題は、 のスループット最適化 HDD (st1) EBSボリュームのパフォーマンスに大きな影響を与えますEMR。このリリース (emr-4.6.0) ではカーネルバージョン 4.4.5 を使用するため、影響を受けます。したがって、st1 EBSボリュームを使用する場合は、emr-4.6.0 を使用しないことをお勧めします。emr-4.5.0 以前の Amazon EMRリリースは、st1 で影響なく使用できます。これに加えて、将来のリリースで修正が提供されます。

  • Python のデフォルト値

    現在、Python 3.4 がデフォルトでインストールされますが、Python 2.7 はシステムデフォルトのままです。いずれかのブートストラップアクションを使用して、Python 3.4 をシステムのデフォルトとして設定できます。 設定を使用してspark-env、分類/usr/bin/python3.4で PYSPARK_PYTHON export を APIに設定し、 で使用される Python バージョンに影響を与えることができます PySpark。

  • Java 8

    Presto を除き、OpenJDK 1.7 はすべてのアプリケーションJDKで使用されるデフォルトです。ただし、OpenJDK 1.7 と 1.8 の両方がインストールされています。アプリケーションの JAVA_HOME を設定する方法については、「Java 8 を使用したアプリケーションの設定」を参照してください。

以前のリリースから解決された既知の問題
  • アプリケーションのプロビジョニングが、生成されたパスワードが原因でランダムに失敗する問題を修正しました。

  • 以前は、mysqld がすべてのノードにインストールされました。現在では、選択されたアプリケーションにコンポーネントとして mysql-server が含まれている場合のみ、マスターインスタンスのみにインストールされます。現在、次のアプリケーションには mysql-serverコンポーネントが含まれています: HCatalog、Hive、Hue、Presto-Sandbox、Sqoop-Sandbox。

  • デフォルトの 32 から 80 yarn.scheduler.maximum-allocation-vcoresに変更されました。これは、コアインスタンスタイプが 32 より大きくYARN設定されたいくつかの大きなインスタンスタイプの 1 つであるクラスターでmaximizeResourceAllocation、主に Spark で発生する問題を修正します。つまり、c4.8xlarge、cc2.8xlarge、hs1.8xlarge、i2.8xlarge、m2.4xlarge、r3.8xlarge、d2.8xlarge、または m4.10xlarge がこの問題の影響を受けました。

  • s3-dist-cp は、すべての Amazon S3 のノミネーションEMRFSに を使用し、一時HDFSディレクトリへのステージは終了しました。

  • クライアント側の暗号化のマルチパートアップロードの例外処理に関する問題を修正しました。

  • ユーザーが Amazon S3 ストレージクラスを変更できるようにするオプションを追加しました。デフォルトでは、この設定は STANDARD です。emrfs-site 設定の分類設定は fs.s3.storageClass で、指定できる値は STANDARDSTANDARD_IAREDUCED_REDUNDANCY です。ストレージクラスの詳細については、「Amazon Simple Storage Service ユーザーガイド」の「ストレージクラス」を参照してください。

4.6.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できます。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2

コンポーネント Version 説明
emr-ddb3.0.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.0.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.1.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-s3-dist-cp2.3.0Amazon S3 に最適化された分散コピーアプリケーション。
emrfs2.6.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.7.2-amzn-1'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.7.2-amzn-1HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library2.7.2-amzn-1HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.7.2-amzn-1HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-httpfs-server2.7.2-amzn-1HTTP HDFSオペレーション用の エンドポイント。
hadoop-kms-server2.7.2-amzn-1Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred2.7.2-amzn-1MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager2.7.2-amzn-1YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager2.7.2-amzn-1YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hbase-hmaster1.2.0リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server1.2.01 つ以上のHBaseリージョンに対応するサービス。
hbase-client1.2.0HBase コマンドラインクライアント。
hbase-rest-server1.2.0のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server1.2.0Thrift エンドポイントを に提供するサービスHBase。
hcatalog-client1.0.0-amzn-4hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server1.0.0-amzn-4分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server1.0.0-amzn-4HTTP へのRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client1.0.0-amzn-4Hive コマンドラインクライアント。
hive-metastore-server1.0.0-amzn-4Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。
hive-server1.0.0-amzn-4Hive クエリをウェブリクエストとして受け入れるサービス。
hue-server3.7.1-amzn-6Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
mahout-client0.11.1機械学習用のライブラリ。
mysql-server5.5データベースSQLサーバー。
oozie-client4.2.0Oozie コマンドラインクライアント。
oozie-server4.2.0Oozie ワークフローリクエストを受け入れるサービス。
presto-coordinator0.143presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.143いくつかのクエリを実行するサービス。
pig-client0.14.0-amzn-0Pig コマンドラインクライアント。
spark-client1.6.1Spark コマンドラインクライアント。
spark-history-server1.6.1完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn1.6.1のインメモリ実行エンジンYARN。
spark-yarn-slave1.6.1YARN スレーブに必要な Apache Spark ライブラリ。
sqoop-client1.4.6Apache Sqoop コマンドラインクライアント。
webserver2.4Apache HTTPサーバー。
zeppelin-server0.5.6-incubatingインタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.8設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.8ZooKeeper コマンドラインクライアント。

4.6.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

emr-4.6.0 分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS 設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hbase-env

HBaseの環境の値を変更します。

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBaseの hadoop-metrics2-hbaase.properties ファイルの値を変更します。

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

hcatalog-env

HCatalogの環境の値を変更します。

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog W のebHCat環境の値を変更します。

hcatalog-webhcat-log4j

HCatalog W ebHCatの log4j.properties の値を変更します。

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j

Hive の hive-exec-log4j.properties ファイルの値を変更します。

hive-log4j

Hive の hive-log4j.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

spark

Apache EMRSpark の Amazon が厳選した設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。