Amazon EMRリリース 5.5.0 - Amazon EMR
5.5.0 アプリケーションバージョン5.5.0 リリースノート5.5.0 コンポーネントバージョン5.5.0 設定分類

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon EMRリリース 5.5.0

5.5.0 アプリケーションバージョン

このリリースでは、次のアプリケーションがサポートされています: Flink、Ganglia、HBase、HCatalog、Hadoop、Hive、Hue、Mahout、Oozie、Phoenix、Pig、Presto、Spark、Sqoop、Tez、Zeppelin、ZooKeeper。

次の表に、この Amazon リリースで利用可能なアプリケーションバージョンEMRと、前の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。

Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。

アプリケーションバージョン情報
emr-5.5.0 emr-5.4.1 emr-5.4.0 emr-5.3.2
AWS SDK for Java 1.10.751.10.751.10.751.10.75
Python 追跡されていません追跡されていません追跡されていません追跡されていません
Scala 2.11.82.11.82.11.82.11.8
AmazonCloudWatchAgent - - - -
Delta - - - -
Flink1.2.01.2.01.2.01.1.4
Ganglia3.7.23.7.23.7.23.7.2
HBase1.3.01.3.01.3.01.2.3
HCatalog2.1.12.1.12.1.12.1.1
Hadoop2.7.32.7.32.7.32.7.3
Hive2.1.12.1.12.1.12.1.1
Hudi - - - -
Hue3.12.03.11.03.11.03.11.0
Iceberg - - - -
JupyterEnterpriseGateway - - - -
JupyterHub - - - -
Livy - - - -
MXNet - - - -
Mahout0.12.20.12.20.12.20.12.2
Oozie4.3.04.3.04.3.04.3.0
Phoenix4.9.04.9.04.9.04.7.0
Pig0.16.00.16.00.16.00.16.0
Presto0.1700.1660.1660.157.1
Spark2.1.02.1.02.1.02.1.0
Sqoop1.4.61.4.61.4.61.4.6
TensorFlow - - - -
Tez0.8.40.8.40.8.40.8.4
Trino (PrestoSQL) - - - -
Zeppelin0.7.10.7.00.7.00.6.2
ZooKeeper3.4.103.4.93.4.93.4.9

5.5.0 リリースノート

次のリリースノートには、Amazon 5.5.0 EMR リリースに関する情報が含まれています。Amazon 5.4.0 EMR リリースからの変更が含まれています。

リリース日: 2017 年 4 月 26 日

アップグレード

  • Hue 3.12

  • Presto 0.170

  • Zeppelin 0.7.1

  • ZooKeeper 3.4.10

変更点、機能強化、解決した問題

  • Spark

  • Flink

    • Flink は Scala 2.11 で作成されるようになりました。Scala APIとライブラリを使用する場合は、プロジェクトで Scala 2.11 を使用することをお勧めします。

    • HADOOP_CONF_DIR と YARN_CONF_DIR のデフォルトが適切に設定されないため start-scala-shell.sh が機能しない問題に対応しました。さらに env.hadoop.conf.dir または env.yarn.conf.dir 設定分類の /etc/flink/conf/flink-conf.yaml と flink-conf を使って、これらの値を設定する機能を追加しました。

    • のラッパーflink-scala-shellとして、新しい EMR固有のコマンドを導入しましたstart-scala-shell.sh。start-scala-shell に代えて、このコマンドを使用することをお勧めします。新しいコマンドにより実行が簡素化されます。たとえば、flink-scala-shell -n 2 は、タスクの並行度 2 で、Flink Scala シェルを開始します。

    • のラッパーflink-yarn-sessionとして、新しい EMR固有のコマンドを導入しましたyarn-session.sh。yarn-session に代えて、このコマンドを使用することをお勧めします。新しいコマンドにより実行が簡素化されます。たとえば、flink-yarn-session -d -n 2 は長時間稼働の Flink セッションを、デタッチ状態で、2 つのタスクマネージャを使って開始します。

    • Flink 1.2 では、アドレス指定 (FLINK-6125) Commons httpclient はシェーディングされなくなりました。

  • Presto

    • LDAP 認証のサポートを追加しました。Amazon で Presto LDAPで を使用するには、Presto コーディネーター (http-server.https.enabled=true の ) のHTTPSアクセスを有効にするEMR必要がありますconfig.properties。設定の詳細については、Presto ドキュメントのLDAP「認証」を参照してください。

    • SHOW GRANTS のサポートが追加されました。

  • Amazon EMR Base Linux AMI

    • Amazon EMRリリースは、Amazon Linux 2017.03 に基づくようになりました。詳細については、「Amazon Linux AMI 2017.03 リリースノート」を参照してください。

    • Amazon EMRベースの Linux イメージから Python 2.6 を削除しました。Python 2.7 と 3.4 がデフォルトでインストールされます。必要な場合には Python 2.6 を手動でインストールできます。

5.5.0 コンポーネントバージョン

このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できます。

Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersion の形式のバージョンラベルがあります。EmrVersion は 0 から始まります。例えば、バージョン 2.2 myapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。

コンポーネント Version 説明
emr-ddb4.3.0Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。
emr-goodies2.3.0Hadoop エコシステムに役立つ追加のライブラリ。
emr-kinesis3.3.0Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。
emr-s3-dist-cp2.5.0Amazon S3 に最適化された分散コピーアプリケーション。
emrfs2.16.0Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。
flink-client1.2.0Apache Flink のコマンドラインクライアント スクリプトとアプリケーション。
ganglia-monitor3.7.2Ganglia モニタリングエージェントとともに埋め込まれた、Hadoop エコシステムアプリケーション用 Ganglia エージェント。
ganglia-metadata-collector3.7.2Ganglia モニタリングエージェントからメトリクスを集計する Ganglia メタデータコレクター。
ganglia-web3.7.1Ganglia メタデータコレクターによって収集されたメトリクスを表示するウェブアプリケーション。
hadoop-client2.7.3-amzn-2'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。
hadoop-hdfs-datanode2.7.3-amzn-2HDFS ブロックを保存するためのノードレベルのサービス。
hadoop-hdfs-library2.7.3-amzn-2HDFS コマンドラインクライアントとライブラリ
hadoop-hdfs-namenode2.7.3-amzn-2HDFS ファイル名とブロックの場所を追跡するための サービス。
hadoop-httpfs-server2.7.3-amzn-2HTTP HDFSオペレーションの エンドポイント。
hadoop-kms-server2.7.3-amzn-2Hadoop の に基づく暗号化キー管理サーバー KeyProvider API。
hadoop-mapred2.7.3-amzn-2MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。
hadoop-yarn-nodemanager2.7.3-amzn-2YARN 個々のノードのコンテナを管理するための サービス。
hadoop-yarn-resourcemanager2.7.3-amzn-2YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。
hadoop-yarn-timeline-server2.7.3-amzn-2YARN アプリケーションの現在および履歴情報を取得するためのサービス。
hbase-hmaster1.3.0リージョンの調整と管理コマンドの実行を担当する HBaseクラスターのサービス。
hbase-region-server1.3.01 つ以上のHBaseリージョンに対応するサービス。
hbase-client1.3.0HBase コマンドラインクライアント。
hbase-rest-server1.3.0のRESTfulHTTPエンドポイントを提供するサービスHBase。
hbase-thrift-server1.3.0Thrift エンドポイントを に提供するサービスHBase。
hcatalog-client2.1.1-amzn-0hcatalog-server を操作するための 'hcat' コマンドラインクライアント。
hcatalog-server2.1.1-amzn-0分散アプリケーション用のテーブルおよびストレージ管理レイヤーHCatalogである を提供するサービス。
hcatalog-webhcat-server2.1.1-amzn-0HTTP へのRESTインターフェイスを提供する エンドポイントHCatalog。
hive-client2.1.1-amzn-0Hive コマンドラインクライアント。
hive-hbase2.1.1-amzn-0Hive-hbase クライアント。
hive-metastore-server2.1.1-amzn-0Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。
hive-server22.1.1-amzn-0Hive クエリをウェブリクエストとして受け入れるサービス。
hue-server3.12.0Hadoop エコシステムアプリケーションを使用してデータを分析するウェブアプリケーション
mahout-client0.12.2機械学習用のライブラリ。
mysql-server5.5.54+データベースSQLサーバー。
oozie-client4.3.0Oozie コマンドラインクライアント。
oozie-server4.3.0Oozie ワークフローリクエストを受け入れるサービス。
phoenix-library4.9.0-HBase-1.2サーバーとクライアントの Phoenix ライブラリ
phoenix-query-server4.9.0-HBase-1.2Avatica JDBCへのアクセスとプロトコルバッファ、JSONフォーマットアクセスを提供する軽量サーバー API
presto-coordinator0.170presto-worker 間でクエリを受け入れ、クエリの実行を管理するサービス。
presto-worker0.170いくつかのクエリを実行するサービス。
pig-client0.16.0-amzn-0Pig コマンドラインクライアント。
spark-client2.1.0Spark コマンドラインクライアント。
spark-history-server2.1.0完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。
spark-on-yarn2.1.0のインメモリ実行エンジンYARN。
spark-yarn-slave2.1.0YARN スレーブに必要な Apache Spark ライブラリ。
sqoop-client1.4.6Apache Sqoop コマンドラインクライアント。
tez-on-yarn0.8.4Tez YARNアプリケーションとライブラリ。
webserver2.4.25+Apache HTTPサーバー。
zeppelin-server0.7.1インタラクティブなデータ分析を可能にするウェブベースのノートブック。
zookeeper-server3.4.10設定情報を維持し、名前を付け、分散化された同期を提供し、グループサービスを提供する一元化されたサービス。
zookeeper-client3.4.10ZooKeeper コマンドラインクライアント。

5.5.0 設定分類

設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。

emr-5.5.0 の分類
分類 説明

capacity-scheduler

Hadoop の capacity-scheduler.xml ファイルの値を変更します。

core-site

Hadoop の core-site.xml ファイルの値を変更します。

emrfs-site

EMRFS 設定を変更します。

flink-conf

flink-conf.yaml の設定を変更します。

flink-log4j

Flink log4j.properties の設定を変更します。

flink-log4j-yarn-session

Flink log4j-yarn-session.properties 設定を変更します。

flink-log4j-cli

Flink log4j-cli.properties の設定を変更します。

hadoop-env

Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。

hadoop-log4j

Hadoop の log4j.properties ファイルの値を変更します。

hadoop-ssl-server

Hadoop ssl のサーバー設定を変更します。

hadoop-ssl-client

Hadoop ssl のクライアント設定を変更します。

hbase

Amazon EMRが厳選した Apache の設定HBase。

hbase-env

HBaseの環境の値を変更します。

hbase-log4j

HBaseの hbase-log4j.properties ファイルの値を変更します。

hbase-metrics

HBaseの hadoop-metrics2-hbaase.properties ファイルの値を変更します。

hbase-policy

HBaseの hbase-policy.xml ファイルの値を変更します。

hbase-site

HBaseの hbase-site.xml ファイルの値を変更します。

hdfs-encryption-zones

HDFS 暗号化ゾーンを設定します。

hdfs-site

HDFSの hdfs-site.xml の値を変更します。

hcatalog-env

HCatalogの環境の値を変更します。

hcatalog-server-jndi

HCatalogの jndi.properties の値を変更します。

hcatalog-server-proto-hive-site

HCatalogの proto-hive-site.xml の値を変更します。

hcatalog-webhcat-env

HCatalog W のebHCat環境の値を変更します。

hcatalog-webhcat-log4j2

HCatalog W ebHCatの log4j2.properties の値を変更します。

hcatalog-webhcat-site

HCatalog W ebHCatの webhcat-site.xml ファイルの値を変更します。

hive-beeline-log4j2

Hive の beeline-log4j2.properties ファイルの値を変更します。

hive-parquet-logging

Hive の parquet-logging.properties ファイルの値を変更します。

hive-env

Hive 環境の値を変更します。

hive-exec-log4j2

Hive の hive-exec-log4j2.properties ファイルの値を変更します。

hive-llap-daemon-log4j2

Hive の llap-daemon-log4j2.properties ファイルの値を変更します。

hive-log4j2

Hive の hive-log4j2.properties ファイルの値を変更します。

hive-site

Hive の hive-site.xml ファイルの値を変更します

hiveserver2-site

Hive Server2 の hiveserver2-site.xml ファイルの値を変更します

hue-ini

Hue の ini ファイルの値を変更します

httpfs-env

HTTPFS 環境の値を変更します。

httpfs-site

Hadoop の httpfs-site.xml ファイルの値を変更します。

hadoop-kms-acls

Hadoop の kms-acls.xml ファイルの値を変更します。

hadoop-kms-env

Hadoop KMS環境の値を変更します。

hadoop-kms-log4j

Hadoop の kms-log4j.properties ファイルの値を変更します。

hadoop-kms-site

Hadoop の kms-site.xml ファイルの値を変更します。

mapred-env

MapReduce アプリケーションの環境の値を変更します。

mapred-site

MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。

oozie-env

Oozie の環境の値を変更します。

oozie-log4j

Oozie の oozie-log4j.properties ファイルの値を変更します。

oozie-site

Oozie の oozie-site.xml ファイルの値を変更します。

phoenix-hbase-metrics

Phoenix の hadoop-metrics2-hbase.properties ファイルの値を変更します。

phoenix-hbase-site

Phoenix の hbase-site.xml ファイルの値を変更します。

phoenix-log4j

Phoenix の log4j.properties ファイルの値を変更します。

phoenix-metrics

Phoenix の hadoop-metrics2-phoenix.properties ファイルの値を変更します。

pig-properties

Pig の pig.properties ファイルの値を変更します。

pig-log4j

Pig の log4j.properties ファイルの値を変更します。

presto-log

Presto の log.properties ファイルの値を変更します。

presto-config

Presto の config.properties ファイルの値を変更します。

presto-connector-blackhole

Presto の blackhole.properties ファイルの値を変更します。

presto-connector-cassandra

Presto の cassandra.properties ファイルの値を変更します。

presto-connector-hive

Presto の hive.properties ファイルの値を変更します。

presto-connector-jmx

Presto の jmx.properties ファイルの値を変更します。

presto-connector-kafka

Presto の kafka.properties ファイルの値を変更します。

presto-connector-localfile

Presto の localfile.properties ファイルの値を変更します。

presto-connector-mongodb

Presto の mongodb.properties ファイルの値を変更します。

presto-connector-mysql

Presto の musql.properties ファイルの値を変更します。

presto-connector-postgresql

Presto の postgresql.properties ファイルの値を変更します。

presto-connector-raptor

Presto の raptor.properties ファイルの値を変更します。

presto-connector-redis

Presto の redis.properties ファイルの値を変更します。

presto-connector-tpch

Presto の tpcj.properties ファイルの値を変更します。

spark

Apache EMRSpark の Amazon が厳選した設定。

spark-defaults

Spark の spark-defaults.conf ファイルの値を変更します。

spark-env

Spark 環境の値を変更します。

spark-hive-site

Spark の hive-site.xml ファイルの値を変更します

spark-log4j

Spark の log4j.properties ファイルの値を変更します。

spark-metrics

Spark の metrics.properties ファイルの値を変更します。

sqoop-env

Sqoop の環境の値を変更します。

sqoop-oraoop-site

Sqoop OraOopの oraoop-site.xml ファイルの値を変更します。

sqoop-site

Sqoop の sqoop-site.xml ファイルの値を変更します。

tez-site

Tez の tez-site.xml ファイルの値を変更します。

yarn-env

YARN 環境の値を変更します。

yarn-site

YARNの yarn-site.xml ファイルの値を変更します。

zeppelin-env

Zeppelin 環境の値を変更します。

zookeeper-config

ZooKeeperの zoo.cfg ファイルの値を変更します。

zookeeper-log4j

ZooKeeperの log4j.properties ファイルの値を変更します。