翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
Amazon EMRリリース 4.0.0
4.0.0 アプリケーションバージョン
このリリースでは、次のアプリケーションがサポートされています: Hadoop
次の表に、Amazon のこのリリースで利用可能なアプリケーションバージョンEMRと、前述の 3 つの Amazon EMRリリース (該当する場合) のアプリケーションバージョンを示します。
Amazon の各リリースのアプリケーションバージョンの包括的な履歴についてはEMR、以下のトピックを参照してください。
アプリケーションバージョン情報 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| emr-4.3.0 | emr-4.2.0 | emr-4.1.0 | emr-4.0.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AWS SDK for Java | 1.10.27 | 1.10.27 | 追跡されていません | 追跡されていません | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Python | 追跡されていません | 追跡されていません | 追跡されていません | 追跡されていません | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Scala | 追跡されていません | 追跡されていません | 追跡されていません | 追跡されていません | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| AmazonCloudWatchAgent | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Delta | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Flink | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Ganglia | 3.7.2 | 3.6.0 | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HBase | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HCatalog | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Hadoop | 2.7.1 | 2.6.0 | 2.6.0 | 2.6.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Hive | 1.0.0 | 1.0.0 | 1.0.0 | 1.0.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Hudi | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Hue | 3.7.1 | 3.7.1 | 3.7.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Iceberg | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| JupyterEnterpriseGateway | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| JupyterHub | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Livy | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MXNet | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Mahout | 0.11.0 | 0.11.0 | 0.11.0 | 0.10.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Oozie | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Oozie-Sandbox | 4.2.0 | 4.2.0 | 4.0.1 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Phoenix | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Pig | 0.14.0 | 0.14.0 | 0.14.0 | 0.14.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Presto | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Presto-Sandbox | 0.130 | 0.125 | 0.119 | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Spark | 1.6.0 | 1.5.2 | 1.5.0 | 1.4.1 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sqoop | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sqoop-Sandbox | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| TensorFlow | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Tez | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Trino (PrestoSQL) | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Zeppelin | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Zeppelin-Sandbox | 0.5.5 | 0.5.5 | 0.6.0-SNAPSHOT | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ZooKeeper | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| ZooKeeper-Sandbox | - | - | - | - | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
4.0.0 リリースノート
4.0.0 コンポーネントバージョン
このリリースで Amazon がEMRインストールするコンポーネントを以下に示します。そのうちいくつかは、ビッグデータアプリケーションパッケージの一部としてインストールされます。その他は Amazon に固有のものでEMR、システムプロセスと機能用にインストールされます。これらは通常、emr または aws で開始されます。最新の Amazon EMRリリースのビッグデータアプリケーションパッケージは、通常、 コミュニティにある最新バージョンです。Amazon では、コミュニティリリースEMRをできるだけ早く利用できます。
Amazon の一部のコンポーネントEMRは、コミュニティバージョンとは異なります。これらのコンポーネントには、CommunityVersion-amzn-EmrVersionEmrVersionmyapp-componentの という名前のオープンソースコミュニティコンポーネントが、異なる Amazon EMRリリースに含めるために 3 回変更された場合、そのリリースバージョンは としてリストされます2.2-amzn-2。
| コンポーネント | Version | 説明 |
|---|---|---|
| emr-ddb | 3.0.0 | Hadoop エコシステムアプリケーション用の Amazon DynamoDB コネクター。 |
| emr-goodies | 2.0.0 | Hadoop エコシステムに役立つ追加のライブラリ。 |
| emr-kinesis | 3.0.0 | Hadoop エコシステムアプリケーション用の Amazon Kinesis コネクター。 |
| emr-s3-dist-cp | 2.0.0 | Amazon S3 に最適化された分散コピーアプリケーション。 |
| emrfs | 2.0.0 | Hadoop エコシステムアプリケーション用の Amazon S3 コネクタ。 |
| hadoop-client | 2.6.0-amzn-0 | 'hdfs'、'hadoop'、'yarn' などの Hadoop コマンドラインクライアント。 |
| hadoop-hdfs-datanode | 2.6.0-amzn-0 | HDFS ブロックを保存するためのノードレベルのサービス。 |
| hadoop-hdfs-namenode | 2.6.0-amzn-0 | HDFS ファイル名とブロックの場所を追跡するための サービス。 |
| hadoop-httpfs-server | 2.6.0-amzn-0 | HTTP HDFSオペレーションの エンドポイント。 |
| hadoop-mapred | 2.6.0-amzn-0 | MapReduce MapReduce アプリケーションを実行するための 実行エンジンライブラリ。 |
| hadoop-yarn-nodemanager | 2.6.0-amzn-0 | YARN 個々のノードのコンテナを管理するための サービス。 |
| hadoop-yarn-resourcemanager | 2.6.0-amzn-0 | YARN クラスターリソースと分散アプリケーションの割り当てと管理のための サービス。 |
| hive-client | 1.0.0-amzn-0 | Hive コマンドラインクライアント。 |
| hive-metastore-server | 1.0.0-amzn-0 | Hadoop オペレーションSQLで のメタデータを保存するセマンティックリポジトリである Hive メタストアにアクセスするためのサービス。 |
| hive-server | 1.0.0-amzn-0 | Hive クエリをウェブリクエストとして受け入れるサービス。 |
| mahout-client | 0.10.0 | 機械学習用のライブラリ。 |
| mysql-server | 5.5 | データベースSQLサーバー。 |
| pig-client | 0.14.0-amzn-0 | Pig コマンドラインクライアント。 |
| spark-client | 1.4.1 | Spark コマンドラインクライアント。 |
| spark-history-server | 1.4.1 | 完了した Spark アプリケーションの有効期間にログに記録されたイベントを表示するウェブ UI。 |
| spark-on-yarn | 1.4.1 | のインメモリ実行エンジンYARN。 |
| spark-yarn-slave | 1.4.1 | YARN スレーブに必要な Apache Spark ライブラリ。 |
4.0.0 設定分類
設定分類を使用すると、アプリケーションをカスタマイズできます。これらは、多くの場合、 などのアプリケーションの設定XMLファイルに対応しますhive-site.xml。詳細については、「アプリケーションの設定」を参照してください。
emr-4.0.0 分類 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 分類 | 説明 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
capacity-scheduler | Hadoop の capacity-scheduler.xml ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
core-site | Hadoop の core-site.xml ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emrfs-site | EMRFS 設定を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-env | Hadoop のすべてのコンポーネントに対する Hadoop 環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hadoop-log4j | Hadoop の log4j.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hdfs-site | HDFSの hdfs-site.xml の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-env | Hive 環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-exec-log4j | Hive の hive-exec-log4j.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-log4j | Hive の hive-log4j.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
hive-site | Hive の hive-site.xml ファイルの値を変更します | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-env | HTTPFS 環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
httpfs-site | Hadoop の httpfs-site.xml ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-env | MapReduce アプリケーションの環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
mapred-site | MapReduce アプリケーションの mapred-site.xml ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-properties | Pig の pig.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
pig-log4j | Pig の log4j.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark | Apache EMRSpark の Amazon が厳選した設定。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-defaults | Spark の spark-defaults.conf ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-env | Spark 環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
spark-log4j | Spark の log4j.properties ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-env | YARN 環境の値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
yarn-site | YARNの yarn-site.xml ファイルの値を変更します。 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
