Customizing Cluster and Application Configuration With Earlier AMI Versions of Amazon EMR - Amazon EMR

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

Customizing Cluster and Application Configuration With Earlier AMI Versions of Amazon EMR

Amazon EMR リリースバージョン 4.0.0 では、設定分類を使用してアプリケーションを設定する簡単な方法が導入されました。詳細については、「アプリケーションの設定」を参照してください。AMI バージョンを使用する場合は、渡した引数とともにブートストラップアクションを使用してアプリケーションを設定します。たとえば、 configure-hadoop および configure-daemons ブートストラップ アクションがHadoopとYARNを設定する–specific environment properties like --namenode-heap-size。 最新バージョンでは、 hadoop-env および yarn-env 構成分類。実行するブートストラップアクションの一般的な設定の詳細については、Github の emr-bootstrap-actions リポジトリを参照してください。

次の表は、より最近の Amazon EMR リリースバージョンのブートストラップアクションを構成分類にマップしています。

Hadoop
影響を受けるアプリケーションファイル名 AMI バージョンのブートストラップアクション 設定分類
core-site.xml configure-hadoop -c core-site
log4j.properties configure-hadoop -l hadoop-log4j
hdfs-site.xml configure-hadoop -s hdfs-site
該当なし 該当なし hdfs-encryption-zones
mapred-site.xml configure-hadoop -m mapred-site
yarn-site.xml configure-hadoop -y yarn-site
httpfs-site.xml configure-hadoop -t httpfs-site
capacity-scheduler.xml configure-hadoop -z capacity-scheduler
yarn-env.sh configure-daemons --resourcemanager-opts yarn-env
Hive
影響を受けるアプリケーションファイル名 AMI バージョンのブートストラップアクション 設定分類
hive-env.sh 該当なし hive-env
hive-site.xml hive-script --install-hive-site ${MY_HIVE_SITE_FILE} hive-site
hive-exec-log4j.properties 該当なし hive-exec-log4j
hive-log4j.properties 該当なし hive-log4j
EMRFS
影響を受けるアプリケーションファイル名 AMI バージョンのブートストラップアクション 設定分類
emrfs-site.xml configure-hadoop -e emrfs-site
該当なし s3get -s s3://custom-provider.jar -d /usr/share/aws/emr/auxlib/ emrfs-site (新しい設定 fs.s3.cse.encryptionMaterialsProvider.uri と併用)

全分類の一覧については、アプリケーションの設定 を参照してください。

Application Environment Variables

AMI バージョンを使用する場合、hadoop-user-env.sh スクリプトが、configure-daemons ブートストラップアクションと組み合わせて使用され、Hadoop 環境を設定します。スクリプトには、以下のアクションが含まれます。

#!/bin/bash export HADOOP_USER_CLASSPATH_FIRST=true; echo "HADOOP_CLASSPATH=/path/to/my.jar" >> /home/hadoop/conf/hadoop-user-env.sh

Amazon EMR リリース 4.x では、次の例に示すように hadoop-env 設定分類を使用して同じ手順を実行します。

[       {          "Classification":"hadoop-env",          "Properties":{          },          "Configurations":[             {                "Classification":"export",                "Properties":{                   "HADOOP_USER_CLASSPATH_FIRST":"true",                   "HADOOP_CLASSPATH":"/path/to/my.jar"                }             }          ]       }    ]

別の例として、configure-daemons の使用、--namenode-heap-size=2048 を渡すこと、--namenode-opts=-XX:GCTimeRatio=19 は以下の設定分類と同じです。

[       {          "Classification":"hadoop-env",          "Properties":{          },          "Configurations":[             {                "Classification":"export",                "Properties":{                   "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19"                }             }          ]       }    ]

その他のアプリケーション環境変数は、 /home/hadoop/.bashrc。 その代わり、主に /etc/default 次のようなコンポーネントまたはアプリケーションごとのファイル /etc/default/hadoop。 のラッパー スクリプト /usr/bin/ アプリケーションRPMによってインストールされる他の環境変数も、実際のbinスクリプトが関与する前に設定することができます。

Service Ports

AMI バージョンを使用する場合は、一部のサービスでカスタムポートを使用します。

ポート設定の変更箇所
設定 AMI バージョン 3.x オープンソースのデフォルト
fs.default.name hdfs://emrDeterminedIP:9000 デフォルト(hdfs://emrDeterminedIP:8020)
dfs.datanode.address 0.0.0.0:9200 デフォルト (0.0.0.0:50010)
dfs.datanode.http.address 0.0.0.0:9102 デフォルト (0.0.0.0:50075)
dfs.datanode.https.address 0.0.0.0:9402 デフォルト (0.0.0.0:50475)
dfs.datanode.ipc.address 0.0.0.0:9201 デフォルト (0.0.0.0:50020)
dfs.http.address 0.0.0.0:9101 デフォルト (0.0.0.0:50070)
dfs.https.address 0.0.0.0:9202 デフォルト (0.0.0.0:50470)
dfs.secondary.http.address 0.0.0.0:9104 デフォルト (0.0.0.0:50090)
yarn.nodemanager.address 0.0.0.0:9103 デフォルト (${yarn.nodemanager.hostname}:0)
yarn.nodemanager.localizer.address 0.0.0.0:9033 デフォルト (${yarn.nodemanager.hostname}:8040)
yarn.nodemanager.webapp.address 0.0.0.0:9035 デフォルト (${yarn.nodemanager.hostname}:8042)
yarn.resourcemanager.address emrDeterminedIP:9022 デフォルト (${yarn.resourcemanager.hostname}:8032)
yarn.resourcemanager.admin.address emrDeterminedIP:9025 デフォルト (${yarn.resourcemanager.hostname}:8033)
yarn.resourcemanager.resource-tracker.address emrDeterminedIP:9023 デフォルト (${yarn.resourcemanager.hostname}:8031)
yarn.resourcemanager.scheduler.address emrDeterminedIP:9024 デフォルト (${yarn.resourcemanager.hostname}:8030)
yarn.resourcemanager.webapp.address 0.0.0.0:9026 デフォルト (${yarn.resourcemanager.hostname}:8088)
yarn.web-proxy.address emrDeterminedIP:9046 デフォルト (値なし)
yarn.resourcemanager.hostname 0.0.0.0 (デフォルト) emrDeterminedIP
注記

- emrDeterminedIP は、 によって生成される IP アドレスです。 Amazon EMR.

Users

AMI バージョンを使用する場合、ユーザー hadoop がすべてのプロセスを実行し、すべてのファイルを保有します。Amazon EMR リリースバージョン 4.0.0 以降では、ユーザーはアプリケーションやコンポーネントレベルで存在します。

Installation Sequence, Installed Artifacts, and Log File Locations

AMI バージョンを使用する場合、アプリケーションのアーティファクトおよびその設定ディレクトリは、/home/hadoop/application ディレクトリにインストールされます。たとえば、Hiveをインストールした場合、ディレクトリは /home/hadoop/hive。 内 Amazon EMR リリース4.0.0以降では、アプリケーション・アーティファクトが /usr/lib/application ディレクトリ。AMI バージョンを使用する場合、ログファイルはさまざまな場所にあります。次の表に、場所を示します。

Amazon S3 のログの場所の変更
デーモンまたはアプリケーション ディレクトリの場所
instance-state ノードinstance-idinstance-state
hadoop-hdfs-namenode デーモン/instance-id/hadoop-hadoop-namenode.log
hadoop-hdfs-datanode デーモン/instance-id/hadoop-hadoop-datanode.log
hadoop-yarn (ResourceManager) デーモン/instance-id/yarn-hadoop-resourceマネージャー
hadoop-yarn (プロキシサーバー) デーモン/instance-id/yarn-hadoop-proxyserver
mapred-historyserver デーモン/instance-id/
httpfs デーモン/instance-id/httpfs.log(httpfs.log)
hive-server ノードinstance-id/hive-server/hive-server.log(/hive-server/hive-server.log)
hive-metastore ノードinstance-id/アプリ/hive.log
Hive CLI ノードinstance-id/アプリ/hive.log
YARN アプリケーションのユーザーログおよびコンテナログ task-attempts/
Mahout 該当なし
Pig 該当なし
spark-historyserver 該当なし
MapReduce ジョブ履歴ファイル jobs/

Command Runner

AMI バージョンを使用する場合、/home/hadoop/contrib/streaming/hadoop-streaming.jar のような多くのスクリプトまたはプログラムが、シェルのログインパス環境に置かれていないため、command-runner.jar または script-runner.jar などの jar ファイルを使用する際に完全パスを指定する必要があります。command-runner.jar が AMI に置かれるため、script-runner.jar を使用する場合のように完全 URI を指定する必要がなくなりました。

Replication Factor

レプリケーション係数を使用すると、Hadoop JVM をいつ起動するかを設定できます。Hadoop JVM は、タスクごとに新しく起動できます。これにより、タスクの独立性を高めることも、タスク間で JVM を共有してフレームワークのオーバーヘッドを低下させることもできます。多くの小さいファイルを処理する場合は、JVM を何回も再利用して起動のコストを分散させることに意味があります。ただし、各タスクが長時間かかる場合や大量のデータを処理する場合は、後続のタスクのためにすべてのメモリが確実に解放されるように、JVM を再利用しない選択もできます。AMI のバージョンを使用する場合は、configure-hadoop ブートストラップアクションを使用してレプリケーション係数をカスタマイズすることができ、mapred.job.reuse.jvm.num.tasks プロパティを設定します。

次の例は、無限の JVM 再利用の JVM 再利用係数の設定を示しています。

注記

読みやすくするため、Linux の行連結文字 (\) を含めています。Linux コマンドでは、これらの文字は削除することも、使用することもできます。Windows の場合は、削除するか、キャレット (^) で置き換えます。

aws emr create-cluster --name "Test cluster" --ami-version 3.11.0 \ --applications Name=Hue Name=Hive Name=Pig \ --use-default-roles --ec2-attributes KeyName=myKey \ --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m3.xlarge \ InstanceGroupType=CORE,InstanceCount=2,InstanceType=m3.xlarge \ --bootstrap-actions Path=s3://elasticmapreduce/bootstrap-actions/configure-hadoop,\ Name="Configuring infinite JVM reuse",Args=["-m","mapred.job.reuse.jvm.num.tasks=-1"]