アプリケーションの設定 - Amazon EMR

アプリケーションの設定

アプリケーションのデフォルトの設定を上書きするために、設定オブジェクトを指定できます。短縮構文を使用して設定を指定するか、JSON ファイルの設定オブジェクトを参照することができます。設定オブジェクトは、分類、プロパティ、オプションの入れ子になっている設定で構成されます。プロパティは、変更するアプリケーション設定に対応します。単一の JSON オブジェクトで、複数のアプリケーションに複数の分類を指定できます。

警告

Amazon EMR の Describe API オペレーションと List API オペレーションにより、Amazon EMR ジョブフローの一部として使用するカスタム設定と構成可能な設定がプレーンテキストで出力されます。こうした設定でパスワードなどの機密情報を指定する方法については、「AWS Secrets Manager」の「機密の設定データを保存する」を参照してください。

Amazon EMR リリースバージョンによって使用可能な設定分類は異なります。特定のリリースバージョンでサポートされている設定分類のリストについては、「Amazon EMR リリースについて」にあるそのリリースバージョンのページを参照してください。

設定の一覧の JSON ファイル例を次に示します。

[ { "Classification": "core-site", "Properties": { "hadoop.security.groups.cache.secs": "250" } }, { "Classification": "mapred-site", "Properties": { "mapred.tasktracker.map.tasks.maximum": "2", "mapreduce.map.sort.spill.percent": "0.90", "mapreduce.tasktracker.reduce.tasks.maximum": "5" } } ]

設定分類は、多くの場合アプリケーション固有の設定ファイルにマップします。たとえば、hive-site 分類は Hive の hive-site.xml 設定ファイルの設定にマッピングされます。この例外には、--namenode-heap-size のような環境パラメータの設定に使用される、サポートされなくなったブートストラップアクション configure-daemons があります。このようなオプションはそれ自身の下位エクスポート分類とともに、hadoop-env および yarn-env 分類の中に入れ子になっています。env で終わる分類には、下位エクスポート分類を使用してください。

もう 1 つの例外として s3get があり、これはクライアント側の暗号化で使用するために、クラスター内の各ノードに顧客の EncryptionMaterialsProvider オブジェクトを配置するのに使用されます。この用途には、emrfs-site 分類にオプションが追加されています。

hadoop-env 分類の例を次に示します。

[ { "Classification": "hadoop-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" }, "Configurations": [ ] } ] } ]

yarn-env 分類の例を次に示します。

[ { "Classification": "yarn-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket" }, "Configurations": [ ] } ] } ]

次の設定は設定ファイルに属しませんが、ユーザーに代わって複数の設定を構成できるようにするために Amazon EMR が使用します。

Amazon EMR-によって選別された設定
アプリケーション リリースラベルの分類 有効なプロパティ どのようなときに使うか
Spark spark maximizeResourceAllocation 各ノードの最大リソースを利用するようにエグゼキューターを設定します。