AWS Data Pipeline は、新規顧客には利用できなくなりました。の既存のお客様は、通常どおりサービスを AWS Data Pipeline 引き続き使用できます。詳細はこちら
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。
EmrConfiguration
EmrConfiguration オブジェクトは、リリース 4.0.0 以降のEMRクラスターに使用される設定です。設定 (リストとして) は RunJobFlow API呼び出しのパラメータです。Amazon APIの設定EMRでは、分類と properties. AWS Data Pipeline uses を対応する Property オブジェクト EmrConfiguration とともに使用して、パイプラインの実行で起動されたEMRクラスターで Hadoop、Hive、Spark、Pig などのEmrClusterアプリケーションを設定します。設定は新しいクラスターに対してのみ変更できるため、既存のリソースに EmrConfiguration オブジェクトを指定することはできません。詳細については、「https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/」を参照してください。
例
次の設定オブジェクトは、io.file.buffer.size
で fs.s3.block.size
および core-site.xml
プロパティを設定します。
[ { "classification":"core-site", "properties": { "io.file.buffer.size": "4096", "fs.s3.block.size": "67108864" } } ]
対応するパイプラインオブジェクト定義は、 EmrConfiguration オブジェクトと property
フィールド内のプロパティオブジェクトのリストを使用します。
{ "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.1.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "coresite" } }, { "name": "coresite", "id": "coresite", "type": "EmrConfiguration", "classification": "core-site", "property": [{ "ref": "io-file-buffer-size" }, { "ref": "fs-s3-block-size" } ] }, { "name": "io-file-buffer-size", "id": "io-file-buffer-size", "type": "Property", "key": "io.file.buffer.size", "value": "4096" }, { "name": "fs-s3-block-size", "id": "fs-s3-block-size", "type": "Property", "key": "fs.s3.block.size", "value": "67108864" } ] }
次の例は、hadoop-env
分類で Hadoop 環境を設定するためのネスト設定です。
[ { "classification": "hadoop-env", "properties": {}, "configurations": [ { "classification": "export", "properties": { "YARN_PROXYSERVER_HEAPSIZE": "2396" } } ] } ]
この設定を使用する、対応するパイプライン定義オブジェクトを次に示します。
{ "objects": [ { "name": "ReleaseLabelCluster", "releaseLabel": "emr-4.0.0", "applications": ["spark", "hive", "pig"], "id": "ResourceId_I1mCc", "type": "EmrCluster", "configuration": { "ref": "hadoop-env" } }, { "name": "hadoop-env", "id": "hadoop-env", "type": "EmrConfiguration", "classification": "hadoop-env", "configuration": { "ref": "export" } }, { "name": "export", "id": "export", "type": "EmrConfiguration", "classification": "export", "property": { "ref": "yarn-proxyserver-heapsize" } }, { "name": "yarn-proxyserver-heapsize", "id": "yarn-proxyserver-heapsize", "type": "Property", "key": "YARN_PROXYSERVER_HEAPSIZE", "value": "2396" }, ] }
次の例では、 EMRクラスターの Hive 固有のプロパティを変更します。
{ "objects": [ { "name": "hivesite", "id": "hivesite", "type": "EmrConfiguration", "classification": "hive-site", "property": [ { "ref": "hive-client-timeout" } ] }, { "name": "hive-client-timeout", "id": "hive-client-timeout", "type": "Property", "key": "hive.metastore.client.socket.timeout", "value": "2400s" } ] }
構文
このオブジェクトは次のフィールドを含みます。
必須フィールド | 説明 | スロットタイプ |
---|---|---|
分類 | 設定の分類。 | 文字列 |
オプションのフィールド | 説明 | スロットタイプ |
---|---|---|
設定 | この設定のサブ設定。 | リファレンスオブジェクト、例:「configuration」:{「ref"myEmrConfigurationId」} |
parent | スロットの継承元となる現在のオブジェクトの親。 | リファレンスオブジェクト、例:「parent」:{「ref"myBaseObjectId」} |
property | 設定のプロパティ。 | リファレンスオブジェクト、例:「プロパティ」:{「ref"myPropertyId」} |
実行時フィールド | 説明 | スロットタイプ |
---|---|---|
@version | オブジェクトが作成されたパイプラインのバージョン。 | 文字列 |
システムフィールド | 説明 | スロットタイプ |
---|---|---|
@error | 形式が正しくないオブジェクトを説明するエラー | 文字列 |
@pipelineId | このオブジェクトが属するパイプラインの ID | 文字列 |
@sphere | オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します | 文字列 |