EmrConfiguration

EmrConfiguration オブジェクトは、リリース 4.0.0 以降のEMRクラスターに使用される設定です。設定 (リストとして) は RunJobFlow API呼び出しのパラメータです。Amazon APIの設定EMRでは、分類と properties. AWS Data Pipeline uses を対応する Property オブジェクト EmrConfiguration とともに使用して、パイプラインの実行で起動されたEMRクラスターで Hadoop、Hive、Spark、Pig などのEmrClusterアプリケーションを設定します。設定は新しいクラスターに対してのみ変更できるため、既存のリソースに EmrConfiguration オブジェクトを指定することはできません。詳細については、「https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/」を参照してください。

例

次の設定オブジェクトは、io.file.buffer.size で fs.s3.block.size および core-site.xml プロパティを設定します。

[
   {  
      "classification":"core-site",
      "properties":
      {
         "io.file.buffer.size": "4096",
         "fs.s3.block.size": "67108864"
      }
   }
]

対応するパイプラインオブジェクト定義は、 EmrConfiguration オブジェクトと propertyフィールド内のプロパティオブジェクトのリストを使用します。

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.1.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "coresite"
      }
    },
    {
      "name": "coresite",
      "id": "coresite",
      "type": "EmrConfiguration",
      "classification": "core-site",
      "property": [{
        "ref": "io-file-buffer-size"
      },
      {
        "ref": "fs-s3-block-size"
      }
      ]
    },
    {
      "name": "io-file-buffer-size",
      "id": "io-file-buffer-size",
      "type": "Property",
      "key": "io.file.buffer.size",
      "value": "4096"
    },
    {
      "name": "fs-s3-block-size",
      "id": "fs-s3-block-size",
      "type": "Property",
      "key": "fs.s3.block.size",
      "value": "67108864"
    }
  ]
}

次の例は、hadoop-env 分類で Hadoop 環境を設定するためのネスト設定です。

[
  {
    "classification": "hadoop-env",
    "properties": {},
    "configurations": [
      {
        "classification": "export",
        "properties": {
          "YARN_PROXYSERVER_HEAPSIZE": "2396"
        }
      }
    ]
  }
]

この設定を使用する、対応するパイプライン定義オブジェクトを次に示します。

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.0.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "hadoop-env"
      }
    },
    {
      "name": "hadoop-env",
      "id": "hadoop-env",
      "type": "EmrConfiguration",
      "classification": "hadoop-env",
      "configuration": {
        "ref": "export"
      }
    },
    {
      "name": "export",
      "id": "export",
      "type": "EmrConfiguration",
      "classification": "export",
      "property": {
        "ref": "yarn-proxyserver-heapsize"
      }
    },
    {
      "name": "yarn-proxyserver-heapsize",
      "id": "yarn-proxyserver-heapsize",
      "type": "Property",
      "key": "YARN_PROXYSERVER_HEAPSIZE",
      "value": "2396"
    },
  ]
}

次の例では、 EMRクラスターの Hive 固有のプロパティを変更します。

{
    "objects": [
        {
            "name": "hivesite",
            "id": "hivesite",
            "type": "EmrConfiguration",
            "classification": "hive-site",
            "property": [
                {
                    "ref": "hive-client-timeout"
                }
            ]
        },
        {
            "name": "hive-client-timeout",
            "id": "hive-client-timeout",
            "type": "Property",
            "key": "hive.metastore.client.socket.timeout",
            "value": "2400s"
        }
    ]
}

構文

このオブジェクトは次のフィールドを含みます。

必須フィールド	説明	スロットタイプ
分類	設定の分類。	文字列

オプションのフィールド	説明	スロットタイプ
設定	この設定のサブ設定。	リファレンスオブジェクト、例：「configuration」:{「ref"myEmrConfigurationId」}
parent	スロットの継承元となる現在のオブジェクトの親。	リファレンスオブジェクト、例：「parent」:{「ref"myBaseObjectId」}
property	設定のプロパティ。	リファレンスオブジェクト、例：「プロパティ」:{「ref"myPropertyId」}

実行時フィールド	説明	スロットタイプ
@version	オブジェクトが作成されたパイプラインのバージョン。	文字列

システムフィールド	説明	スロットタイプ
@error	形式が正しくないオブジェクトを説明するエラー	文字列
@pipelineId	このオブジェクトが属するパイプラインの ID	文字列
@sphere	オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します	文字列

以下の資料も参照してください。

• EmrCluster

• プロパティ

• Amazon EMR リリースガイド