EmrConfiguration

EmrConfiguration 객체는 릴리스 4.0.0 이상의 EMR 클러스터에 사용되는 구성입니다. 구성 (목록) 은 API 호출의 매개 변수입니다. RunJobFlow Amazon EMR용 구성 API는 분류 및 속성을 사용합니다. AWS Data Pipeline 는 해당 Property 객체와 EmrConfiguration 함께 사용하여 파이프라인 실행에서 실행되는 EMR 클러스터에서 Hadoop, Hive, Spark 또는 Pig와 같은 EmrCluster 애플리케이션을 구성합니다. 새 클러스터의 구성만 변경할 수 있으므로 기존 리소스에 객체를 제공할 수 없습니다. EmrConfiguration 자세한 정보는 https://docs.aws.amazon.com/ElasticMapReduce/latest/ReleaseGuide/을 참조하세요.

예

다음 구성 객체는 core-site.xml으로 io.file.buffer.size 및 fs.s3.block.size 속성을 설정합니다.

[
   {  
      "classification":"core-site",
      "properties":
      {
         "io.file.buffer.size": "4096",
         "fs.s3.block.size": "67108864"
      }
   }
]

해당 파이프라인 개체 정의는 property 필드에 있는 EmrConfiguration 개체와 속성 개체 목록을 사용합니다.

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.1.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "coresite"
      }
    },
    {
      "name": "coresite",
      "id": "coresite",
      "type": "EmrConfiguration",
      "classification": "core-site",
      "property": [{
        "ref": "io-file-buffer-size"
      },
      {
        "ref": "fs-s3-block-size"
      }
      ]
    },
    {
      "name": "io-file-buffer-size",
      "id": "io-file-buffer-size",
      "type": "Property",
      "key": "io.file.buffer.size",
      "value": "4096"
    },
    {
      "name": "fs-s3-block-size",
      "id": "fs-s3-block-size",
      "type": "Property",
      "key": "fs.s3.block.size",
      "value": "67108864"
    }
  ]
}

다음 예제는 hadoop-env 분류를 사용하여 Hadoop 환경을 설정하도록 사용된 중첩 구성입니다.

[
  {
    "classification": "hadoop-env",
    "properties": {},
    "configurations": [
      {
        "classification": "export",
        "properties": {
          "YARN_PROXYSERVER_HEAPSIZE": "2396"
        }
      }
    ]
  }
]

다음은 이 구성을 사용하는 해당 파이프라인 정의 객체입니다.

{
  "objects": [
    {
      "name": "ReleaseLabelCluster",
      "releaseLabel": "emr-4.0.0",
      "applications": ["spark", "hive", "pig"],
      "id": "ResourceId_I1mCc",
      "type": "EmrCluster",
      "configuration": {
        "ref": "hadoop-env"
      }
    },
    {
      "name": "hadoop-env",
      "id": "hadoop-env",
      "type": "EmrConfiguration",
      "classification": "hadoop-env",
      "configuration": {
        "ref": "export"
      }
    },
    {
      "name": "export",
      "id": "export",
      "type": "EmrConfiguration",
      "classification": "export",
      "property": {
        "ref": "yarn-proxyserver-heapsize"
      }
    },
    {
      "name": "yarn-proxyserver-heapsize",
      "id": "yarn-proxyserver-heapsize",
      "type": "Property",
      "key": "YARN_PROXYSERVER_HEAPSIZE",
      "value": "2396"
    },
  ]
}

다음 예에서는 EMR 클러스터의 Hive 지정 속성을 수정합니다.

{
    "objects": [
        {
            "name": "hivesite",
            "id": "hivesite",
            "type": "EmrConfiguration",
            "classification": "hive-site",
            "property": [
                {
                    "ref": "hive-client-timeout"
                }
            ]
        },
        {
            "name": "hive-client-timeout",
            "id": "hive-client-timeout",
            "type": "Property",
            "key": "hive.metastore.client.socket.timeout",
            "value": "2400s"
        }
    ]
}

구문

이 객체에는 다음 필드가 포함됩니다.

필수 필드	설명	슬롯 유형
분류	구성에 대한 분류입니다.	String

선택 필드	설명	슬롯 유형
구성	이 구성의 하위 구성입니다.	참조 객체, 예: “구성”: {"ref”:” myEmrConfiguration Id "}
parent	슬롯을 상속할 현재 객체의 부모입니다.	참조 객체, 예: “부모”: {"ref”:” myBaseObject Id "}
property	구성 속성입니다.	참조 객체, 예: “속성”: {"ref”:” myPropertyId “}

실행 시간 필드	설명	슬롯 유형
@version	객체와 함께 생성된 파이프라인 버전입니다.	String

시스템 필드	설명	슬롯 유형
@오류	잘못 형성된 객체를 설명하는 오류	String
@pipelineId	이 객체가 속하는 파이프라인의 ID	String
@sphere	객체의 타원 무늬는 수명 주기 내 위치를 나타냅니다. Component Objects는 Attempt Objects를 실행하는 Instance Objects를 야기합니다.	String

참고

• EmrCluster

• 속성

• Amazon EMR 릴리즈 가이드