애플리케이션 구성 - Amazon EMR

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

애플리케이션 구성

애플리케이션에 대한 구성 객체를 제공하여 애플리케이션의 기본 구성을 재정의할 수 있습니다. 간편 구문을 사용하여 구성을 제공하거나 JSON 파일의 구성 객체를 참조할 수 있습니다. 구성 객체는 분류, 속성 및 선택적 중첩 구성으로 이루어져 있습니다. 속성은 해당 파일에서 변경할 설정입니다. 단일 JSON 객체에서 여러 애플리케이션에 대해 다양한 분류를 지정할 수 있습니다.

주의

Amazon EMR Describe 및 List API 작업은 사용자 지정 및 구성 가능한 설정을 내보내며 이는 일반 텍스트로 Amazon EMR 작업 흐름의 일부로 사용됩니다. 이러한 설정에 암호와 같은 민감한 정보를 삽입하지 않는 것이 좋습니다.

사용 가능한 구성 분류는 Amazon EMR 릴리스 버전에 따라 달라집니다. Amazon EMR의 각 릴리스 버전에 사용할 수 있는 구성 분류 목록은 Amazon EMR 릴리스 정보 단원을 참조하십시오.

다음은 구성 목록의 예제 JSON입니다.

[ { "Classification": "core-site", "Properties": { "hadoop.security.groups.cache.secs": "250" } }, { "Classification": "mapred-site", "Properties": { "mapred.tasktracker.map.tasks.maximum": "2", "mapreduce.map.sort.spill.percent": "0.90", "mapreduce.tasktracker.reduce.tasks.maximum": "5" } } ]

구성 분류는 애플리케이션별 구성 파일에 매핑되는 경우가 많습니다. 예를 들어, hive-site 분류는 Hive용 hive-site.xml 구성 파일의 설정에 매핑됩니다. 단, 사용 중단 부트스트랩 작업은 예외입니다. configure-daemons은 다음과 같은 환경 매개 변수를 설정하는 데 사용됩니다. --namenode-heap-size. 이와 같은 옵션은 hadoop-envyarn-env 분류에 중첩된 자체 수출 분류. 분류가 "env"로 종료되는 경우 내보내기 하위 분류를 사용하십시오. 다른 한 가지 예외는 s3get입니다. 이 옵션은 클라이언트 측 암호화에 사용할 클러스터의 각 노드에 고객 EncryptionMaterialsProvider 객체를 배치하는 데 사용되었습니다. 이 용도로 emrfs-site 분류에 옵션이 추가되었습니다.

다음은 hadoop-env 분류의 예제입니다.

[ { "Classification": "hadoop-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "HADOOP_DATANODE_HEAPSIZE": "2048", "HADOOP_NAMENODE_OPTS": "-XX:GCTimeRatio=19" }, "Configurations": [ ] } ] } ]

다음은 yarn-env 분류의 예제입니다.

[ { "Classification": "yarn-env", "Properties": { }, "Configurations": [ { "Classification": "export", "Properties": { "YARN_RESOURCEMANAGER_OPTS": "-Xdebug -Xrunjdwp:transport=dt_socket" }, "Configurations": [ ] } ] } ]

다음 설정은 구성 파일에 속하지 않지만 Amazon EMR에서 사용자를 대신하여 여러 설정을 설정하기 위해 사용됩니다.

Amazon EMR 큐레이트 설정
애플리케이션 릴리스 레이블 분류 유효한 속성 사용해야 하는 경우
Spark spark maximizeResourceAllocation 각 노드의 리소스를 최대한 활용할 수 있도록 실행기를 구성합니다.