기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
인스턴스 그룹에서 사용자 지정 정책과 함께 자동 조정 사용
Amazon EMR 릴리스 4.0 이상에서 사용자 지정 정책을 사용한 자동 크기 조정을 사용하면 조정 정책에서 지정한 CloudWatch 지표 및 기타 파라미터를 기반으로 코어 노드와 작업 노드를 프로그래밍 방식으로 확장하고 확장할 수 있습니다. 사용자 지정 정책이 포함된 자동 조정은 인스턴스 그룹 구성에서 사용 가능하며, 인스턴스 플릿에는 사용할 수 없습니다. 인스턴스 그룹과 인스턴스 플릿에 대한 자세한 내용은 인스턴스 플릿이나 균일한 인스턴스 그룹을 사용하여 클러스터 생성 단원을 참조하십시오.
참고
EMRAmazon에서 사용자 지정 정책 기능과 함께 자동 크기 조정을 사용하려면 클러스터를 생성할 때 VisibleToAllUsers 파라미터를 true 설정해야 합니다. 자세한 내용은 SetVisibleToAllUsers를 참조하세요.
확장 정책은 인스턴스 그룹 구성의 일부입니다. 인스턴스 그룹의 초기 구성 중에 또는 해당 인스턴스 그룹이 활성화되어 있어도 기존 클러스터의 인스턴스 그룹을 수정하여 정책을 지정할 수 있습니다. 프라이머리 인스턴스 그룹을 제외하고 클러스터의 각 인스턴스 그룹에는 스케일 아웃 및 스케일 인 규칙으로 구성된 자체 조정 정책이 있을 수 있습니다. 확장 및 축소 규칙은 각 규칙마다 다른 파라미터를 사용하여 개별적으로 구성할 수 있습니다.
다음을 사용하여 조정 정책을 구성할 수 있습니다. AWS Management Console, AWS CLI, 아니면 아마존 EMRAPI. 사용하는 경우 AWS CLI Amazon의 EMR API 경우 조정 정책을 JSON 형식으로 지정합니다. 또한 다음과 같은 경우 AWS CLI Amazon의 EMR API 경우 사용자 지정 CloudWatch 지표를 지정할 수 있습니다. 사용자 지정 지표는 다음과 같이 선택할 수 없습니다. AWS Management Console. 콘솔로 조정 정책을 처음 생성할 때는 시작하는 데 도움이 되도록 여러 애플리케이션에 적합한 기본 정책이 미리 구성되어 있습니다. 기본 규칙을 삭제 또는 수정할 수 있습니다.
자동 크기 조정을 통해 EMR 클러스터 용량을 on-the-fly 조정할 수는 있지만 여전히 기본 워크로드 요구 사항을 고려하고 노드 및 인스턴스 그룹 구성을 계획해야 합니다. 자세한 내용은 클러스터 구성 지침을 참조하세요.
참고
대부분의 워크로드에서 리소스 활용을 최적화하려면 확장 및 축소 규칙을 모두 설정하는 것이 바람직합니다. 다른 규칙 없이 어느 한 규칙만 설정하면 조정 활동 후에 인스턴스 수를 수동으로 조정해야 합니다. 즉, 이 경우 수동 재설정을 사용하여 "단방향" 자동 확장 또는 축소 정책을 설정합니다.
자동 조정을 위한 IAM 역할 생성
Amazon에서 자동 크기 조정을 수행하려면 조정 활동이 트리거될 때 인스턴스를 추가하고 종료할 권한이 있는 IAM 역할이 EMR 필요합니다. 적절한 역할 정책 및 신뢰 정책으로 구성된 기본 역할인 EMR_AutoScaling_DefaultRole을 이 용도로 사용할 수 있습니다. 처음으로 조정 정책을 사용하여 클러스터를 생성하는 경우 AWS Management Console, Amazon은 기본 역할을 EMR 생성하고 권한에 대한 기본 관리형 정책을 연결합니다. AmazonElasticMapReduceforAutoScalingRole
자동 조정 정책을 사용하여 클러스터를 생성하는 경우 AWS CLI먼저 기본 IAM 역할이 존재하는지 아니면 적절한 권한을 제공하는 정책이 연결된 사용자 지정 IAM 역할이 있는지 확인해야 합니다. 기본 역할을 생성하기 위해 클러스터를 생성하기 전에 create-default-roles 명령을 실행할 수 있습니다. 그런 다음, 클러스터를 생성할 때 --auto-scaling-role
EMR_AutoScaling_DefaultRole 옵션을 지정할 수 있습니다. 또는 사용자 지정 자동 조정 역할을 생성한 다음, 클러스터를 생성할 때 이를 지정할 수 있습니다(예를 들면 --auto-scaling-role
). EMRAmazon용 사용자 지정 자동 조정 역할을 생성하는 경우 관리형 정책을 기반으로 사용자 지정 역할에 대한 권한 정책을 기반으로 하는 것이 좋습니다. 자세한 내용은 Amazon EMR 권한에 대한 IAM 서비스 역할을 다음과 같이 구성합니다. AWS
서비스 및 리소스 단원을 참조하십시오.MyEMRAutoScalingRole
자동 조정 규칙 이해
확장 규칙이 인스턴스 그룹의 조정 활동을 트리거하면 규칙에 따라 Amazon EC2 인스턴스가 인스턴스 그룹에 추가됩니다. Amazon EC2 인스턴스가 상태에 진입하는 즉시 Apache Spark, Apache Hive, Presto와 같은 애플리케이션에서 새 노드를 사용할 수 있습니다. InService 인스턴스를 종료하고 노드를 제거하는 축소 규칙도 설정할 수 있습니다. 자동으로 확장되는 Amazon EC2 인스턴스의 수명 주기에 대한 자세한 내용은 Amazon Auto Scaling 사용 설명서의 EC2 Auto Scaling 수명 주기를 참조하십시오.
클러스터가 Amazon EC2 인스턴스를 종료하는 방법을 구성할 수 있습니다. Amazon EC2 인스턴스 시간 내에 종료하여 청구를 위해 종료하거나 작업 완료 시 종료하도록 선택할 수 있습니다. 이 설정은 자동 조정 및 수동 크기 조정 조작에 모두 적용됩니다. 이 구성에 대한 자세한 정보는 클러스터 스케일 다운 옵션 섹션을 참조하세요.
정책의 각 규칙에 대한 다음 파라미터가 Auto Scaling 동작을 결정합니다.
참고
여기에 나열된 파라미터는 다음을 기반으로 합니다. AWS Management Console 아마존용EMR. 사용하는 경우 AWS CLI Amazon의 EMR API 경우 추가 고급 구성 옵션을 사용할 수 있습니다. 고급 옵션에 대한 자세한 내용은 Amazon EMR API 참조를 참조하십시오 SimpleScalingPolicyConfiguration.
-
Maximum instances 및 Minimum instances. 최대 인스턴스 제약 조건은 인스턴스 그룹에 포함될 수 있는 최대 Amazon EC2 인스턴스 수를 지정하며 모든 확장 규칙에 적용됩니다. 마찬가지로 최소 인스턴스 제약 조건은 Amazon EC2 인스턴스의 최소 수를 지정하며 모든 확장 규칙에 적용됩니다.
-
규칙 이름은 정책 내에서 고유해야 합니다.
-
조정 조정: 규칙에 의해 트리거된 조정 활동 중에 추가 (확장 규칙의 경우) 또는 종료 (축소 규칙의 경우) 할 EC2 인스턴스의 수를 결정합니다.
-
이 CloudWatch 지표는 경보 상태를 확인하기 위해 감시됩니다.
-
CloudWatch 지표를 임계값과 비교하고 트리거 조건을 결정하는 데 사용되는 비교 연산자입니다.
-
스케일링 활동이 트리거되기 전에 CloudWatch 지표가 트리거 조건에 있어야 하는 평가 기간 (5분 증분).
-
[Cooldown period]는 조정 활동을 트리거하는 규칙에 상관없이 규칙에서 시작한 조정 활동과 다음 조정 활동 시작 사이에 경과해야 할 기간(초 단위)을 결정합니다. 인스턴스 그룹이 조정 활동을 완료하고 규모 조정 후 상태에 도달하면 휴지 기간을 통해 후속 조정 활동을 트리거할 수 있는 CloudWatch 지표가 안정화될 수 있습니다. 자세한 내용은 Amazon Auto Scaling 사용 설명서의 EC2 Auto Scaling 휴지 시간을 참조하십시오.
고려 사항 및 제한
-
Amazon CloudWatch 지표는 Amazon EMR 자동 크기 조정이 작동하는 데 매우 중요합니다. Amazon CloudWatch 지표를 면밀히 모니터링하여 데이터가 누락되지 않았는지 확인하는 것이 좋습니다. 누락된 지표를 탐지하도록 Amazon 경보를 구성하는 방법에 대한 자세한 내용은 Amazon CloudWatch CloudWatch 경보 사용을 참조하십시오.
-
EBS볼륨을 과도하게 사용하면 Managed Scaling 문제가 발생할 수 있습니다. 볼륨 사용량을 면밀히 모니터링하여 EBS 볼륨 사용률이 90% 미만인지 확인하는 EBS 것이 좋습니다. 추가 EBS 볼륨 지정에 대한 자세한 내용은 인스턴스 스토리지를 참조하십시오.
-
Amazon EMR 릴리스 5.18 ~ 5.28에서 사용자 지정 정책을 사용한 자동 크기 조정을 사용하면 Amazon 지표에서 간헐적으로 누락된 데이터로 인해 조정 실패가 발생할 수 있습니다. CloudWatch 자동 크기 조정을 개선하려면 최신 Amazon EMR 버전을 사용하는 것이 좋습니다. 문의할 수도 있습니다. AWS 5.18에서 5.28 사이의 Amazon EMR 릴리스를 사용해야 하는 경우 패치를 지원합니다
.
사용 AWS Management Console 자동 크기 조정을 구성하려면
클러스터를 생성할 때 고급 클러스터 구성 옵션을 사용하여 인스턴스 그룹에 대한 조정 정책을 구성합니다. 또한 기존 클러스터의 Hardware(하드웨어) 설정에서 인스턴스 그룹을 수정하여 서비스 중인 인스턴스 그룹에 대한 조정 정책을 생성하거나 수정할 수 있습니다.
새 Amazon EMR 콘솔로 이동한 다음 측면 탐색에서 이전 콘솔로 전환을 선택합니다. 이전 콘솔로 전환할 때 예상되는 사항에 대한 자세한 내용은 이전 콘솔 사용을 참조하세요.
-
클러스터를 생성하는 경우 Amazon EMR 콘솔에서 클러스터 생성을 선택하고 고급 옵션으로 이동을 선택하고 1단계: 소프트웨어 및 단계의 옵션을 선택한 다음 2단계: 하드웨어 구성으로 이동합니다.
또는
실행 중인 클러스터의 인스턴스 그룹을 수정할 경우 클러스터 목록에서 클러스터를 선택한 다음 Hardware(하드웨어) 섹션을 확장합니다.
-
클러스터 크기 조정 및 프로비저닝 옵션 섹션에서 클러스터 크기 조정 활성화를 선택합니다. 그런 다음 Create a custom automatic scaling policy(사용자 지정 자동 조정 정책 생성)를 선택합니다.
Custom automatic scaling policies(사용자 지정 자동 조정 정책) 표에서, 구성할 인스턴스 그룹의 행에 나타나는 연필 아이콘을 클릭합니다. Auto Scaling 규칙 화면이 열립니다.
-
확장 후 인스턴스 그룹에 포함할 최대 인스턴스를 입력하고, 축소 후 인스턴스 그룹에 포함할 최소 인스턴스를 입력합니다.
-
규칙 파라미터를 편집하려면 연필을 클릭하고, 정책에서 규칙을 제거하려면 X를 클릭하며, 규칙을 추가하려면 Add rule(규칙 추가)을 클릭합니다.
-
이 주제의 앞부분에서 설명한 대로 규칙 파라미터를 선택합니다. EMRAmazon에서 사용할 수 있는 CloudWatch 측정치에 대한 설명은 Amazon 사용 CloudWatch 설명서의 Amazon EMR 측정치 및 측정기준을 참조하십시오.
사용 AWS CLI 자동 크기 조정을 구성하려면
다음을 사용할 수 있음: AWS CLI 클러스터를 생성할 때와 인스턴스 그룹을 생성할 때 Amazon에서 자동 조정을 EMR 구성하도록 하는 명령입니다. 간단한 구문을 사용하여 관련 명령 내에서 JSON 구성을 인라인으로 지정하거나 구성이 포함된 파일을 참조할 수 있습니다. JSON 기존 인스턴스 그룹에 자동 조정 정책을 적용하고 이전에 적용한 자동 조정 정책을 제거할 수도 있습니다. 또한 실행 중인 클러스터에서 확장 정책 구성의 세부 정보를 검색할 수 있습니다.
중요
자동 조정 정책이 있는 클러스터를 생성할 때는 --auto-scaling-role
명령을 사용하여 자동 크기 조정을 위한 IAM 역할을 지정해야 합니다. 기본 역할은 MyAutoScalingRoleEMR_AutoScaling_DefaultRolecreate-default-roles 명령을 통해 생성이 가능합니다. 이 역할은 클러스터를 만들 때만 추가할 수 있으며 기존 클러스터에 추가할 수 없습니다.
자동 조정 정책을 구성할 때 사용할 수 있는 파라미터에 대한 자세한 설명은 Amazon PutAutoScalingPolicyEMRAPIReference를 참조하십시오.
인스턴스 그룹에 적용된 자동 조정 정책을 사용하여 클러스터 생성
aws emr
create-cluster 명령의 --instance-groups 옵션 내에서 자동 조정 구성을 지정할 수 있습니다. 다음 예제에서는 코어 인스턴스 그룹에 대한 자동 조정 정책이 인라인으로 제공되는 create-cluster 명령을 보여줍니다. 이 명령은 자동 조정 정책을 사용하여 자동 조정 정책을 생성할 때 나타나는 기본 확장 정책과 동일한 규모 조정 구성을 생성합니다. AWS Management Console 아마존용EMR. 간략하게 하기 위해 축소 정책은 표시되지 않습니다. 축소 규칙 없이 확장 규칙을 생성하는 것은 권장되지 않습니다.
aws emr create-cluster --release-labelemr-5.2.0--service-role EMR_DefaultRole --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --auto-scaling-role EMR_AutoScaling_DefaultRole --instance-groups Name=MyMasterIG,InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1 'Name=MyCoreIG,InstanceGroupType=CORE,InstanceType=m5.xlarge,InstanceCount=2,AutoScalingPolicy={Constraints={MinCapacity=2,MaxCapacity=10},Rules=[{Name=Default-scale-out,Description=Replicates the default scale-out rule in the console.,Action={SimpleScalingPolicyConfiguration={AdjustmentType=CHANGE_IN_CAPACITY,ScalingAdjustment=1,CoolDown=300}},Trigger={CloudWatchAlarmDefinition={ComparisonOperator=LESS_THAN,EvaluationPeriods=1,MetricName=YARNMemoryAvailablePercentage,Namespace=AWS/ElasticMapReduce,Period=300,Statistic=AVERAGE,Threshold=15,Unit=PERCENT,Dimensions=[{Key=JobFlowId,Value="${emr.clusterId}"}]}}}]}'
다음 명령은 명령줄을 사용하여 인스턴스 그룹 구성 파일(instancegroupconfig.json
aws emr create-cluster --release-labelemr-5.2.0--service-role EMR_DefaultRole --ec2-attributes InstanceProfile=EMR_EC2_DefaultRole --instance-groups file://your/path/to/instancegroupconfig.json--auto-scaling-role EMR_AutoScaling_DefaultRole
구성 파일의 내용은 다음과 같습니다.
[ { "InstanceCount": 1, "Name": "MyMasterIG", "InstanceGroupType": "MASTER", "InstanceType": "m5.xlarge" }, { "InstanceCount": 2, "Name": "MyCoreIG", "InstanceGroupType": "CORE", "InstanceType": "m5.xlarge", "AutoScalingPolicy": { "Constraints": { "MinCapacity": 2, "MaxCapacity": 10 }, "Rules": [ { "Name": "Default-scale-out", "Description": "Replicates the default scale-out rule in the console for YARN memory.", "Action":{ "SimpleScalingPolicyConfiguration":{ "AdjustmentType": "CHANGE_IN_CAPACITY", "ScalingAdjustment": 1, "CoolDown": 300 } }, "Trigger":{ "CloudWatchAlarmDefinition":{ "ComparisonOperator": "LESS_THAN", "EvaluationPeriods": 1, "MetricName": "YARNMemoryAvailablePercentage", "Namespace": "AWS/ElasticMapReduce", "Period": 300, "Threshold": 15, "Statistic": "AVERAGE", "Unit": "PERCENT", "Dimensions":[ { "Key" : "JobFlowId", "Value" : "${emr.clusterId}" } ] } } } ] } } ]
자동 조정 정책이 있는 인스턴스 그룹을 클러스터에 추가
--instance-groups를 사용할 때와 같은 방법으로 add-instance-groups 명령과 함께 create-cluster 옵션을 사용하여 조정 정책 구성을 지정할 수 있습니다. 다음 예제에서는 인스턴스 그룹 구성과 함께 JSON 파일에 대한 참조를 사용합니다. instancegroupconfig.json
aws emr add-instance-groups --cluster-idj-1EKZ3TYEVF1S2--instance-groups file://your/path/to/instancegroupconfig.json
기존 인스턴스 그룹에 자동 조정 정책 적용 또는 적용된 정책 수정
aws emr put-auto-scaling-policy 명령을 사용하여 자동 조정 정책을 기존 인스턴스 그룹에 적용합니다. 인스턴스 그룹은 자동 조정 IAM 역할을 사용하는 클러스터의 일부여야 합니다. 다음 예에서는 자동 조정 정책 구성을 지정하는 JSON 파일에 대한 참조를 사용합니다. autoscaleconfig.json
aws emr put-auto-scaling-policy --cluster-idj-1EKZ3TYEVF1S2--instance-group-idig-3PLUZBA6WLS07--auto-scaling-policyfile://your/path/to/autoscaleconfig.json
이전 예제에 표시된 것과 동일한 확장 규칙을 정의하는 autoscaleconfig.json 파일의 내용이 아래에 표시됩니다.
{ "Constraints": { "MaxCapacity": 10, "MinCapacity": 2 }, "Rules": [{ "Action": { "SimpleScalingPolicyConfiguration": { "AdjustmentType": "CHANGE_IN_CAPACITY", "CoolDown": 300, "ScalingAdjustment": 1 } }, "Description": "Replicates the default scale-out rule in the console for YARN memory", "Name": "Default-scale-out", "Trigger": { "CloudWatchAlarmDefinition": { "ComparisonOperator": "LESS_THAN", "Dimensions": [{ "Key": "JobFlowId", "Value": "${emr.clusterID}" }], "EvaluationPeriods": 1, "MetricName": "YARNMemoryAvailablePercentage", "Namespace": "AWS/ElasticMapReduce", "Period": 300, "Statistic": "AVERAGE", "Threshold": 15, "Unit": "PERCENT" } } }] }
인스턴스 그룹에서 자동 조정 정책 제거
aws emr remove-auto-scaling-policy --cluster-idj-1EKZ3TYEVF1S2--instance-group-idig-3PLUZBA6WLS07
자동 조정 정책 구성 검색
describe-cluster명령은 InstanceGroup 블록의 정책 구성을 검색합니다. 예를 들어, 다음 명령은 클러스터 ID j-1CWOHP4PI30VJ의 클러스터에 대한 구성을 검색합니다.
aws emr describe-cluster --cluster-id j-1CWOHP4PI30VJ
다음과 같은 예제 출력이 생성됩니다.
{ "Cluster": { "Configurations": [], "Id": "j-1CWOHP4PI30VJ", "NormalizedInstanceHours": 48, "Name": "Auto Scaling Cluster", "ReleaseLabel": "emr-5.2.0", "ServiceRole": "EMR_DefaultRole", "AutoTerminate": false, "TerminationProtected": true, "MasterPublicDnsName": "ec2-54-167-31-38.compute-1.amazonaws.com", "LogUri": "s3n://aws-logs-232939870606-us-east-1/elasticmapreduce/", "Ec2InstanceAttributes": { "Ec2KeyName": "performance", "AdditionalMasterSecurityGroups": [], "AdditionalSlaveSecurityGroups": [], "EmrManagedSlaveSecurityGroup": "sg-09fc9362", "Ec2AvailabilityZone": "us-east-1d", "EmrManagedMasterSecurityGroup": "sg-0bfc9360", "IamInstanceProfile": "EMR_EC2_DefaultRole" }, "Applications": [ { "Name": "Hadoop", "Version": "2.7.3" } ], "InstanceGroups": [ { "AutoScalingPolicy": { "Status": { "State": "ATTACHED", "StateChangeReason": { "Message": "" } }, "Constraints": { "MaxCapacity": 10, "MinCapacity": 2 }, "Rules": [ { "Name": "Default-scale-out", "Trigger": { "CloudWatchAlarmDefinition": { "MetricName": "YARNMemoryAvailablePercentage", "Unit": "PERCENT", "Namespace": "AWS/ElasticMapReduce", "Threshold": 15, "Dimensions": [ { "Key": "JobFlowId", "Value": "j-1CWOHP4PI30VJ" } ], "EvaluationPeriods": 1, "Period": 300, "ComparisonOperator": "LESS_THAN", "Statistic": "AVERAGE" } }, "Description": "", "Action": { "SimpleScalingPolicyConfiguration": { "CoolDown": 300, "AdjustmentType": "CHANGE_IN_CAPACITY", "ScalingAdjustment": 1 } } }, { "Name": "Default-scale-in", "Trigger": { "CloudWatchAlarmDefinition": { "MetricName": "YARNMemoryAvailablePercentage", "Unit": "PERCENT", "Namespace": "AWS/ElasticMapReduce", "Threshold": 75, "Dimensions": [ { "Key": "JobFlowId", "Value": "j-1CWOHP4PI30VJ" } ], "EvaluationPeriods": 1, "Period": 300, "ComparisonOperator": "GREATER_THAN", "Statistic": "AVERAGE" } }, "Description": "", "Action": { "SimpleScalingPolicyConfiguration": { "CoolDown": 300, "AdjustmentType": "CHANGE_IN_CAPACITY", "ScalingAdjustment": -1 } } } ] }, "Configurations": [], "InstanceType": "m5.xlarge", "Market": "ON_DEMAND", "Name": "Core - 2", "ShrinkPolicy": {}, "Status": { "Timeline": { "CreationDateTime": 1479413437.342, "ReadyDateTime": 1479413864.615 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "RunningInstanceCount": 2, "Id": "ig-3M16XBE8C3PH1", "InstanceGroupType": "CORE", "RequestedInstanceCount": 2, "EbsBlockDevices": [] }, { "Configurations": [], "Id": "ig-OP62I28NSE8M", "InstanceGroupType": "MASTER", "InstanceType": "m5.xlarge", "Market": "ON_DEMAND", "Name": "Master - 1", "ShrinkPolicy": {}, "EbsBlockDevices": [], "RequestedInstanceCount": 1, "Status": { "Timeline": { "CreationDateTime": 1479413437.342, "ReadyDateTime": 1479413752.088 }, "State": "RUNNING", "StateChangeReason": { "Message": "" } }, "RunningInstanceCount": 1 } ], "AutoScalingRole": "EMR_AutoScaling_DefaultRole", "Tags": [], "BootstrapActions": [], "Status": { "Timeline": { "CreationDateTime": 1479413437.339, "ReadyDateTime": 1479413863.666 }, "State": "WAITING", "StateChangeReason": { "Message": "Cluster ready after last step completed." } } } }
