Amazon에서 클러스터를 시작하기 위한 프로비저닝 타임아웃을 구성합니다. EMR

클러스터의 각 플릿에 스팟 인스턴스를 프로비저닝하는 제한 시간을 정의할 수 있습니다. Amazon에서 스팟 용량을 프로비저닝할 EMR 수 없는 경우 클러스터를 종료하거나 대신 온디맨드 용량을 프로비저닝하도록 선택할 수 있습니다. 클러스터 크기 조정 프로세스 중에 제한 시간이 끝나면 Amazon은 프로비저닝되지 않은 스팟 요청을 EMR 취소합니다. 프로비저닝되지 않은 스팟 인스턴스는 온디맨드 용량으로 전환되지 않습니다.

Amazon EMR 콘솔을 사용하여 클러스터 시작을 위한 프로비저닝 제한 시간을 사용자 지정하려면 다음 단계를 수행하십시오.

Console

콘솔로 클러스터를 생성할 때 프로비저닝 타임아웃을 구성하려면

1. 에 AWS Management Console로그인하고 https://console.aws.amazon.com/emr 에서 아마존 EMR 콘솔을 엽니다.

2. 왼쪽 탐색 창의 EMREC2켜짐에서 클러스터를 선택한 다음 클러스터 생성을 선택합니다.

3. 클러스터 생성 페이지에서 클러스터 구성으로 이동한 인스턴스 플릿을 선택합니다.

4. 클러스터 조정 및 프로비저닝 옵션에서 코어 및 태스크 플릿의 스팟 크기를 지정합니다.

5. 스팟 제한 시간 구성에서 스팟 제한 시간 후 클러스터 종료 또는 스팟 제한 시간 후 온디맨드로 전환을 선택합니다. 그런 다음 스팟 인스턴스를 프로비저닝하기 위한 제한 시간을 지정합니다. 기본값은 1시간입니다.

6. 클러스터에 적용되는 다른 옵션을 선택합니다.

7. 구성된 제한 시간으로 클러스터를 시작하려면 클러스터 생성을 선택합니다.

AWS CLI

create-cluster 명령으로 프로비저닝 제한 시간을 지정하는 방법

aws emr create-cluster \
--release-label emr-5.35.0 \
--service-role EMR_DefaultRole \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \
--instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'