Configure os tempos limite de provisionamento para o lançamento do cluster na Amazon EMR

Você pode definir um período de tempo limite para provisionar instâncias spot para cada frota do cluster. Se a Amazon não EMR puder provisionar a capacidade spot, você poderá optar por encerrar o cluster ou provisionar a capacidade sob demanda. Se o período de tempo limite terminar durante o processo de redimensionamento do cluster, a Amazon EMR cancelará solicitações spot não provisionadas. As instâncias spot que não foram provisionadas não são transferidas para a capacidade sob demanda.

Execute as etapas a seguir para personalizar um período de tempo limite de provisionamento para o lançamento do cluster com o console da Amazon. EMR

Console

Para configurar o tempo limite de provisionamento ao criar um cluster com o console

1. Faça login no AWS Management Console e abra o EMR console da Amazon em https://console.aws.amazon.com/emr.

2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

3. Na página Criar cluster, navegue até Configuração do cluster e selecione Frotas de instâncias.

4. Em Opção de ajuste de escala e provisionamento de clusters, especifique o tamanho do spot para suas frotas centrais e de tarefa.

5. Em Configuração de tempo limite spot, selecione Terminar cluster após o tempo limite spot ou Alternar para sob demanda após tempo limite spot. Em seguida, especifique o período de tempo limite para provisionamento de instâncias spot. O valor padrão é uma hora.

6. Escolha qualquer outra opção que se aplique ao cluster.

7. Para iniciar o cluster com o tempo limite configurado, escolha Criar cluster.

AWS CLI

Especificar um tempo limite de provisionamento com o comando create-cluster

aws emr create-cluster \
--release-label emr-5.35.0 \
--service-role EMR_DefaultRole \
--ec2-attributes '{"InstanceProfile":"EMR_EC2_DefaultRole","SubnetIds":["subnet-XXXXX"]}' \
--instance-fleets '[{"InstanceFleetType":"MASTER","TargetOnDemandCapacity":1,"TargetSpotCapacity":0,"LaunchSpecifications":{"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":100,"InstanceType":"m5.xlarge"}],"Name":"Master - 1"},{"InstanceFleetType":"CORE","TargetOnDemandCapacity":1,"TargetSpotCapacity":1,"LaunchSpecifications":{"SpotSpecification":{"TimeoutDurationMinutes":120,"TimeoutAction":"SWITCH_TO_ON_DEMAND"},"OnDemandSpecification":{"AllocationStrategy":"lowest-price"}},"InstanceTypeConfigs":[{"WeightedCapacity":1,"EbsConfiguration":{"EbsBlockDeviceConfigs":[{"VolumeSpecification":{"SizeInGB":32,"VolumeType":"gp2"},"VolumesPerInstance":2}]},"BidPriceAsPercentageOfOnDemandPrice":1,"InstanceType":"m5.xlarge"}],"Name":"Core - 2"}]'