Configurar grupos de instâncias uniformes
Com a configuração de grupos de instâncias, cada tipo de nó (principal, core ou tarefa) consiste no mesmo tipo de instância e na mesma opção de compra para instâncias: Sob demanda ou Spot. Você especifica essas configurações ao criar um grupo de instâncias. Não é possível alterá-las depois. No entanto, você pode adicionar instâncias do mesmo tipo e opção de compra a grupos de instâncias core e de tarefas. Você também pode remover instâncias.
Se as instâncias sob demanda do cluster corresponderem aos atributos das reservas de capacidade aberta (tipo de instância, plataforma, locação e zona de disponibilidade) disponíveis na conta, as reservas de capacidade serão aplicadas automaticamente. É possível usar reservas de capacidade aberta para nós primários, centrais e de tarefa. No entanto, você não poderá usar reservas de capacidade direcionadas nem impedir que instâncias sejam iniciadas em reservas de capacidade abertas com atributos correspondentes ao provisionar clusters usando grupos de instâncias. Para usar reservas de capacidade direcionadas ou evitar que instâncias sejam iniciadas em reservas de capacidade abertas, use frotas de instâncias. Para obter mais informações, consulte Usar reservas de capacidade com a frotas de instância.
Para adicionar tipos de instâncias diferentes depois que um cluster for criado, é possível adicionar outros grupos de instâncias de tarefas. Você pode escolher diferentes tipos de instância e opções de compra para cada grupo de instância. Para obter mais informações, consulte Usar ajuste de escala de clusters.
Ao iniciar instâncias, a preferência da reserva de capacidade da instância sob demanda será padronizada como open
, o que permitirá que ela seja executada em qualquer reserva de capacidade em aberto que tenha atributos correspondentes (tipo de instância, plataforma, zona de disponibilidade). Para obter mais informações sobre reservas de capacidade sob demanda, consulte Usar reservas de capacidade com a frotas de instância.
Esta seção discute a criação de um cluster com grupos de instâncias uniformes. Para obter mais informações sobre como modificar um grupo de instâncias existente, adicionando ou removendo instâncias manualmente ou com escalabilidade automática, consulte Gerenciar clusters.
Usar o console para configurar grupos de instâncias uniformes
nota
Reformulamos o console do Amazon EMR para torná-lo mais fácil de usar. Consulte O que há de novo no console? para conhecer as diferenças entre as experiências do console antigo e novo.
Usar a AWS CLI para criar um cluster com grupos de instâncias uniformes
Para especificar a configuração de grupos de instâncias para um cluster usando a AWS CLI, use o comando create-cluster
junto com o parâmetro --instance-groups
. O Amazon EMR supõe a opção de instância sob demanda, a menos que você especifique o argumento BidPrice
para um grupo de instâncias. Para obter exemplos de comandos create-cluster
que executam grupos de instâncias uniformes com instâncias sob demanda e uma variedade de opções de cluster, digite aws emr create-cluster help
na linha de comando, ou consulte create-cluster na AWS CLI Command Reference.
Você pode usar a AWS CLI para criar grupos de instâncias uniformes em um cluster que usar instâncias Spot. O preço Spot oferecido depende da zona de disponibilidade. Ao usar a CLI ou a API, você pode especificar a zona de disponibilidade com o argumento AvailabilityZone
(se estiver usando uma rede EC2-classic) ou o SubnetID
argumento do parâmetro --ec2-attributes
. A zona de disponibilidade ou sub-rede selecionada se aplica ao cluster e, portanto, é usada para todos os grupos de instâncias. Se você não especificar uma zona de disponibilidade ou sub-rede explicitamente, o Amazon EMR selecionará a zona de disponibilidade com o menor preço spot quando iniciar o cluster.
O exemplo a seguir demonstra um comando create-cluster
que cria um grupo de instâncias primárias, um grupo de instâncias centrais e dois grupos de instâncias de tarefa, todos usando instâncias spot. Substitua myKey
pelo nome do par de chaves do Amazon EC2.
nota
Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).
aws emr create-cluster --name "
MySpotCluster
" \ --release-labelemr-5.36.1
\ --use-default-roles \ --ec2-attributes KeyName=myKey
\ --instance-groups \ InstanceGroupType=MASTER
,InstanceType=m5.xlarge
,InstanceCount=1
,BidPrice=0.25
\ InstanceGroupType=CORE
,InstanceType=m5.xlarge
,InstanceCount=2
,BidPrice=0.03
\ InstanceGroupType=TASK
,InstanceType=m5.xlarge
,InstanceCount=4
,BidPrice=0.03
\ InstanceGroupType=TASK
,InstanceType=m5.xlarge
,InstanceCount=2
,BidPrice=0.04
Usando a CLI, é possível criar clusters de grupos de instâncias uniformes que especificam uma AMI personalizada exclusiva para cada tipo de instância do grupo de instâncias. Assim, você pode usar arquiteturas de instância diferentes no mesmo grupo de instâncias. Todo tipo de instância deve usar uma AMI personalizada com uma arquitetura correspondente. Por exemplo, você configuraria um tipo de instância m5.xlarge com uma AMI personalizada de arquitetura x86_64 e um tipo de instância m6g.xlarge com uma AMI personalizada de arquitetura AWS AARCH64
(ARM) correspondente.
O exemplo a seguir mostra um cluster uniforme de grupos de instâncias criado com dois tipos de instância, cada um com a própria AMI personalizada. As AMIs personalizadas são especificadas somente no nível do tipo de instância, não no nível do cluster. Isso evita conflitos entre AMIs do tipo de instância e uma AMI no nível do cluster, o que faria com que a inicialização do cluster falhasse.
aws emr create-cluster --release-label emr-5.30.0 \ --service-role EMR_DefaultRole \ --ec2-attributes SubnetId=subnet-22XXXX01,InstanceProfile=EMR_EC2_DefaultRole \ --instance-groups \ InstanceGroupType=MASTER,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456 \ InstanceGroupType=CORE,InstanceType=m6g.xlarge,InstanceCount=1,CustomAmiId=ami-234567
É possível adicionar múltiplas AMIs personalizadas a um grupo de instâncias que você adiciona a um cluster em execução. O argumento CustomAmiId
pode ser usado com o comando add-instance-groups
, conforme mostrado no exemplo a seguir.
aws emr add-instance-groups --cluster-id j-123456 \ --instance-groups \ InstanceGroupType=Task,InstanceType=m5.xlarge,InstanceCount=1,CustomAmiId=ami-123456
Usar o SDK para Java para criar um grupo de instâncias
Você instancia um objeto InstanceGroupConfig
que especifica a configuração de um grupo de instâncias para um cluster. Para usar instâncias Spot, defina as propriedades withBidPrice
e withMarket
no objeto InstanceGroupConfig
. O código a seguir mostra como definir grupos de instância primários, centrais e de tarefa que executam instâncias Spot.
InstanceGroupConfig instanceGroupConfigMaster = new InstanceGroupConfig() .withInstanceCount(1) .withInstanceRole("MASTER") .withInstanceType("m4.large") .withMarket("SPOT") .withBidPrice("0.25"); InstanceGroupConfig instanceGroupConfigCore = new InstanceGroupConfig() .withInstanceCount(4) .withInstanceRole("CORE") .withInstanceType("m4.large") .withMarket("SPOT") .withBidPrice("0.03"); InstanceGroupConfig instanceGroupConfigTask = new InstanceGroupConfig() .withInstanceCount(2) .withInstanceRole("TASK") .withInstanceType("m4.large") .withMarket("SPOT") .withBidPrice("0.10");