Erro de cluster do Amazon EMR: tipo de instância sem suporte

Se você criar um cluster e ele falhar com a mensagem de erro “O tipo de instância solicitado não InstanceType é suportado na zona de disponibilidade solicitada”, significa que você criou o cluster e especificou um tipo de instância para um ou mais grupos de instâncias que não é suportado pelo Amazon EMR na região e na zona de disponibilidade em que o cluster foi criado. O Amazon EMR pode oferecer suporte a um tipo de instância em uma zona de disponibilidade de uma região e não em outra. A sub-rede selecionada para um cluster determina a Zona de disponibilidade na região.

Solução

Determine os tipos de instância disponíveis em uma zona de disponibilidade usando o AWS CLI

• Use o comando ec2 run-instances com a opção --dry-run. No exemplo abaixo, m5.xlarge substitua pelo tipo de instância que você deseja usar, pela AMI ami-035be7bafff33b6b6 associada a esse tipo de instância e subnet-12ab3c45 por uma sub-rede na zona de disponibilidade que você deseja consultar.

  aws ec2 run-instances --instance-type m5.xlarge --dry-run --image-id ami-035be7bafff33b6b6 --subnet-id subnet-12ab3c45

  Para obter instruções sobre como encontrar um ID de AMI, consulte Encontre uma AMI do Linux. Para encontrar um ID de sub-rede, você pode usar o comando describe-subnets.

Para saber mais sobre como descobrir os tipos de instância disponíveis, consulte Encontre um tipo de EC2 instância da Amazon.

Depois de determinar os tipos de instâncias disponíveis, você pode fazer o seguinte:

• Crie o cluster na mesma região e EC2 sub-rede e escolha um tipo de instância diferente com recursos semelhantes aos da sua escolha inicial. Para obter uma lista dos tipos de instâncias compatíveis, consulte Tipos de instância compatíveis do Amazon EMR. Para comparar as capacidades dos tipos de EC2 instância, consulte os tipos de EC2 instância da Amazon.

• Selecione uma sub-rede para o cluster em uma zona de disponibilidade onde o tipo de instância esteja disponível e tenha suporte do Amazon EMR.

Mitigue as falhas de lançamento do cluster da frota de instâncias devido a tipos de instância primária sem suporte no Amazon EMR

Os nós primários são essenciais nos clusters do Amazon EMR. A inicialização de um cluster do EMR pode falhar com um erro instance type not supported em que o Amazon EMR tenta iniciar o cluster em uma zona de disponibilidade, caso o tipo de instância primária não tenha suporte. A seleção aprimorada da zona de disponibilidade para clusters de frotas de instâncias no Amazon EMR filtra automaticamente os tipos de AZs instâncias primárias que você especificou na configuração do cluster. Isso significa que o Amazon EMR não escolherá uma zona de disponibilidade em que os tipos de instância primária configurados não tenham suporte, o que evita falhas na inicialização do cluster devido a tipos de instância não compatíveis.

Para permitir essa melhoria, adicione a permissão necessária ao perfil ou política de serviço do cluster. A versão mais recente do AmazonEMRServicePolicy_v2 inclui essa permissão, portanto, se você usar essa política, a melhoria já estará disponível. Ao usar um perfil ou política de serviço personalizados, adicione a permissão ec2:DescribeInstanceTypeOfferings ao iniciar o cluster.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "ec2:DescribeInstanceTypeOfferings",
            "Effect": "Allow",
            "Resource": "*"
        }
    ]
}