Substituindo nós insalubres pela Amazon EMR

A Amazon usa EMR periodicamente o serviço de verificação de NodeManager saúde no Apache Hadoop para monitorar o status dos nós principais em seus clusters Amazon on Amazon. EMR EC2 Se um nó não estiver funcionando de forma ideal, o verificador de saúde reporta esse nó ao controlador da Amazon. EMR O EMR controlador da Amazon adiciona o nó a uma lista de negação, impedindo que o nó receba novos YARN aplicativos até que o status do nó melhore. Um motivo comum pelo qual um nó pode se tornar não íntegro é a utilização excessiva do disco. Para obter mais informações sobre como identificar e recuperar os nós não íntegros, consulte Resource errors.

Você pode escolher se a Amazon EMR deve encerrar os nós não íntegros ou mantê-los no cluster. Se você desativar a substituição de nós não íntegros, os nós não íntegros permanecerão na lista de bloqueios e continuarão a contar para a capacidade do cluster. Você ainda pode se conectar à sua instância EC2 principal da Amazon para configuração e recuperação, para poder redimensionar seu cluster para aumentar a capacidade. Observe que a Amazon EMR substituirá os nós não íntegros mesmo se a proteção de encerramento estiver ativada.

Se a substituição de nós não íntegros estiver ativada, a Amazon EMR encerrará o nó principal não íntegro e provisionará uma nova instância com base no número de instâncias no grupo de instâncias ou na capacidade alvo das frotas de instâncias. Se vários ou todos os nós principais ficarem insalubres por mais de 45 minutos, a Amazon os EMR substituirá normalmente.

Importante

Para evitar a possibilidade de perda permanente de HDFS dados, já que a Amazon substitui EMR normalmente uma instância central não íntegra, recomendamos que você sempre faça backup de seus dados.

A Amazon EMR publica o Amazon CloudWatch Events para substituição de nós com problemas de integridade, para que você possa acompanhar o que está acontecendo com suas instâncias principais não íntegras. Para obter mais informações, consulte unhealthy node replacement events.

Configurações padrão de substituição de nós e proteção contra encerramento

A substituição de nós não íntegros está disponível para todas as EMR versões da Amazon, mas as configurações padrão dependem da etiqueta de lançamento que você escolher. Você pode alterar qualquer uma dessas definições configurando a substituição de nós não íntegros ao criar um cluster ou acessando a configuração do cluster a qualquer momento.

Se você estiver criando um cluster de nó único ou de alta disponibilidade que esteja executando a EMR versão 7.0 ou inferior da Amazon, a configuração padrão de substituição de nó não íntegra depende da proteção contra encerramento:

• Habilitar a proteção contra encerramento desabilita a substituição de nós não íntegros.

• Desabilitar a proteção contra encerramento habilita a substituição de nós não íntegros.

Como configurar a substituição de nós não íntegros ao iniciar um cluster

Você pode ativar ou desativar a substituição não íntegra de nós ao iniciar um cluster usando o console AWS CLI, o ou o. API

A configuração padrão de substituição de nós não íntegros depende de como você inicia o cluster:

• EMRConsole da Amazon — a substituição de nós não íntegros é ativada por padrão.

• AWS CLI aws emr create-cluster— a substituição de nós não íntegros é ativada por padrão, a menos que você especifique--no-unhealthy-node-replacement.

• EMRRunJobFlow APIComando Amazon — a substituição de nós não íntegros é ativada por padrão, a menos que você defina o valor UnhealthyNodeReplacement booleano como True ou. False

Console

Como ativar ou desativar a substituição de nós não íntegros ao criar um cluster usando o console

1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

2. EC2Em EMRAtivado, no painel de navegação esquerdo, escolha Clusters e, em seguida, escolha Criar cluster.

3. Para a versão de EMR lançamento, escolha a etiqueta de EMR lançamento da Amazon que você deseja.

4. Em Encerramento de cluster e substituição de nó, verifique se a opção Substituição de nó não íntegro (recomendada) está pré-selecionada ou desmarque a seleção para desativá-la.

5. Escolha qualquer outra opção que se aplique ao cluster.

6. Para iniciar o cluster, escolha Criar cluster.

AWS CLI

Para ativar ou desativar a substituição de nós não íntegros ao criar um cluster usando o AWS CLI

• Com o AWS CLI, você pode iniciar um cluster com a substituição de nós não íntegros ativada com o create-cluster comando com o --unhealthy-node-replacement parâmetro. A substituição de nós não íntegros está ativada por padrão.

  O seguinte exemplo cria um cluster com a substituição de nós não íntegros habilitada:

  nota

  Os caracteres de continuação de linha do Linux (\) são incluídos para facilitar a leitura. Eles podem ser removidos ou usados ​​em comandos do Linux. No Windows, remova-os ou substitua-os por um sinal de interpolação (^).

  aws emr create-cluster --name "SampleCluster" --release-label emr-7.5.0 \
  --applications Name=Hadoop Name=Hive Name=Pig \
  --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3 --unhealthy-node-replacement

  Para obter mais informações sobre o uso de EMR comandos da Amazon no AWS CLI, consulte EMR AWS CLI Comandos da Amazon.

Como configurar a substituição de nós não íntegros em um cluster em execução

Você pode ativar ou desativar a substituição de nós não íntegros de um cluster em execução usando o console AWS CLI, o ou o. API

Console

Para ativar ou desativar a substituição de nós não íntegros de um cluster em execução usando o console

1. Faça login no e abra AWS Management Console o EMR console da Amazon em https://console.aws.amazon.com/emr.

2. EMREC2Em Ativado, no painel de navegação esquerdo, escolha Clusters e selecione o cluster que você deseja atualizar.

3. Na guia Propriedades na página de detalhes do cluster, localize Encerramento do cluster e substituição do nó e selecione Editar.

4. Marque ou desmarque a caixa de seleção de substituição de nós não íntegros para ativar ou desativar o recurso. Depois selecione Salvar alterações para confirmar.

AWS CLI

Para ativar ou desativar a substituição de nós não íntegros em um cluster em execução usando o AWS CLI

• Para ativar a substituição de nós não íntegros de um cluster em execução com a AWS CLI, use o comando modify-cluster-attributes com o parâmetro --unhealthy-node-replacement. Para desabilitá-la, use o parâmetro --no-unhealthy-node-replacement.

  O exemplo a seguir ativa a substituição de nós não íntegros no cluster com ID: j-3KVTXXXXXX7UG

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --unhealthy-node-replacement

  O seguinte exemplo desativa a substituição de nós não íntegros no mesmo cluster:

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-unhealthy-node-replacement