Etapa 4: verificar a integridade do cluster e das instâncias

Um EMR cluster da Amazon é composto por nós executados em EC2 instâncias da Amazon. Se essas instâncias ficarem limitadas a recursos (como falta de memória CPU ou falta de memória), apresentarem problemas de conectividade de rede ou forem encerradas, a velocidade do processamento do cluster será prejudicada.

Existem até três tipos de nós em um cluster:

• nó principal: gerencia o cluster. Se ele sofrer um problema de desempenho, todo o cluster será afetado.

• nós principais — processa tarefas de redução de mapas e mantém o sistema de arquivos distribuído do Hadoop (). HDFS Se um desses nós tiver um problema de desempenho, ele poderá desacelerar HDFS as operações e reduzir o processamento de mapas. Você pode adicionar outros nós core a um cluster para melhorar o desempenho, mas não pode remover nós core. Para obter mais informações, consulte Redimensionar manualmente um cluster em execução.

• nós de tarefa: processam tarefas map/reduce. Estes são recursos puramente de computação e não armazenam dados. Você pode adicionar nós de tarefas a um cluster para acelerar o desempenho ou pode remover nós de tarefas que não são necessários. Para obter mais informações, consulte Redimensionar manualmente um cluster em execução.

Ao examinar a integridade de um cluster, você deve considerar o desempenho do cluster como um todo, bem como o desempenho de instâncias individuais. Existem várias ferramentas que pode ser usadas:

Verifique a integridade do cluster com CloudWatch

Cada EMR cluster da Amazon reporta métricas para CloudWatch. Essas métricas fornecem informações resumidas de desempenho sobre o cluster, como carga total, HDFS utilização, tarefas em execução, tarefas restantes, blocos corrompidos e muito mais. A análise das CloudWatch métricas fornece uma visão geral do que está acontecendo com seu cluster e pode fornecer informações sobre o que está causando a lentidão no processamento. Além de usar CloudWatch para analisar um problema de desempenho existente, você pode definir alarmes que CloudWatch causem alertas caso ocorra um problema de desempenho futuro. Para obter mais informações, consulte Monitorando EMR métricas da Amazon com CloudWatch.

Verifique o status do trabalho e HDFS a saúde

Use a guia Interfaces de usuário do aplicativo na página de detalhes do cluster para visualizar os detalhes do YARN aplicativo. Para determinados aplicativos, você pode analisar diretamente os logs de acesso em mais detalhes. Isso é útil principalmente para aplicativos Spark. Para obter mais informações, consulte Visualizar o histórico da aplicação.

O Hadoop fornece uma série de interfaces Web que você pode usar para visualizar informações. Para obter mais informações sobre como acessar essas interfaces Web, consulte Visualize interfaces web hospedadas em EMR clusters da Amazon.

• JobTracker — fornece informações sobre o progresso do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando um trabalho ficou preso.

• HDFS NameNode — fornece informações sobre a porcentagem de HDFS utilização e o espaço disponível em cada nó. Você pode usar essa interface para identificar quando HDFS está se tornando dependente de recursos e requer capacidade adicional.

• TaskTracker — fornece informações sobre as tarefas do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando uma tarefa ficou presa.

Verifique a integridade da instância com a Amazon EC2

Outra forma de procurar informações sobre o status das instâncias em seu cluster é usar o EC2 console da Amazon. Como cada nó no cluster é executado em uma EC2 instância, você pode usar ferramentas fornecidas pela Amazon EC2 para verificar seu status. Para obter mais informações, consulte Veja instâncias de cluster na Amazon EC2.