Etapa 4: verificar a integridade do cluster e das instâncias do Amazon EMR

Um cluster do Amazon EMR é composto por nós executados em instâncias da Amazon EC2 . Se essas instâncias tornarem-se limitadas por recursos (por exemplo, se ficarem sem memória ou CPU), passarem por problemas de conectividade de rede ou forem encerradas, a velocidade de processamento do cluster será prejudicada.

Existem até três tipos de nós em um cluster:

• nó principal: gerencia o cluster. Se ele sofrer um problema de desempenho, todo o cluster será afetado.

• nós core: processam tarefas map/reduce e mantêm o Sistema de Arquivos Distribuído do Hadoop (HDFS). Se um dos nós passar por um problema de desempenho, isso poderá retardar as operações do HDFS, bem como o processamento de map/reduce. Você pode adicionar outros nós core a um cluster para melhorar o desempenho, mas não pode remover nós core. Para obter mais informações, consulte Redimensionar manualmente um cluster do Amazon EMR em execução.

• nós de tarefa: processam tarefas map/reduce. Estes são recursos puramente de computação e não armazenam dados. Você pode adicionar nós de tarefas a um cluster para acelerar o desempenho ou pode remover nós de tarefas que não são necessários. Para obter mais informações, consulte Redimensionar manualmente um cluster do Amazon EMR em execução.

Ao examinar a integridade de um cluster, você deve considerar o desempenho do cluster como um todo, bem como o desempenho de instâncias individuais. Existem várias ferramentas que pode ser usadas:

Verifique a integridade do cluster com CloudWatch

Cada cluster do Amazon EMR reporta métricas para. CloudWatch Essas métricas fornecem informações de desempenho resumidas sobre o cluster, como a carga total, a utilização do HDFS, as tarefas em execução, as tarefas restantes, os blocos corrompidos e muito mais. A análise das CloudWatch métricas fornece uma visão geral do que está acontecendo com seu cluster e pode fornecer informações sobre o que está causando a lentidão no processamento. Além de usar CloudWatch para analisar um problema de desempenho existente, você pode definir alarmes que CloudWatch causem alertas caso ocorra um problema de desempenho futuro. Para obter mais informações, consulte Monitorando métricas do Amazon EMR com CloudWatch.

Verificar a integridade do status do trabalho e do HDFS

Use as Interfaces do usuário do aplicativo na página de detalhes do cluster para visualizar os detalhes do aplicativo YARN. Para determinados aplicativos, você pode analisar diretamente os logs de acesso em mais detalhes. Isso é útil principalmente para aplicativos Spark. Para obter mais informações, consulte Como exibir o histórico da aplicação do Amazon EMR.

O Hadoop fornece uma série de interfaces Web que você pode usar para visualizar informações. Para obter mais informações sobre como acessar essas interfaces Web, consulte Visualizar interfaces Web hospedadas em clusters do Amazon EMR.

• JobTracker — fornece informações sobre o progresso do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando um trabalho ficou preso.

• HDFS NameNode — fornece informações sobre a porcentagem de utilização do HDFS e o espaço disponível em cada nó. Você pode usar essa interface para identificar quando o HDFS está se tornando limitado por recursos e requer capacidade adicional.

• TaskTracker — fornece informações sobre as tarefas do trabalho que está sendo processado pelo cluster. Você pode usar essa interface para identificar quando uma tarefa ficou presa.

Verifique a integridade da instância com a Amazon EC2

Outra forma de procurar informações sobre o status das instâncias em seu cluster é usar o EC2 console da Amazon. Como cada nó no cluster é executado em uma EC2 instância, você pode usar ferramentas fornecidas pela Amazon EC2 para verificar seu status. Para obter mais informações, consulte Veja instâncias de cluster na Amazon EC2.