Que ferramentas estão disponíveis para a solução de problemas? - Amazon EMR

Que ferramentas estão disponíveis para a solução de problemas?

Para identificar e corrigir erros de cluster, use as ferramentas descritas nesta página. Talvez seja necessário inicializar algumas ferramentas ao iniciar o cluster. Outras ferramentas estão disponíveis para todos os clusters por padrão.

Visualizar detalhes do cluster do EMR

Você pode usar o AWS Management Console, a AWS CLI ou a API do EMR para recuperar informações detalhadas sobre um cluster e uma execução de trabalho do EMR. Para obter mais informações sobre o uso do AWS Management Console e da AWS CLI, consulte Visualizar o status e os detalhes do cluster.

Painel de detalhes do console do Amazon EMR

Na lista Clusters no console do Amazon EMR, você pode ver informações de alto nível sobre o status de cada cluster em sua conta e Região da AWS. A lista exibe todos os clusters ativos e terminados que você iniciou nos últimos dois meses. Na lista Clusters, você pode selecionar um Name (Nome) de cluster para visualizar detalhes do cluster. Essas informações são organizadas em diferentes categorias para facilitar a navegação.

As interfaces do usuário da aplicação disponíveis na página de detalhes do cluster podem ser para solucionar problemas de cluster. Ele fornece o status de aplicações do YARN e, para algumas, como aplicações Spark, você pode se aprofundar em diferentes métricas e facetas, como trabalhos, preparação e executores. Para obter mais informações, consulte Visualizar o histórico da aplicação. Esse atributo está disponível somente no Amazon EMR 5.8.0 e versões posteriores.

Interface de linha de comando do Amazon EMR

Você pode localizar detalhes sobre um cluster na AWS CLI usando o argumento --describe.

API do Amazon EMR

Você pode localizar detalhes sobre um cluster na API usando a ação DescribeJobFlows.

Visualizar detalhes do erro do cluster do EMR

Quando um cluster do EMR é terminado com um erro, as APIs DescribeCluster e ListClusters retornam um código de erro e uma mensagem de erro. Para erros de cluster selecionados, a matriz de dados ErrorDetail pode ajudar a solucionar a falha.

Para obter uma lista de códigos de erro que incluam dados ErrorDetail, consulte Códigos de erro com informações de ErrorDetail.

nota

Refinamos continuamente nossas mensagens de erro para você receber as informações mais recentes e pertinentes. Não é recomendável analisar o texto de ErrorMessage porque ele está sujeito a alterações.

Executar scripts e configurar processos do Amazon EMR

Como parte do processo de solução de problemas, talvez seja útil executar scripts personalizados no cluster ou visualizar e configurar processos de cluster.

Visualizar e reiniciar processos da aplicação

Pode ser útil visualizar os processos em execução no cluster para diagnosticar possíveis problemas. Você pode interromper e reiniciar os processos do cluster conectando-se ao nó principal do cluster. Para obter mais informações, consulte Visualizar e reiniciar processos do Amazon EMR e de aplicações (daemons).

Executar comandos e scripts sem uma conexão SSH

Para executar um comando ou script no cluster como uma etapa, você pode usar as ferramentas command-runner.jar ou script-runner.jar sem estabelecer uma conexão SSH com o nó principal. Para obter mais informações, consulte Run commands and scripts on an Amazon EMR cluster.

Exibir arquivos de log do

Tanto o Amazon EMR como o Hadoop geram arquivos de log conforme o cluster é executado. Você pode acessar esses arquivos de log de várias ferramentas diferentes, dependendo da configuração especificada ao iniciar o cluster. Para obter mais informações, consulte Configurar registro em log e depuração do cluster.

Arquivos de log no nó principal

Cada cluster publica arquivos de logs no diretório /mnt/var/log/ do nó principal. Esses arquivos de log estão disponíveis apenas enquanto o cluster está em execução.

Arquivos de log arquivados no Amazon S3

Se você executar o cluster e especificar um caminho de log do Amazon S3, o cluster copiará os arquivos de log armazenados em /mnt/var/log/ no nó principal para o Amazon S3 em intervalos de cinco minutos. Isso garante que você terá acesso aos arquivos de log, mesmo depois que o cluster for encerrado. Como os arquivos são arquivados em intervalos de 5 minutos, os últimos minutos de um cluster repentinamente encerrado podem não estar disponíveis.

Monitorar a performance do cluster do EMR

O Amazon EMR fornece várias ferramentas para monitorar a performance do cluster.

Interfaces Web do Hadoop

Cada cluster publica um conjunto de interfaces Web no nó principal que contêm informações sobre o cluster. Você pode acessar essas páginas da Web usando um túnel SSH para conectá-las ao nó principal. Para obter mais informações, consulte Visualizar interfaces Web hospedadas em clusters do Amazon EMR.

Métricas do CloudWatch

Todo cluster reporta métricas para o CloudWatch. O CloudWatch é um serviço Web que controla métricas e que você pode usar para definir alarmes sobre essas métricas. Para obter mais informações, consulte Monitorar o Amazon EMR com o CloudWatch.