Exibir arquivos de log do

Tanto a Amazon EMR quanto o Hadoop produzem arquivos de log que relatam o status no cluster. Por padrão, esses são gravados no nó primário, no diretório /mnt/var/log/. Dependendo de como você configurou seu cluster quando o executou, esses logs também podem ser arquivados no Amazon S3 e podem ser visualizados na ferramenta de depuração gráfica.

Há muitos tipos de logs gravados no nó primário. A Amazon EMR grava registros de etapas, ações de bootstrap e estados da instância. O Apache Hadoop grava logs para informar o processamento de trabalhos, tarefas e tentativas de tarefas. O Hadoop também registra logs de seus daemons. Para obter mais informações sobre os registros escritos pelo Hadoop, acesse http://hadoop.apache.org/docs/stable/ hadoop-project-dist /hadoop-common/ ClusterSetup .html.

Visualizar arquivos de log no nó primário

A tabela a seguir lista alguns dos arquivos de log que você encontrará no nó primário.

Local	Descrição
/emr/instance-controller/log/bootstrap-actions	Logs gravados durante o processamento das ações de bootstrap.
/mnt/var/log/ hadoop-state-pusher	Logs gravados pelo processo de agente de envio de estado do Hadoop.
/emr/instance-controller/log	Logs do controlador de instâncias.
/emr/instance-state	Logs de estado de instância. Eles contêm informações sobre o CPU estado da memória e os segmentos do coletor de lixo do nó.
/emr/service-nanny	Logs gravados pelo processo nanny de serviço.
/mnt/var/log/application	Logs específicos de um aplicativo, como o Hadoop, o Spark ou o Hive.
/mnt/var/log/hadoop/etapas/N	Logs de etapa que contêm informações sobre o processamento da etapa. O valor de N indica o stepId atribuído pela AmazonEMR. Por exemplo, um cluster tem duas etapas: s-1234ABCDEFGH e s-5678IJKLMNOP. A primeiro etapa está localizado em /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e segundo etapa, em /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Os registros de etapas escritos pela Amazon EMR são os seguintes. controller: informações sobre o processamento da etapa. Se a etapa falhar durante o carregamento, você encontrará o rastreamento da pilha nesse log. syslog: descreve a execução dos trabalhos do Hadoop na etapa. stderr: o canal de erro padrão do Hadoop enquanto ele processa a etapa. stdout: o canal de saída padrão do Hadoop enquanto ele processa a etapa.

Para visualizar arquivos de log no nó primário usando a AWS CLI.

1. Use SSH para se conectar ao nó primário conforme descrito emConecte-se ao nó primário usando SSH.

2. Navegue até o diretório que contém as informações do arquivo de log que você deseja visualizar. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará. O exemplo a seguir mostra o comando para navegar até o log de etapas com um ID s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Use um visualizador de arquivos de sua preferência para visualizar o arquivo de log. O exemplo a seguir usa o comando less do Linux para visualizar o arquivo de log controller.

   less controller

Visualizar arquivos de log arquivados no Amazon S3

Por padrão, os EMR clusters da Amazon lançados usando o console arquivam automaticamente os arquivos de log no Amazon S3. Você pode especificar seu próprio caminho de log ou pode permitir que o console gere automaticamente um caminho de log para você. Para clusters lançados usando o CLI ouAPI, você deve configurar o arquivamento de logs do Amazon S3 manualmente.

Quando a Amazon EMR está configurada para arquivar arquivos de log no Amazon S3, ela armazena os arquivos no local do S3 que você especificou, no/cluster-id/pasta, onde cluster-id é o ID do cluster.

A tabela a seguir lista alguns dos arquivos de log que você encontrará no Amazon S3.

Local	Descrição
/cluster-id/nó/	Logs de nós, incluindo logs de ações de bootstrap, estado da instância e aplicativo para o nó. Os registros de cada nó são armazenados em uma pasta rotulada com o identificador da EC2 instância desse nó.
/cluster-id/nó/instance-id/application	Os logs criados por cada aplicativo ou daemon associado a um aplicativo. Por exemplo, o log do servidor Hive está localizado em cluster-id/node/instance-id/hive/hive-server.log.
/cluster-id/etapas/step-id/	Logs de etapa que contêm informações sobre o processamento da etapa. O valor de step-id indica o ID da etapa atribuído pela AmazonEMR. Por exemplo, um cluster tem duas etapas: s-1234ABCDEFGH e s-5678IJKLMNOP. A primeiro etapa está localizado em /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ e segundo etapa, em /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Os registros de etapas escritos pela Amazon EMR são os seguintes. controller: informações sobre o processamento da etapa. Se a etapa falhar durante o carregamento, você encontrará o rastreamento da pilha nesse log. syslog: descreve a execução dos trabalhos do Hadoop na etapa. stderr: o canal de erro padrão do Hadoop enquanto ele processa a etapa. stdout: o canal de saída padrão do Hadoop enquanto ele processa a etapa.
/cluster-idcontainers/	Logs de contêiner de aplicativo. Os registros de cada YARN aplicativo são armazenados nesses locais.
/cluster-id/hadoop-mapreduce/	Os registros que contêm informações sobre detalhes de configuração e histórico de MapReduce trabalhos.

Visualizar os arquivos de log arquivados no Amazon S3 usando o console do Amazon S3

1. Faça login no AWS Management Console e abra o console do Amazon S3 em. https://console.aws.amazon.com/s3/

2. Abra o bucket do S3 especificado quando você configurou o cluster para arquivar arquivos de log no Amazon S3.

3. Navegue até o arquivo de log que contém as informações a serem exibidas. A tabela anterior fornece uma lista dos tipos de arquivos de log que estão disponíveis e onde você os encontrará.

4. Baixe o objeto do arquivo de log para visualizá-lo. Para obter instruções, consulte Fazer download de um objeto.