Análise de registros com o CloudWatch Logs Insights

Depois de adicionar uma opção de CloudWatch registro ao seu aplicativo, conforme descrito na seção anterior, você pode usar o CloudWatch Logs Insights para consultar seus fluxos de registros em busca de eventos ou erros específicos.

CloudWatch O Logs Insights permite que você pesquise e analise interativamente seus dados de registro no CloudWatch Logs.

Para obter informações sobre como começar a usar o CloudWatch Logs Insights, consulte Analisar dados de registro com o CloudWatch Logs Insights.

Executar um exemplo de consulta

Esta seção descreve como executar um exemplo de consulta do CloudWatch Logs Insights.

Pré-requisitos

• Grupos de registros e fluxos de registros existentes configurados no CloudWatch Logs.

• Registros existentes armazenados em CloudWatch Registros.

Se você usa serviços como AWS CloudTrail o Amazon Route 53 ou o Amazon VPC, provavelmente já configurou os registros desses serviços para CloudWatch acessar o Logs. Para mais informações sobre o envio de CloudWatch registros para o Logs, consulte Introdução aos CloudWatch registros.

As consultas no CloudWatch Logs Insights retornam um conjunto de campos de eventos de log ou o resultado de uma agregação matemática ou outra operação realizada em eventos de log. Esta seção demonstra uma consulta que retorna uma lista de eventos de log.

Para executar uma consulta de amostra do CloudWatch Logs Insights

1. Abra o CloudWatch console em https://console.aws.amazon.com/cloudwatch/.

2. No painel de navegação, selecione Insights.

3. O editor de consultas próximo do topo da tela contém uma consulta padrão que retorna os vinte eventos de log mais recentes. Acima do editor de consultas, selecione um grupo de logs para consulta.

   Quando você seleciona um grupo de CloudWatch registros, o Logs Insights detecta automaticamente os campos nos dados do grupo de registros e os exibe nos campos descobertos no painel direito. Ele também exibe um gráfico de barras de eventos de log neste grupo de logs com o passar do tempo. Esse gráfico de barras mostra a distribuição de eventos no grupo de logs correspondente à consulta e ao intervalo de tempo, e não apenas os eventos exibidos na tabela.

4. Selecione Executar consulta.

   Os resultados da consulta são exibidos. Neste exemplo, os resultados são 20 eventos de log mais recentes de qualquer tipo.

5. Para ver todos os campos de um dos eventos de log retornados, selecione a seta para a esquerda desse evento de log.

Para obter mais informações sobre como executar e modificar consultas do CloudWatch Logs Insights, consulte Executar e modificar uma consulta de amostra.

Consultas de exemplo

Esta seção contém exemplos de consultas do CloudWatch Logs Insights para analisar os registros do aplicativo Managed Service for Apache Flink. Essas consultas fazem uma pesquisa entre vários exemplos de condições de erro e servem como modelos para escrever consultas que encontrem outras condições de erro.

nota

Substitua a região (us-west-2), a ID da conta (012345678901) e o nome do aplicativo YourApplication() nos exemplos de consulta a seguir pela região do seu aplicativo e pela ID da conta.

Analise as operações: distribuição de tarefas

A consulta a seguir do CloudWatch Logs Insights retorna o número de tarefas que o Apache Flink Job Manager distribui entre os gerenciadores de tarefas. Você precisa definir o período de tempo da consulta para corresponder a uma execução de trabalho para que a consulta não retorne tarefas de trabalhos anteriores. Para obter mais informações sobre paralelismo, consulte Escalabilidade.

fields @timestamp, message
| filter message like /Deploying/
| parse message " to flink-taskmanager-*" as @tmid
| stats count(*) by @tmid
| sort @timestamp desc
| limit 2000

A consulta a seguir do CloudWatch Logs Insights retorna as subtarefas atribuídas a cada Gerenciador de tarefas. O número total de subtarefas é a soma do paralelismo de cada tarefa. O paralelismo de tarefas é derivado do paralelismo do operador e é igual ao paralelismo do aplicativo por padrão, a menos que você o altere no código especificando setParallelism. Para obter mais informações sobre como definir o paralelismo do operador, consulte Definindo o paralelismo: nível do operador na documentação do Apache Flink.

fields @timestamp, @tmid, @subtask
| filter message like /Deploying/
| parse message "Deploying * to flink-taskmanager-*" as @subtask, @tmid
| sort @timestamp desc
| limit 2000

Para obter mais informações sobre a programação de tarefas, consulte Trabalhos e programações na documentação do Apache Flink.

Analise as operações: mudança no paralelismo

A consulta a seguir do CloudWatch Logs Insights retorna alterações no paralelismo de um aplicativo (por exemplo, devido ao escalonamento automático). Essa consulta também retorna alterações manuais no paralelismo do aplicativo. Para obter mais informações sobre a escalabilidade automática, consulte Escalabilidade automática.

fields @timestamp, @parallelism
| filter message like /property: parallelism.default, /
| parse message "default, *" as @parallelism
| sort @timestamp asc

Analisar erros: acesso negado

A consulta a seguir do CloudWatch Logs Insights retorna Access Denied registros.

fields @timestamp, @message, @messageType
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /AccessDenied/
| sort @timestamp desc

Analisar erros: fonte ou coletor não encontrados

A consulta a seguir do CloudWatch Logs Insights retorna ResourceNotFound registros. ResourceNotFoundos registros resultam se uma fonte ou coletor do Kinesis não for encontrada.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /ResourceNotFoundException/
| sort @timestamp desc

Analise erros: falhas relacionadas à tarefa do aplicativo

A consulta a seguir do CloudWatch Logs Insights retorna os registros de falhas relacionados à tarefa de um aplicativo. Esses logs acontecem se o status de um aplicativo mudar de RUNNING para RESTARTING.

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to RESTARTING/
| sort @timestamp desc

Para aplicativos que usam a versão 1.8.2 ou anterior do Apache Flink, as falhas relacionadas às tarefas resultarão na mudança do status do aplicativo de RUNNING para FAILED. Ao usar o Apache Flink 1.8.2 ou anterior, use a consulta a seguir para pesquisar falhas relacionadas à tarefas do aplicativo:

fields @timestamp,@message
| filter applicationARN like /arn:aws:kinesisanalyticsus-west-2:012345678901:application\/YourApplication/
| filter @message like /switched from RUNNING to FAILED/
| sort @timestamp desc