Registro em log do Managed Service for Apache Flink

O registro em log é importante para que os aplicativos de produção entendam erros e falhas. No entanto, o subsistema de log precisa coletar e encaminhar entradas de logs para o CloudWatch Logs. Embora alguns logs sejam bons e desejáveis, um log extensivo pode sobrecarregar o serviço e fazer com que o aplicativo Flink fique devagar. O log de exceções e avisos certamente é uma boa ideia. Mas, você não pode gerar uma mensagem de log para cada mensagem processada pelo aplicativo Flink. O Flink é otimizado para latências altas constantes e baixas, mas o subsistema de registro não é. Caso seja realmente necessário gerar uma saída de log para cada mensagem processada, use um DataStream adicional dentro do aplicativo Flink e um coletor adequado para enviar os dados para o Amazon S3 ou o CloudWatch. Não use o sistema de log Java para essa finalidade. Além disso, a Debug Monitoring Log Level configuração do Managed Service for Apache Flink gera uma grande quantidade de tráfego, o que pode criar contrapressão. Você só deve usá-lo enquanto estiver investigando ativamente os problemas com o aplicativo.

Consulta de logs com o CloudWatch Logs Insights

O CloudWatch Logs Insights é um serviço potente para consultar logs em grande escala. Os clientes devem aproveitar seus recursos para pesquisar rapidamente os logs para identificar e mitigar erros durante eventos operacionais.

A consulta a seguir procura exceções em todos os registros do gerenciador de tarefas e as ordena de acordo com a hora em que ocorreram.

fields @timestamp, @message
| filter isPresent(throwableInformation.0) or isPresent(throwableInformation) or @message like /(Error|Exception)/
| sort @timestamp desc

Para outras consultas úteis, consulte Exemplos de consultas.