Registro en Managed Service para Apache Flink

El registro es importante para que las aplicaciones de producción comprendan los errores y las fallas. Sin embargo, el subsistema de registro debe recopilar y reenviar las entradas de registro a CloudWatch Logs. Si bien algunos registros están bien y son deseables, los registros extensos pueden sobrecargar el servicio y provocar que la aplicación Flink se quede atrás. Registrar las excepciones y advertencias es, sin duda, una buena idea. Sin embargo, no puede generar un mensaje de registro para todos y cada uno de los mensajes que procesa la aplicación Flink. Flink está optimizado para un rendimiento alto y una latencia baja, pero el subsistema de registro no lo está. En caso de que realmente sea necesario generar un registro de salida para cada mensaje procesado, utilice un DataStream adicional dentro de la aplicación Flink y un receptor adecuado para enviar los datos a Amazon S3 o CloudWatch. No utilice el sistema de registro de Java para este propósito. Además, la configuración de Debug Monitoring Log Level de Managed Service para Apache Flink genera una gran cantidad de tráfico, lo que puede generar retrasos. Solo debe usarlo mientras investiga activamente los problemas de la aplicación.

Consulta de registros con CloudWatch Logs Insights

CloudWatch Logs Insights es un potente servicio para consultar registros a gran escala. Los clientes deben aprovechar sus capacidades para buscar rápidamente en los registros a fin de identificar y mitigar los errores durante los eventos operativos.

La siguiente consulta busca las excepciones en todos los registros del administrador de tareas y las ordena según la hora en que se produjeron.

fields @timestamp, @message
| filter isPresent(throwableInformation.0) or isPresent(throwableInformation) or @message like /(Error|Exception)/
| sort @timestamp desc

Para ver otras consultas útiles, consulte Consultas de ejemplo.