Masuk ke Layanan Terkelola untuk Apache Flink

Logging penting bagi aplikasi produksi untuk memahami kesalahan dan kegagalan. Namun, subsistem logging perlu mengumpulkan dan meneruskan entri log ke Log Sementara beberapa logging baik-baik saja dan diinginkan, logging ekstensif dapat membebani layanan dan menyebabkan aplikasi Flink tertinggal. CloudWatch Pengecualian dan peringatan logging tentu merupakan ide yang bagus. Tetapi Anda tidak dapat membuat pesan log untuk setiap pesan yang diproses oleh aplikasi Flink. Flink dioptimalkan untuk seluruh latensi tinggi dan latensi rendah, subsistem logging tidak. Jika benar-benar diperlukan untuk menghasilkan output log untuk setiap pesan yang diproses, gunakan tambahan DataStream di dalam aplikasi Flink dan wastafel yang tepat untuk mengirim data ke Amazon CloudWatch S3 atau. Jangan gunakan sistem logging Java untuk tujuan ini. Selain itu, Managed Service untuk Debug Monitoring Log Level pengaturan Apache Flink menghasilkan sejumlah besar lalu lintas, yang dapat menciptakan tekanan balik. Anda hanya harus menggunakannya saat secara aktif menyelidiki masalah dengan aplikasi.

Log kueri dengan Wawasan CloudWatch Log

CloudWatch Logs Insights adalah layanan yang ampuh untuk menanyakan log dalam skala besar. Pelanggan harus memanfaatkan kemampuannya untuk dengan cepat mencari melalui log untuk mengidentifikasi dan mengurangi kesalahan selama acara operasional.

Kueri berikut mencari pengecualian di semua log pengelola tugas dan memesannya sesuai dengan waktu terjadinya.

fields @timestamp, @message
| filter isPresent(throwableInformation.0) or isPresent(throwableInformation) or @message like /(Error|Exception)/
| sort @timestamp desc

Untuk kueri berguna lainnya, lihat Contoh Kueri.