Pemrosesan data log secara real-time dengan langganan - CloudWatch Log Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemrosesan data log secara real-time dengan langganan

Anda dapat menggunakan langganan untuk mendapatkan akses ke umpan log acara secara waktu nyata dari CloudWatch Logs dan mengirimkannya ke layanan lain, seperti pengaliran Amazon Kinesis, pengaliran Amazon Kinesis Data Firehose, atauAWS Lambda untuk pemrosesan, analisis, atau pemuatan khusus ke sistem lain. Ketika log acara dikirim ke layanan penerima, log dienkode dengan base64 dan dikompresi dengan format gzip.

Untuk mulai berlangganan log acara, buat sumber daya penerima, seperti aliran Kinesis, tempat kejadian akan dikirimkan. Filter langganan menentukan pola filter yang akan digunakan untuk pemfilteran log acara mana yang akan dikirim ke sumber daya AWS Anda, serta informasi tentang tujuan pengiriman log acara yang cocok.

Setiap grup log dapat memiliki hingga dua filter langganan yang terkait dengan grup.

catatan

Jika layanan tujuan mengembalikan kesalahan yang dapat dicoba lagi, seperti pengecualian throttling atau pengecualian layanan yang dapat dicoba lagi (misalnya HTTP 5xx), CloudWatch Logs akan terus mencoba melakukan pengiriman hingga 24 jam. CloudWatch Log tidak mencoba untuk mengirim ulang jika kesalahan adalah kesalahan yang tidak dapat dicoba lagi, seperti AccessDeniedException atau ResourceNotFoundException.

CloudWatch Log juga menghasilkan CloudWatch metrik tentang penerusan log acara ke langganan. Untuk informasi selengkapnya, lihat Metrik dan Dimensi Amazon CloudWatch Logs.

Anda juga dapat menggunakan langganan CloudWatch Log untuk melakukan streaming data log dalam waktu dekat secara real time ke klaster Amazon OpenSearch Service. Untuk informasi selengkapnya, lihat Data Streaming CloudWatch Log ke Amazon OpenSearch Service.

Konsep

Setiap filter langganan terdiri dari elemen kunci berikut:

nama grup log

Grup log yang dikaitkan dengan filter langganan. Semua log acara yang diunggah ke grup log ini akan dikenakan filter langganan, dan log acara yang cocok dengan filter akan dikirim ke layanan tujuan yang menerima log acara yang cocok.

pola filter

Deskripsi simbolis tentang bagaimana CloudWatch Logs harus menafsirkan data di setiap log acara, bersama dengan ekspresi pemfilteran yang membatasi apa yang akan dikirim keAWS sumber daya tujuan. Untuk informasi selengkapnya tentang sintaks pola filter, lihat Filter dan pola sintaks.

arn tujuan

Amazon Resource Name (ARN) pengaliran Kinesis, pengaliran Kinesis Data Firehose, atau fungsi Lambda yang ingin Anda gunakan sebagai tujuan umpan langganan.

arn peran

IAM role yang memberikan izin yang diperlukan kepada CloudWatch Logs untuk memasukkan data ke tujuan yang dipilih. Peran ini tidak diperlukan untuk tujuan Lambda karena CloudWatch Logs dapat memperoleh izin yang diperlukan dari pengaturan kontrol akses di fungsi Lambda itu sendiri.

distribusi

Metode yang digunakan untuk mendistribusikan data log ke tujuan, ketika tujuannya adalah pengaliran Amazon Kinesis. Secara default, data log dikelompokkan berdasarkan pengaliran log. Untuk distribusi yang lebih merata, Anda dapat mengelompokkan data log secara acak.