Pemrosesan data log secara real-time dengan langganan - CloudWatch Log Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemrosesan data log secara real-time dengan langganan

Anda dapat menggunakan langganan untuk mendapatkan akses ke umpan real-time peristiwa CloudWatch log dari Log dan mengirimkannya ke layanan lain seperti aliran Amazon Kinesis, aliran Amazon Data Firehose, AWS Lambda atau untuk pemrosesan, analisis, atau pemuatan kustom ke sistem lain. Ketika peristiwa log dikirim ke layanan penerima, mereka dikodekan base64 dan dikompresi dengan format gzip.

Untuk mulai berlangganan peristiwa log, buat sumber daya penerima, seperti aliran Kinesis Data Streams, tempat acara akan dikirimkan. Filter langganan mendefinisikan pola filter yang akan digunakan untuk memfilter peristiwa log mana yang dikirim ke AWS sumber daya Anda, serta informasi tentang ke mana harus mengirim peristiwa log yang cocok.

Anda dapat membuat langganan di tingkat akun dan di tingkat grup log. Setiap akun dapat memiliki satu filter berlangganan tingkat akun. Setiap grup log dapat memiliki hingga dua filter langganan yang terkait dengan grup.

catatan

Jika layanan tujuan mengembalikan kesalahan yang dapat dicoba ulang seperti pengecualian pembatasan atau pengecualian layanan yang dapat dicoba ulang (misalnya HTTP 5xx), CloudWatch Log terus mencoba lagi pengiriman hingga 24 jam. CloudWatch Log tidak mencoba mengirimkan kembali jika kesalahannya adalah kesalahan yang tidak dapat dicoba ulang, seperti atau. AccessDeniedException ResourceNotFoundException Dalam kasus ini, filter langganan dinonaktifkan hingga 10 menit, dan kemudian CloudWatch Log mencoba mengirim log ke tujuan. Selama periode dinonaktifkan ini, log dilewati.

CloudWatch Log juga menghasilkan CloudWatch metrik tentang penerusan peristiwa log ke langganan. Untuk informasi selengkapnya, lihat Pemantauan dengan CloudWatch metrik.

Anda juga dapat menggunakan langganan CloudWatch Log untuk mengalirkan data log dalam waktu dekat ke kluster OpenSearch Layanan Amazon. Untuk informasi selengkapnya, lihat data Streaming CloudWatch Log ke OpenSearch Layanan Amazon.

Langganan hanya didukung untuk grup log di kelas log Standar. Untuk informasi selengkapnya tentang kelas log, lihatKelas log.

catatan

Filter langganan dapat mengumpulkan peristiwa log untuk mengoptimalkan transmisi dan mengurangi jumlah panggilan yang dilakukan ke tujuan. Batching tidak dijamin tetapi digunakan bila memungkinkan.

Konsep

Setiap filter langganan terdiri dari elemen kunci berikut:

pola filter

Deskripsi simbolis tentang bagaimana CloudWatch Log harus menafsirkan data di setiap peristiwa log, bersama dengan ekspresi pemfilteran yang membatasi apa yang dikirim ke sumber daya tujuan. AWS Untuk informasi selengkapnya tentang sintaks pola filter, lihat Filter sintaks pola untuk filter metrik, filter langganan, peristiwa log filter, dan Live Tail.

arn tujuan

Nama Sumber Daya Amazon (ARN) dari aliran Data Streams Kinesis, aliran Firehose, atau fungsi Lambda yang ingin Anda gunakan sebagai tujuan feed langganan.

arn peran

IAMPeran yang memberikan CloudWatch Log izin yang diperlukan untuk memasukkan data ke tujuan yang dipilih. Peran ini tidak diperlukan untuk tujuan Lambda karena CloudWatch Log bisa mendapatkan izin yang diperlukan dari pengaturan kontrol akses pada fungsi Lambda itu sendiri.

distribusi

Metode yang digunakan untuk mendistribusikan data log ke tujuan, ketika tujuan adalah aliran di Amazon Kinesis Data Streams. Secara default, data log dikelompokkan berdasarkan pengaliran log. Untuk distribusi yang lebih merata, Anda dapat mengelompokkan data log secara acak.

Untuk langganan tingkat grup log, elemen kunci berikut juga disertakan:

nama grup log

Grup log yang dikaitkan dengan filter langganan. Semua log acara yang diunggah ke grup log ini akan dikenakan filter langganan, dan log acara yang cocok dengan filter akan dikirim ke layanan tujuan yang menerima log acara yang cocok.

Untuk langganan tingkat akun, elemen kunci berikut juga disertakan:

kriteria seleksi

Kriteria yang digunakan untuk memilih grup log mana yang menerapkan filter langganan tingkat akun. Jika Anda tidak menentukan ini, filter langganan tingkat akun diterapkan ke semua grup log di akun. Bidang ini digunakan untuk mencegah loop log tak terbatas.. Untuk informasi selengkapnya tentang masalah loop log tak terbatas, lihatPencegahan rekursi log.

Kriteria seleksi memiliki batas ukuran 25 KB.