Deteksi anomali log

Anda dapat membuat detektor anomali log untuk setiap grup log. Detektor anomali memindai peristiwa log yang dicerna ke dalam grup log dan menemukan anomali dalam data log. Deteksi anomali menggunakan pembelajaran mesin dan pengenalan pola untuk menetapkan dasar konten log yang khas.

Setelah Anda membuat detektor anomali untuk grup log, ia berlatih menggunakan dua minggu terakhir peristiwa log di grup log untuk pelatihan. Periode pelatihan bisa memakan waktu hingga 15 menit. Setelah pelatihan selesai, ia mulai menganalisis log masuk untuk mengidentifikasi anomali, dan anomali ditampilkan di konsol CloudWatch Log untuk Anda periksa.

CloudWatch Pengenalan pola log mengekstrak pola log dengan mengidentifikasi konten statis dan dinamis di log Anda. Pola berguna untuk menganalisis kumpulan log besar karena sejumlah besar peristiwa log sering dapat dikompresi menjadi beberapa pola.

Misalnya, lihat contoh berikut dari tiga peristiwa log.

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for resource id 12342342k124-12345
2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for resource id 324892398123-12345
2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for resource id 3ff231242342-12345

Dalam sampel sebelumnya, ketiga peristiwa log mengikuti satu pola:

<*> <*> [INFO] Calling DynamoDB to store for resource id <*>

Bidang dalam pola disebut token. Bidang yang bervariasi dalam suatu pola, seperti ID permintaan atau stempel waktu, disebut sebagai token dinamis. Token dinamis diwakili oleh <*> saat CloudWatch Log menampilkan pola. Setiap nilai berbeda yang ditemukan untuk token dinamis disebut nilai token.

Contoh umum token dinamis termasuk kode kesalahan, stempel waktu, dan ID permintaan.

Deteksi anomali log menggunakan pola-pola ini untuk menemukan anomali. Setelah periode pelatihan model detektor anomali, log dievaluasi terhadap tren yang diketahui. Detektor anomali menandai fluktuasi yang signifikan sebagai anomali.

Membuat detektor anomali log tidak menimbulkan biaya.

Tingkat keparahan dan prioritas anomali dan pola

Setiap anomali yang ditemukan oleh detektor anomali log diberi prioritas. Setiap pola yang ditemukan diberi tingkat keparahan.

• Prioritas dihitung secara otomatis, dan didasarkan pada tingkat keparahan pola dan jumlah penyimpangan dari nilai yang diharapkan. Misalnya, jika nilai token tertentu tiba-tiba meningkat sebesar 500%, anomali itu mungkin ditetapkan sebagai HIGH prioritas bahkan jika tingkat keparahannya. NONE

• Tingkat keparahan hanya didasarkan pada kata kunci yang ditemukan dalam pola sepertiFATAL,ERROR, danWARN. Jika tidak satu pun dari kata kunci ini ditemukan, tingkat keparahan pola ditandai sebagaiNONE.

Waktu visibilitas anomali

Saat Anda membuat detektor anomali, Anda menentukan periode visibilitas anomali maksimum untuknya. Ini adalah jumlah hari anomali ditampilkan di konsol dan dikembalikan oleh operasi ListAnomaliesAPI. Setelah periode waktu ini berlalu untuk anomali, jika terus terjadi, itu secara otomatis diterima sebagai perilaku biasa dan model detektor anomali berhenti menandainya sebagai anomali.

Jika Anda tidak menyesuaikan waktu visibilitas saat membuat detektor anomali, 21 hari digunakan sebagai default.

Menekan anomali

Setelah anomali ditemukan, Anda dapat memilih untuk menekannya sementara atau permanen. Menekan anomali menyebabkan detektor anomali berhenti menandai kejadian ini sebagai anomali untuk jumlah waktu yang Anda tentukan. Ketika Anda menekan anomali, Anda dapat memilih untuk menekan hanya anomali spesifik itu, atau menekan semua anomali yang terkait dengan pola di mana anomali itu ditemukan.

Anda masih dapat melihat anomali yang ditekan di konsol. Anda juga dapat memilih untuk berhenti menekannya.

Pertanyaan umum

Apakah AWS menggunakan data saya untuk melatih algoritme pembelajaran mesin untuk AWS digunakan atau untuk pelanggan lain?

Tidak. Model deteksi anomali yang dibuat oleh pelatihan didasarkan pada peristiwa log dalam grup log dan hanya digunakan dalam grup log itu dan akun itu AWS .

Jenis peristiwa log apa yang bekerja dengan baik dengan deteksi anomali?

Deteksi anomali log sangat cocok untuk: Log aplikasi dan jenis log lainnya di mana sebagian besar entri log sesuai dengan pola tipikal. Grup log dengan peristiwa yang berisi tingkat log atau kata kunci tingkat keparahan seperti INFO, ERROR, dan DEBUG sangat cocok untuk mencatat deteksi anomali.

Deteksi anomali log tidak cocok untuk: Peristiwa log dengan struktur JSON yang sangat panjang, seperti Log. CloudTrail Analisis pola hanya menganalisis hingga 1500 karakter pertama dari garis log, sehingga karakter apa pun di luar batas itu dilewati.

Audit atau log akses, seperti log aliran VPC, juga akan kurang berhasil dengan deteksi anomali. Deteksi anomali dimaksudkan untuk menemukan masalah aplikasi, jadi mungkin tidak cocok untuk anomali jaringan atau akses.

Untuk membantu Anda menentukan apakah detektor anomali cocok untuk grup log tertentu, gunakan analisis pola CloudWatch Log untuk menemukan jumlah pola dalam peristiwa log dalam grup. Jika jumlah pola tidak lebih dari sekitar 300, deteksi anomali mungkin bekerja dengan baik. Untuk informasi lebih lanjut tentang analisis pola, lihatAnalisis pola.

Apa yang ditandai sebagai anomali?

Kejadian berikut dapat menyebabkan peristiwa log ditandai sebagai anomali:

• Peristiwa log dengan pola yang tidak terlihat sebelumnya di grup log.

• Variasi yang signifikan terhadap pola yang diketahui.

• Nilai baru untuk token dinamis yang memiliki serangkaian nilai biasa yang terpisah.

• Perubahan besar dalam jumlah kemunculan nilai untuk token dinamis.

Meskipun semua item sebelumnya mungkin ditandai sebagai anomali, itu tidak semua berarti bahwa aplikasi berkinerja buruk. Misalnya, higher-than-usual sejumlah nilai 200 keberhasilan mungkin ditandai sebagai anomali. Dalam kasus seperti ini, Anda mungkin mempertimbangkan untuk menekan anomali ini yang tidak menunjukkan masalah.

Apa yang terjadi dengan data sensitif yang sedang disembunyikan?

Setiap bagian dari peristiwa log yang disamarkan sebagai data sensitif tidak dipindai untuk anomali. Untuk informasi selengkapnya tentang menyembunyikan data sensitif, lihat Membantu melindungi data log sensitif dengan masking.