Deteksi anomali di Layanan Amazon OpenSearch

Deteksi anomali di Amazon OpenSearch Service secara otomatis mendeteksi anomali dalam OpenSearch data Anda dalam waktu dekat dengan menggunakan algoritma Random Cut Forest (RCF). RCF adalah algoritme machine learning tanpa pengawasan yang memodelkan sketsa aliran data masuk Anda. Algoritma menghitung confidence score nilai anomaly grade dan untuk setiap titik data yang masuk. Deteksi anomali menggunakan nilai ini untuk membedakan anomali dari variasi normal dalam data Anda.

Anda dapat memasangkan plugin deteksi anomali dengan plugin Alerting untuk memberi tahu Anda segera setelah anomali terdeteksi.

Deteksi anomali tersedia di domain yang menjalankan OpenSearch versi apa pun atau Elasticsearch 7.4 atau yang lebih baru. Semua tipe instans mendukung deteksi anomali kecuali untuk t2.micro dan t2.small.

catatan

Dokumentasi ini memberikan gambaran singkat tentang deteksi anomali dalam konteks Layanan Amazon OpenSearch . Untuk dokumentasi komprehensif, termasuk langkah-langkah terperinci, referensi API, referensi dari semua pengaturan yang tersedia, dan langkah-langkah untuk membuat visualisasi dan dasbor, lihat Deteksi anomali dalam dokumentasi open source. OpenSearch

Prasyarat

Deteksi anomali memiliki prasyarat berikut:

• Deteksi anomali membutuhkan OpenSearch atau Elasticsearch 7.4 atau yang lebih baru.

• Deteksi anomali hanya mendukung kontrol akses berbutir halus pada Elasticsearch versi 7.9 dan yang lebih baru dan semua versi. OpenSearch Sebelum Elasticsearch 7.9, hanya pengguna admin yang dapat membuat, melihat, dan mengelola detektor.

• Jika domain Anda menggunakan kontrol akses berbutir halus, pengguna non-admin harus dipetakan ke anomaly_read_access peran di OpenSearch Dasbor untuk melihat detektor, atau anomaly_full_access untuk membuat dan mengelola detektor.

Memulai dengan deteksi anomali

Untuk memulai, pilih Deteksi Anomali di OpenSearch Dasbor.

Langkah 1: Buat detektor

Detektor adalah tugas deteksi anomali individu. Anda dapat membuat beberapa detektor, dan semua detektor dapat berjalan secara bersamaan, dengan masing-masing menganalisis data dari sumber yang berbeda.

Langkah 2: Tambahkan fitur ke detektor

Sebuah fitur adalah bidang dalam indeks Anda yang Anda memeriksa anomali. Detektor dapat menemukan anomali di satu atau beberapa fitur. Anda harus memilih salah satu agregasi berikut untuk setiap fitur:average(), sum(), count(), min(), atau max().

catatan

Metode count() agregasi hanya tersedia di OpenSearch dan Elasticsearch 7.7 atau yang lebih baru. Untuk Elasticsearch 7.4, gunakan ekspresi kustom seperti berikut ini:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

Metode agregasi menentukan apa yang merupakan anomali. Misalnya, jika Anda memilih min(), detektor berfokus pada menemukan anomali berdasarkan nilai minimum fitur Anda. Jika Anda memilih average(), detektor menemukan anomali berdasarkan nilai rata-rata fitur Anda. Anda dapat menambahkan maksimum lima fitur per detektor.

Anda dapat mengonfigurasi pengaturan opsional berikut (tersedia di Elasticsearch 7.7 dan yang lebih baru):

• Bidang kategori - Mengategorikan atau mengiris data Anda dengan dimensi seperti alamat IP, ID produk, kode negara, dan sebagainya.

• Ukuran jendela - Mengatur jumlah interval agregasi dari aliran data Anda untuk mempertimbangkan dalam jendela deteksi.

Setelah mengatur fitur, pratinjau anomali sampel dan sesuaikan pengaturan fitur jika perlu.

Langkah 3: Perhatikan hasilnya

• Anomali hidup - menampilkan hasil anomali hidup untuk 60 interval terakhir. Misalnya, jika interval diatur ke 10, itu menunjukkan hasil untuk 600 menit terakhir. Grafik ini di-refresh setiap 30 detik.

• Riwayat anomali - plot kelas anomali dengan ukuran kepercayaan yang sesuai.

• Perincian fitur - plot fitur berdasarkan metode agregasi. Anda dapat memvariasikan rentang tanggal-waktu detektor.

• Kejadian anomali - menunjukkan Start time, End time, Data confidence, dan Anomaly grade untuk setiap anomali terdeteksi.

  Jika Anda menetapkan bidang kategori, Anda akan melihat bagan Peta panas tambahan yang berkorelasi hasil untuk entitas anomali. Pilih persegi panjang yang terisi untuk melihat tampilan anomali yang lebih rinci.

Untuk Langkah 4: Menyiapkan peringatan

Untuk membuat monitor untuk mengirimkan pemberitahuan bila ada anomali yang terdeteksi, pilih Menyiapkan peringatan. Plugin mengarahkan Anda ke halaman Tambahkan monitor di mana dapat mengonfigurasi peringatan.