Deteksi anomali di Amazon OpenSearch Service - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Deteksi anomali di Amazon OpenSearch Service

Deteksi anomali di Amazon OpenSearch Service secara otomatis mendeteksi anomali dalam OpenSearch data Anda dalam waktu dekat dengan menggunakan algoritme Random Cut Forest (RCF). RCF adalah algoritme machine learning tanpa pengawasan yang memodelkan sketsa aliran data masuk Anda. Algoritma menghitunganomaly grade danconfidence score nilai untuk setiap titik data yang masuk. Deteksi anomali menggunakan nilai ini untuk membedakan anomali dari variasi normal dalam data Anda.

Anda dapat memasangkan plugin deteksi anomali dengan plugin Mengonfigurasi peringatan di Layanan Amazon OpenSearch untuk memberitahu Anda segera setelah anomali terdeteksi.

Deteksi anomali tersedia di domain yang menjalankan OpenSearch versi Elasticsearch 7.4 atau yang lebih baru. Semua tipe instans mendukung deteksi anomali kecuali untuk t2.micro dan t2.small. Dokumentasi lengkap untuk deteksi anomali, termasuk langkah-langkah terperinci dan deskripsi API, tersedia di OpenSearchdokumentasi.

Prasyarat

Deteksi anomali memiliki prasyarat berikut:

  • Deteksi anomali memerlukan OpenSearch Elasticsearch 7.4 atau yang lebih baru.

  • Deteksi anomali hanya mendukung kontrol akses berbutir halus pada Elasticsearch versi 7.9 dan yang lebih baru dan semua versi OpenSearch. Sebelum Elasticsearch 7.9, hanya pengguna admin yang dapat membuat, melihat, dan mengelola detektor.

  • Jika domain Anda menggunakan kontrol akses berbutir halus, pengguna non-admin harus dipetakan keanomaly_read_access peran di OpenSearch Dasbor untuk melihat detektor, atauanomaly_full_access untuk membuat dan mengelola detektor.

Memulai dengan deteksi anomali

Untuk memulai, pilih Deteksi Anomali di OpenSearch Dasbor.

Langkah 1: Buat detektor

Detektor adalah tugas deteksi anomali individu. Anda dapat membuat beberapa detektor, dan semua detektor dapat berjalan secara bersamaan, dengan masing-masing menganalisis data dari sumber yang berbeda.

Langkah 2: Tambahkan fitur ke detektor

Sebuah fitur adalah bidang dalam indeks Anda yang Anda memeriksa anomali. Detektor dapat menemukan anomali di satu atau beberapa fitur. Anda harus memilih salah satu agregasi berikut untuk setiap fitur:average(), sum(), count(), min(), atau max().

catatan

Metodecount() agregasi hanya tersedia di OpenSearch Elasticsearch 7.7 atau yang lebih baru. Untuk Elasticsearch 7.4, gunakan ekspresi kustom seperti berikut ini:

{ "aggregation_name": { "value_count": { "field": "field_name" } } }

Metode agregasi menentukan apa yang merupakan anomali. Misalnya, jika Anda memilih min(), detektor berfokus pada menemukan anomali berdasarkan nilai minimum fitur Anda. Jika Anda memilih average(), detektor menemukan anomali berdasarkan nilai rata-rata fitur Anda. Anda dapat menambahkan maksimum lima fitur per detektor.

Anda dapat mengonfigurasi pengaturan opsional berikut (tersedia di Elasticsearch 7.7 dan yang lebih baru):

  • Bidang kategori - Mengategorikan atau mengiris data Anda dengan dimensi seperti alamat IP, ID produk, kode negara, dan sebagainya.

  • Ukuran jendela - Mengatur jumlah interval agregasi dari aliran data Anda untuk mempertimbangkan dalam jendela deteksi.

Setelah mengatur fitur, pratinjau anomali sampel dan sesuaikan pengaturan fitur jika perlu.

Langkah 3: Perhatikan hasilnya


                    Visualisasi berikut tersedia di dasbor deteksi anomali:
  • Anomali hidup - menampilkan hasil anomali hidup untuk 60 interval terakhir. Misalnya, jika interval diatur ke 10, itu menunjukkan hasil untuk 600 menit terakhir. Grafik ini di-refresh setiap 30 detik.

  • Riwayat anomali - plot kelas anomali dengan ukuran kepercayaan yang sesuai.

  • Perincian fitur - plot fitur berdasarkan metode agregasi. Anda dapat memvariasikan rentang tanggal-waktu detektor.

  • Kejadian anomali - menunjukkan Start time, End time, Data confidence, dan Anomaly grade untuk setiap anomali terdeteksi.

    Jika Anda menetapkan bidang kategori, Anda akan melihat bagan Peta panas tambahan yang berkorelasi hasil untuk entitas anomali. Pilih persegi panjang yang terisi untuk melihat tampilan anomali yang lebih rinci.

Untuk Langkah 4: Menyiapkan peringatan

Untuk membuat monitor untuk mengirimkan pemberitahuan bila ada anomali yang terdeteksi, pilih Menyiapkan peringatan. Plugin mengarahkan Anda ke halaman Tambahkan monitor di mana dapat mengonfigurasi peringatan.