Tutorial: Mengotomatiskan proses Manajemen Negara Indeks

Tutorial ini menunjukkan bagaimana menerapkan kebijakan ISM yang mengotomatiskan tugas manajemen indeks rutin dan menerapkannya pada indeks dan pola indeks.

Index State Management (ISM) di Amazon OpenSearch Service memungkinkan Anda mengotomatiskan aktivitas manajemen indeks berulang, sehingga Anda dapat menghindari penggunaan alat tambahan untuk mengelola siklus hidup indeks. Anda dapat membuat kebijakan yang mengotomatiskan operasi ini berdasarkan usia indeks, ukuran, dan kondisi lainnya, semuanya dari dalam domain OpenSearch Layanan Amazon Anda.

OpenSearch Layanan mendukung tiga tingkatan penyimpanan: status “panas” default untuk penulisan aktif dan analitik latensi rendah, UltraWarm untuk data hanya-baca hingga tiga petabyte, dan penyimpanan dingin untuk arsip jangka panjang tanpa batas.

Tutorial ini menyajikan contoh kasus penggunaan penanganan data deret waktu dalam indeks harian. Dalam tutorial ini, Anda menyiapkan kebijakan yang mengambil snapshot otomatis dari setiap indeks terlampir setelah 24 jam. Kemudian memigrasikan indeks dari keadaan panas default ke UltraWarm penyimpanan setelah dua hari, penyimpanan dingin setelah 30 hari, dan akhirnya menghapus indeks setelah 60 hari.

Prasyarat

• Domain OpenSearch Layanan Anda harus menjalankan Elasticsearch versi 6.8 atau yang lebih baru.

• Domain Anda harus memiliki UltraWarmdan penyimpanan dingin diaktifkan.

• Anda harus mendaftarkan repositori snapshot manual untuk domain Anda.

• Peran pengguna Anda memerlukan izin yang cukup untuk mengakses konsol OpenSearch Layanan. Jika perlu, validasi dan konfigurasikan akses ke domain Anda.

Langkah 1: Konfigurasikan kebijakan ISM

Pertama, konfigurasikan kebijakan ISM di OpenSearch Dasbor.

1. Dari dasbor domain Anda di konsol OpenSearch Layanan, navigasikan ke URL OpenSearch Dasbor dan masuk dengan nama pengguna dan kata sandi utama Anda. URL mengikuti format ini:domain-endpoint/_dashboards/.

2. Di OpenSearch Dasbor, pilih Tambahkan data sampel dan tambahkan satu atau beberapa indeks sampel ke domain Anda.

3. Buka panel navigasi kiri dan pilih Manajemen Indeks, lalu pilih Buat kebijakan.

4. Sebutkan kebijakan ism-policy-example.

5. Ganti kebijakan default dengan kebijakan berikut:

   {
     "policy": {
       "description": "Move indexes between storage tiers",
       "default_state": "hot",
       "states": [
         {
           "name": "hot",
           "actions": [],
           "transitions": [
             {
               "state_name": "snapshot",
               "conditions": {
                 "min_index_age": "24h"
               }
             }
           ]
         },
         {
           "name": "snapshot",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "30m"
               },
               "snapshot": {
                 "repository": "snapshot-repo",
                 "snapshot": "ism-snapshot"
               }
             }
           ],
           "transitions": [
             {
               "state_name": "warm",
               "conditions": {
                 "min_index_age": "2d"
               }
             }
           ]
         },
         {
           "name": "warm",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "1h"
               },
               "warm_migration": {}
             }
           ],
           "transitions": [
             {
               "state_name": "cold",
               "conditions": {
                 "min_index_age": "30d"
               }
             }
           ]
         },
         {
           "name": "cold",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "1h"
               },
               "cold_migration": {
                 "start_time": null,
                 "end_time": null,
                 "timestamp_field": "@timestamp",
                 "ignore": "none"
               }
             }
           ],
           "transitions": [
             {
               "state_name": "delete",
               "conditions": {
                 "min_index_age": "60d"
               }
             }
           ]
         },
         {
           "name": "delete",
           "actions": [
             {
               "cold_delete": {}
             }
           ],
           "transitions": []
         }
       ],
       "ism_template": [
         {
           "index_patterns": [
             "index-*"
           ],
           "priority": 100
         }
       ]
     }
   }
       

   catatan

   ism_templateKolom secara otomatis melampirkan kebijakan ke indeks yang baru dibuat yang cocok dengan salah satu yang ditentukanindex_patterns. Dalam hal ini, semua indeks yang dimulai denganindex-. Anda dapat memodifikasi bidang ini agar sesuai dengan format indeks di lingkungan Anda. Untuk informasi selengkapnya, lihat template ISM.

6. Di snapshot bagian kebijakan, ganti snapshot-repo dengan nama repositori snapshot yang Anda daftarkan untuk domain Anda. Anda juga dapat mengganti secara opsionalism-snapshot, yang akan menjadi nama snapshot saat dibuat.

7. Pilih Buat. Kebijakan ini sekarang terlihat di halaman Kebijakan manajemen negara.

Langkah 2: Lampirkan kebijakan ke satu atau beberapa indeks

Setelah Anda membuat kebijakan, lampirkan ke satu atau beberapa indeks di klaster Anda.

1. Buka tab Hot indicies dan cariopensearch_dashboards_sample, yang mencantumkan semua indeks sampel yang Anda tambahkan di langkah 1.

2. Pilih semua indeks dan pilih Terapkan kebijakan, lalu pilih ism-policy-examplekebijakan yang baru saja Anda buat.

3. Pilih Terapkan.

Anda dapat memantau indeks saat mereka bergerak melalui berbagai status di halaman Indeks yang dikelola Kebijakan.