Tutorial: Automazione dei processi di Index State Management

Questo tutorial dimostra come implementare una policy PPL che automatizza le attività di routine di gestione degli indici e applicarle agli indici e ai modelli di indice.

Index State Management (ISM) nel OpenSearch servizio OpenSearch di Amazon consente di automatizzare le attività ricorrenti di gestione degli indici, evitando di utilizzare strumenti aggiuntivi per gestire i cicli di vita degli indici. Puoi creare una policy che automatizza queste operazioni in base all'età dell'indice, alle dimensioni e ad altre condizioni, il tutto dal tuo dominio del OpenSearch servizio Amazon.

OpenSearch Il servizio supporta tre livelli di archiviazione: lo stato «caldo» predefinito per la scrittura attiva e l'analisi a bassa latenza, UltraWarm per i dati di sola lettura fino a tre petabyte e l'archiviazione a freddo per l'archiviazione illimitata a lungo termine.

Questo tutorial presenta un esempio di caso d'uso della gestione dei dati di serie temporali negli indici giornalieri. In questo tutorial, imposti un criterio che acquisisce un'istantanea automatica di ogni indice allegato dopo 24 ore. Quindi migra l'indice dallo stato ad accesso frequente predefinito all' UltraWarm archiviazione dopo due giorni, all'archiviazione a freddo dopo 30 giorni e infine elimina l'indice dopo 60 giorni.

Prerequisiti

• Il dominio OpenSearch del servizio deve eseguire Elasticsearch versione 6.8 o successiva.

• Il dominio deve avere una conservazione a freddo UltraWarmabilitata.

• Devi registrare un repository di snapshot manuali per il tuo dominio.

• Il tuo ruolo utente richiede autorizzazioni sufficienti per accedere alla console del OpenSearch servizio. Se necessario, convalida e configura l'accesso ai domini.

Fase 1: Configura la policy PPL

Innanzitutto, configura una policy ISM in OpenSearch Dashboards.

1. Dal pannello di controllo del dominio nella console del OpenSearch servizio, accedi all'URL OpenSearch Dashboards e accedi con il nome utente e la password principali. L'URL segue il seguente formato: domain-endpoint/_dashboards/.

2. In OpenSearch Dashboards, scegli Aggiungi dati di esempio e aggiungi uno o più indici di esempio al tuo dominio.

3. Aprire il pannello di navigazione sinistro e scegliere Gestione indici, quindi scegliere Crea policy.

4. Assegnare un nome alla policy ism-policy-example.

5. Sostituisci la policy predefinita con la seguente policy:

   {
     "policy": {
       "description": "Move indexes between storage tiers",
       "default_state": "hot",
       "states": [
         {
           "name": "hot",
           "actions": [],
           "transitions": [
             {
               "state_name": "snapshot",
               "conditions": {
                 "min_index_age": "24h"
               }
             }
           ]
         },
         {
           "name": "snapshot",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "30m"
               },
               "snapshot": {
                 "repository": "snapshot-repo",
                 "snapshot": "ism-snapshot"
               }
             }
           ],
           "transitions": [
             {
               "state_name": "warm",
               "conditions": {
                 "min_index_age": "2d"
               }
             }
           ]
         },
         {
           "name": "warm",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "1h"
               },
               "warm_migration": {}
             }
           ],
           "transitions": [
             {
               "state_name": "cold",
               "conditions": {
                 "min_index_age": "30d"
               }
             }
           ]
         },
         {
           "name": "cold",
           "actions": [
             {
               "retry": {
                 "count": 5,
                 "backoff": "exponential",
                 "delay": "1h"
               },
               "cold_migration": {
                 "start_time": null,
                 "end_time": null,
                 "timestamp_field": "@timestamp",
                 "ignore": "none"
               }
             }
           ],
           "transitions": [
             {
               "state_name": "delete",
               "conditions": {
                 "min_index_age": "60d"
               }
             }
           ]
         },
         {
           "name": "delete",
           "actions": [
             {
               "cold_delete": {}
             }
           ],
           "transitions": []
         }
       ],
       "ism_template": [
         {
           "index_patterns": [
             "index-*"
           ],
           "priority": 100
         }
       ]
     }
   }
       

   Nota

   Il campo ism_template automaticamente il criterio a qualsiasi indice appena creato che corrisponde a uno dei index_patterns specificati. In questo caso, tutti gli indici che iniziano per index-. È possibile modificare questo campo in modo che corrisponda a un formato di indice nel proprio ambiente. Per ulteriori informazioni sui modelli, consulta i modelli ISM.

6. Nella sezione snapshot della policy, sostituire snapshot-repo con il nome del repository degli snapshot che hai registrato per il tuo dominio. Facoltativamente, è anche possibile sostituire ism-snapshot, che sarà il nome dello snapshot al momento della creazione.

7. Scegli Create (Crea). La policy dell'indice è ora visibile nella pagina Policy di gestione dello stato.

Fase 2: collega la policy a uno o più indici.

Dopo aver creato la policy, puoi collegarla a uno o più indici nel cluster.

1. Passa alla scheda Indici ad accesso frequente e cerca opensearch_dashboards_sample, che elenca tutti gli indici di esempio aggiunti nella fase 1.

2. Seleziona tutti gli indici e scegli Applica politica, quindi scegli la ism-policy-examplepolitica che hai appena creato.

3. Scegli Applica.

È possibile monitorare gli indici mentre si spostano attraverso i vari stati della pagina degli Indici gestiti dalle policy.