Creazione di una policy ISM Policy di esempio Modelli ISM Differenze

Gestione dello stato degli indici in Amazon OpenSearch Service

Index State Management (ISM) in Amazon OpenSearch Service consente di definire politiche di gestione personalizzate che automatizzano le attività di routine e le applicano a indici e modelli di indice. Non è più necessario configurare e gestire processi esterni per eseguire le operazioni di indice.

Una policy contiene uno stato predefinito e un elenco di stati fra cui l'indice può transitare. All'interno di ciascuno stato, puoi definire un elenco di operazioni da eseguire e di condizioni che attivano queste transizioni. Un tipico caso d'uso è quello di eliminare periodicamente i vecchi indici dopo un certo periodo di tempo. Ad esempio, puoi definire una policy che sposta l'indice nello stato read_only dopo 30 giorni e successivamente lo elimina dopo 90 giorni.

Dopo aver collegato una policy a un indice, ISM crea un processo che viene eseguito ogni 5-8 minuti (o 30-48 minuti per i cluster precedenti alla versione 1.3) per eseguire le operazioni di policy, controllare le condizioni e passare l'indice in stati diversi. Il tempo di base per l'esecuzione di questo processo è ogni 5 minuti, più viene aggiunto un jitter casuale tra lo 0 e il 60% per evitare che le attività arrivino da tutti gli indici contemporaneamente. ISM non esegue processi se lo stato del cluster è rosso.

ISM richiede Elasticsearch 6.8 OpenSearch o versione successiva. La documentazione completa è disponibile nella OpenSearchdocumentazione.

Importante

Non puoi più utilizzare modelli di indice per applicare policy ISM agli indici appena creati. È possibile continuare a gestire automaticamente gli indici appena creati con il campo del modello ISM. Questo aggiornamento introduce una modifica fondamentale che riguarda i CloudFormation modelli esistenti che utilizzano questa impostazione.

Creazione di una policy ISM

Per iniziare a utilizzare la gestione degli stati degli indici

Apri la console Amazon OpenSearch Service all'indirizzo https://console.aws.amazon.com/aos/home.
Seleziona il dominio per cui creare una policy ISM.
Dalla dashboard del dominio, vai all'URL delle OpenSearch dashboard e accedi con il tuo nome utente e password principali. L'URL segue il seguente formato:
```
domain-endpoint/_dashboards/
```
Apri il pannello di navigazione a sinistra all'interno di OpenSearch Dashboards e scegli Gestione degli indici, quindi Crea policy.
Utilizza il plug-in editor visivo o editor JSON per creare policy. Consigliamo di utilizzare l'editor visivo in quanto offre un modo più strutturato per definire le policy. Per assistenza nella creazione di policy, consulta le policy di esempio qui sotto.
Dopo aver creato una policy, puoi collegarla a uno o più indici:
```
POST _plugins/_ism/add/my-index
{
  "policy_id": "my-policy-id"
}
```
Nota
Se il tuo dominio sta eseguendo una versione legacy di Elasticsearch, usa _opendistroinvece di _plugins.

In alternativa, seleziona l'indice in OpenSearch Dashboard e scegli Applica politica.

Policy di esempio

Le policy di esempio riportate di seguito illustrano come automatizzare i casi d'uso comuni di ISM.

Archiviazione ad accesso frequente, a caldo, a freddo

Questa politica di esempio sposta un indice dall'hot storage a e UltraWarm, infine, a conservazione a freddo. Quindi, elimina l'indice.

L'indice si trova inizialmente nello stato hot. Dopo dieci giorni, ISM lo sposta allo stato warm. 80 giorni dopo, quando l'indice ha 90 giorni, lo sposta nello stato cold. Dopo un anno, il servizio invia una notifica ad una stanza Amazon Chime indicante che l'indice sta per essere eliminato, quindi lo elimina definitivamente.

Tenere presente che gli indici a freddo richiedono l'operazione cold_delete piuttosto che la normale operazione delete. Inoltre, per gestire gli indici a freddo con ISM nei dati è necessario un timestamp_field esplicito.


{
  "policy": {
    "description": "Demonstrate a hot-warm-cold-delete workflow.",
    "default_state": "hot",
    "schema_version": 1,
    "states": [{
        "name": "hot",
        "actions": [],
        "transitions": [{
          "state_name": "warm",
          "conditions": {
            "min_index_age": "10d"
          }
        }]
      },
      {
        "name": "warm",
        "actions": [{
          "warm_migration": {},
          "retry": {
            "count": 5,
            "delay": "1h"
          }
        }],
        "transitions": [{
          "state_name": "cold",
          "conditions": {
            "min_index_age": "90d"
          }
        }]
      },
      {
        "name": "cold",
        "actions": [{
            "cold_migration": {
              "timestamp_field": "<your timestamp field>"
            }
          }
        ],
        "transitions": [{
          "state_name": "delete",
          "conditions": {
             "min_index_age": "365d"
          }
        }]
      },
      {
        "name": "delete",
        "actions": [{
          "notification": {
            "destination": {
              "chime": {
                "url": "<URL>"
              }
            },
            "message_template": {
              "source": "The index {{ctx.index}} is being deleted."
            }
          }
        },
        {
          "cold_delete": {}
        }]
      }
    ]
  }
}

Riduzione del numero di repliche

Questa seconda policy di esempio riduce il numero di repliche a zero dopo sette giorni per risparmiare spazio su disco e quindi elimina l'indice dopo 21 giorni. Questa policy presuppone che l'indice non sia critico e che non riceva più richieste di scrittura; la presenza di repliche zero comporta un rischio di perdita di dati.


{
  "policy": {
    "description": "Changes replica count and deletes.",
    "schema_version": 1,
    "default_state": "current",
    "states": [{
        "name": "current",
        "actions": [],
        "transitions": [{
          "state_name": "old",
          "conditions": {
            "min_index_age": "7d"
          }
        }]
      },
      {
        "name": "old",
        "actions": [{
          "replica_count": {
            "number_of_replicas": 0
          }
        }],
        "transitions": [{
          "state_name": "delete",
          "conditions": {
            "min_index_age": "21d"
          }
        }]
      },
      {
        "name": "delete",
        "actions": [{
          "delete": {}
        }],
        "transitions": []
      }
    ]
  }
}

Acquisizione di uno snapshot dell'indice

Questa policy di esempio utilizza l'operazione snapshot per acquisire uno snapshot di un indice non appena contiene almeno un documento. repository è il nome del repository di snapshot manuali registrato in Amazon S3. snapshot è il nome dello snapshot. Per i prerequisiti di snapshot e i passaggi per registrare un repository, consultare Creazione di istantanee dell'indice in Amazon Service OpenSearch .


{
  "policy": {
    "description": "Takes an index snapshot.",
    "schema_version": 1,
    "default_state": "empty",
    "states": [{
        "name": "empty",
        "actions": [],
        "transitions": [{
          "state_name": "occupied",
          "conditions": {
            "min_doc_count": 1
          }
        }]
      },
      {
        "name": "occupied",
        "actions": [{
          "snapshot": {
            "repository": "<my-repository>",
            "snapshot": "<my-snapshot>"
            }
          }],
          "transitions": []
      }
    ]
  }
}

Modelli ISM

È possibile configurare un campo ism_template in una policy in modo che quando si crea un indice corrispondente allo schema del modello, la policy viene automaticamente associata a tale indice. In questo esempio, qualsiasi indice creato con un nome che inizia con "log" viene automaticamente abbinata alla policy ISM my-policy-id:


PUT _plugins/_ism/policies/my-policy-id
{
  "policy": {
    "description": "Example policy.",
    "default_state": "...",
    "states": [...],
    "ism_template": {
      "index_patterns": ["log*"],
      "priority": 100
    }
  }
}

Per un esempio più dettagliato, consultare Policy di esempio con modello ISM per il rollover automatico.

Differenze

Rispetto a OpenSearch Elasticsearch, ISM for Amazon OpenSearch Service presenta diverse differenze.

Operazioni ISM

OpenSearchIl servizio supporta tre operazioni ISM esclusivewarm_migration,cold_migration, ecold_delete:
- Se il tuo dominio è UltraWarmabilitato, l'warm_migrationazione trasforma l'indice in warm storage.
- Se il tuo dominio ha l'archiviazione a freddo abilitata, l'operazione cold_migration transita l'indice all'archiviazione a freddo e l'operazione cold_delete elimina l'indice dall'archiviazione a freddo.
Anche se una di queste operazioni non viene completata all'interno del periodo di timeout impostato, la migrazione o la cancellazione degli indici continua. L'impostazione di error_notification per una delle operazioni precedenti ti informerà che l'operazione non è riuscita se non è stata completata entro il periodo di timeout, ma la notifica è solo per tuo riferimento. L'effettiva operazione non ha alcun timeout intrinseco e continua a essere eseguita fino a quando riesce o non riesce.
Se il tuo dominio esegue OpenSearch Elasticsearch 7.4 o versione successiva, OpenSearch Service supporta l'ISM open e le operazioni. close

Se il tuo dominio esegue OpenSearch Elasticsearch 7.7 o versione successiva, OpenSearch Service supporta l'operazione ISM. snapshot

Operazioni ISM di archiviazione a freddo

Per gli indici a freddo, devi specificare un parametro ?type=_cold quando utilizzi le seguenti API ISM:

Queste API per gli indici a freddo presentano le seguenti differenze aggiuntive:

Gli operatori con caratteri jolly non sono supportati tranne quando li si utilizza alla fine. Ad esempio, _plugins/_ism/<add, remove, change_policy, retry, explain>/logstash-* è supportato ma _plugins/_ism/<add, remove, change_policy, retry, explain>/iad-*-prod non lo è.
Non sono supportati più schemi e nomi di indici. Ad esempio, _plugins/_ism/<add, remove, change_policy, retry, explain>/app-logs è supportato ma _plugins/_ism/<add, remove, change_policy, retry, explain>/app-logs,sample-data non lo è.

Impostazioni ISM

OpenSearched Elasticsearch consentono di modificare tutte le impostazioni ISM disponibili utilizzando l'_cluster/settingsAPI. Su Amazon OpenSearch Service, puoi modificare solo le seguenti impostazioni ISM:

Impostazioni a livello di cluster:
- plugins.index_state_management.enabled
- plugins.index_state_management.history.enabled
Impostazioni a livello di indice:
- plugins.index_state_management.rollover_alias

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

O 1 spazio di archiviazione

Tutorial: Automazione dei processi ISM