Utilizzo delle politiche del ciclo di vita dei dati con Amazon Serverless OpenSearch

Una policy sul ciclo di vita dei dati per una raccolta di serie temporali Amazon OpenSearch Serverless determina la durata dei dati in tale raccolta. OpenSearch Serverless conserva i dati per il periodo di tempo che configuri.

Puoi configurare una politica del ciclo di vita dei dati separata per ogni indice di ogni raccolta di serie temporali presente nel tuo. Account AWS OpenSearch Serverless conserva i documenti negli indici almeno per il periodo di conservazione configurato nella policy. Quindi li elimina automaticamente con la massima diligenza possibile, in genere entro 48 ore o il 10% del periodo di conservazione, a seconda di quale sia il più lungo.

Solo le raccolte di serie temporali supportano le politiche relative al ciclo di vita dei dati. Non sono supportate dalle raccolte di ricerca o di ricerca vettoriale.

Politiche relative al ciclo di vita dei dati

In una politica del ciclo di vita dei dati, si specifica una serie di regole. La politica del ciclo di vita dei dati consente di gestire il periodo di conservazione dei dati associati agli indici o alle raccolte che soddisfano queste regole. Queste regole definiscono il periodo di conservazione dei dati in un indice o in un gruppo di indici. Ogni regola è composta da un tipo di risorsa (index), un periodo di conservazione e un elenco di risorse (indici) a cui si applica il periodo di conservazione.

Il periodo di conservazione viene definito con uno dei seguenti formati:

• "MinIndexRetention": "24h"— OpenSearch Serverless conserva i dati dell'indice per il periodo specificato in ore o giorni. È possibile impostare questo periodo in modo che sia compreso tra24h. 3650d

• "NoMinIndexRetention": true— OpenSearch Serverless conserva i dati dell'indice a tempo indeterminato.

Nella seguente politica di esempio, la prima regola specifica un periodo di conservazione di 15 giorni per tutti gli indici della raccolta. marketing La seconda regola specifica che per tutti i nomi di indice che iniziano con log la finance raccolta non è impostato alcun periodo di conservazione e verranno conservati a tempo indeterminato.

{
   "lifeCyclePolicyDetail": {
      "type": "retention",
      "name": "my-policy",
      "policyVersion": "MTY4ODI0NTM2OTk1N18x",
      "policy": {
         "Rules": [
            {
            "ResourceType":"index",
            "Resource":[
               "index/marketing/*"
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/finance/log*"
            ],
            "NoMinIndexRetention": true
         }
         ]
      },
      "createdDate": 1688245369957,
      "lastModifiedDate": 1688245369957
   }
}

Nel seguente esempio di regola politica, OpenSearch Serverless conserva a tempo indeterminato i dati in tutti gli indici per tutte le raccolte all'interno dell'account.

{
   "Rules": [
      {
         "ResourceType": "index",
         "Resource": [
            "index/*/*"
         ]
      }
   ],
   "NoMinIndexRetention": true
}

Autorizzazioni richieste

Le policy del ciclo di vita per OpenSearch Serverless utilizzano le seguenti autorizzazioni (IAM). AWS Identity and Access Management Puoi specificare le condizioni IAM per limitare gli utenti alle politiche del ciclo di vita dei dati associate a raccolte e indici specifici.

• aoss:CreateLifecyclePolicy— Creare una policy sul ciclo di vita dei dati.

• aoss:ListLifecyclePolicies— Elenca tutte le politiche relative al ciclo di vita dei dati nell'account corrente.

• aoss:BatchGetLifecyclePolicy— Visualizza una politica sul ciclo di vita dei dati associata a un account o al nome di una policy.

• aoss:BatchGetEffectiveLifecyclePolicy— Visualizza una politica del ciclo di vita dei dati per una determinata risorsa (indexè l'unica risorsa supportata).

• aoss:UpdateLifecyclePolicy— Modificare una determinata politica del ciclo di vita dei dati e modificarne l'impostazione o la risorsa di conservazione.

• aoss:DeleteLifecyclePolicy— Eliminare una politica sul ciclo di vita dei dati.

La seguente politica di accesso basata sull'identità consente a un utente di visualizzare tutte le politiche relative al ciclo di vita dei dati e di aggiornare le politiche in base al modello di risorse: collection/application-logs

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "aoss:UpdateLifecyclePolicy"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aoss:collection": "application-logs"
                }
            }
        },
        {
            "Effect": "Allow",
            "Action": [
                "aoss:ListLifecyclePolicies",
                "aoss:BatchGetLifecyclePolicy"
            ],
            "Resource": "*"
        }
    ]
}

Priorità delle policy

Possono verificarsi situazioni in cui le regole relative al ciclo di vita dei dati si sovrappongono, all'interno o tra le policy. Quando ciò accade, una regola con un nome o uno schema di risorsa più specifico per un indice sostituisce una regola con un nome o uno schema di risorsa più generale per tutti gli indici comuni a entrambe le regole.

Ad esempio, nella politica seguente, due regole si applicano a un indice. index/sales/logstash In questa situazione, la seconda regola ha la precedenza perché index/sales/log* è la corrispondenza più lunga a. index/sales/logstash Pertanto, OpenSearch Serverless non imposta alcun periodo di conservazione per l'indice.

{
      "Rules":[
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/*",
            ],
            "MinIndexRetention": "15d"
         },
         {
            "ResourceType":"index",
            "Resource":[
               "index/sales/log*",
            ],
            "NoMinIndexRetention": true
         }
      ]
   }

Sintassi delle policy

Fornisci una o più regole. Queste regole definiscono le impostazioni del ciclo di vita dei dati per gli indici Serverless. OpenSearch

Ogni regola contiene i seguenti elementi. È possibile fornire MinIndexRetention o NoMinIndexRetention in ciascuna regola, ma non in entrambe.

Elemento	Descrizione
Tipo di risorsa	Il tipo di risorsa a cui si applica la regola. L'unica opzione supportata per le politiche del ciclo di vita dei dati è. index
Resource (Risorsa)	Un elenco di nomi e/o modelli di risorse. I pattern sono costituiti da un prefisso e un carattere jolly (*), che consentono l'applicazione delle autorizzazioni associate a più risorse. Ad esempio, index/<collection-name|pattern>/<index-name|pattern>.
MinIndexRetention	Il periodo minimo, in giorni (d) o ore (h), per conservare il documento nell'indice. Il limite inferiore è 24h e il limite superiore è3650d.
NoMinIndexRetention	Setrue, OpenSearch Serverless conserva i documenti a tempo indeterminato.

Di seguito vengono mostrati alcuni esempi:

{
  "Rules": [
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/*"
      ],
      "MinIndexRetention": "20d"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/auto*/gear"
      ],
      "MinIndexRetention": "24h"
    },
    {
      "ResourceType": "index",
      "Resource": [
        "index/autoparts-inventory/tires"
      ],
      "NoMinIndexRetention": true
    }
  ]
}

Creazione di politiche per il ciclo di vita dei dati () AWS CLI

Per creare una politica del ciclo di vita dei dati utilizzando le operazioni dell'API OpenSearch Serverless, usa il comando. CreateLifecyclePolicy Questo comando accetta sia le politiche in linea che i file.json. Le policy inline devono essere codificate come una stringa con escape JSON.

La seguente richiesta crea una politica del ciclo di vita dei dati:

aws opensearchserverless create-lifecycle-policy \
    --name my-policy \
    --type retention \
    --policy "{\"Rules\":[{\"ResourceType\":\"index\",\"Resource\":[\"index/autoparts-inventory/*\"],\"MinIndexRetention\": \"81d\"},{\"ResourceType\":\"index\",\"Resource\":[\"index/sales/orders*\"],\"NoMinIndexRetention\":true}]}"

Per fornire la policy in un file JSON, utilizzare il formato --policy file://my-policy.json

Visualizzazione delle politiche relative al ciclo di vita dei dati

Prima di creare una raccolta, potresti voler visualizzare in anteprima le politiche sul ciclo di vita dei dati esistenti nel tuo account per vedere quale ha un modello di risorse che corrisponde al nome della tua raccolta. La seguente ListLifecyclePoliciesrichiesta elenca tutte le politiche relative al ciclo di vita dei dati del tuo account:

aws opensearchserverless list-lifecycle-policies --type retention

La richiesta restituisce informazioni su tutte le politiche configurate per il ciclo di vita dei dati. Per visualizzare le regole del modello definite in una politica specifica, trova le informazioni sulla politica nel contenuto dell'lifecyclePolicySummarieselemento nella risposta. Prendi nota della name fine type di questa politica e utilizza queste proprietà in una BatchGetLifecyclePolicyrichiesta per ricevere una risposta con i seguenti dettagli della politica:

{
    "lifecyclePolicySummaries": [
        {
            "type": "retention",
            "name": "my-policy",
            "policyVersion": "MTY2MzY5MTY1MDA3Ml8x",
            "createdDate": 1663691650072,
            "lastModifiedDate": 1663691650072
        }
    ]
}

Per limitare i risultati alle politiche che contengono raccolte o indici specifici, puoi includere filtri di risorse:

aws opensearchserverless list-lifecycle-policies --type retention --resources "index/autoparts-inventory/*"

Per visualizzare informazioni dettagliate su una politica specifica, utilizzare il BatchGetLifecyclePolicycomando.

Aggiornamento delle politiche relative al ciclo di vita dei dati

Quando si modifica una politica del ciclo di vita dei dati, tutte le raccolte associate ne risentono. Per aggiornare una policy sul ciclo di vita dei dati nella console OpenSearch Serverless, espandi Data Lifecycle Policy, seleziona la policy da modificare e scegli Modifica. Apporta le modifiche necessarie, quindi scegli Save (Salva).

Per aggiornare una policy sul ciclo di vita dei dati utilizzando l'API Serverless, usa il comando OpenSearch . UpdateLifecyclePolicy È necessario includere una versione della policy nella richiesta. È possibile recuperare la versione della policy utilizzando i comandi ListLifecyclePolicies o BatchGetLifecyclePolicy. L'inclusione della versione più recente delle policy garantisce di non sovrascrivere inavvertitamente una modifica apportata da qualcun altro.

La seguente richiesta aggiorna una politica del ciclo di vita dei dati con un nuovo documento JSON di policy:

aws opensearchserverless update-lifecycle-policy \
    --name my-policy \
    --type retention \
    --policy-version MTY2MzY5MTY1MDA3Ml8x \
    --policy file://my-new-policy.json

Potrebbero esserci alcuni minuti di ritardo tra l'aggiornamento della policy e l'applicazione dei nuovi periodi di conservazione.

Eliminazione delle politiche relative al ciclo di vita dei dati

Quando elimini una politica del ciclo di vita dei dati, questa non si applica più agli indici corrispondenti. Per eliminare una policy nella console OpenSearch Serverless, seleziona la policy e scegli Elimina.

Puoi anche usare il DeleteLifecyclePolicycomando:

aws opensearchserverless delete-lifecycle-policy --name my-policy --type retention