Resumo dos índices no Amazon OpenSearch Service com agrupamentos de índices

As totalizações de índices no Amazon OpenSearch Service permitem reduzir os custos de armazenamento ao combinar periodicamente dados antigos em índices resumidos.

Você escolhe os campos que interessam e usa uma totalização de índices para criar um novo índice com apenas esses campos agregados em buckets de tempo menos detalhados. Você pode armazenar meses ou anos de dados históricos por uma fração do custo com a mesma performance de consulta.

As totalizações de índices exigem o OpenSearch ou Elasticsearch 7.9 ou posterior

nota

Essa documentação ajuda você a começar a criar um trabalho de totalização de índices no Amazon OpenSearch Service. Para obter uma documentação abrangente, incluindo uma lista de todas as configurações disponíveis e uma referência completa da API, consulte Totalização de índices na documentação do OpenSearch.

Criação de um trabalho de totalização de índices

Para começar a usar, escolha Index Management (Gerenciamento de índices) no OpenSearch Dashboards. Selecione Rollup Jobs (Trabalhos de totalização) e escolha Create rollup job (Criar trabalho de totalização).

Etapa 1: configurar índices

Configure os índices de origem e de destino. O índice de origem é aquele que você deseja totalizar. O índice de destino é onde os resultados do conjunto de índices são salvos.

Depois de criar um trabalho de totalização de índices, você não poderá alterar suas seleções de índice.

Etapa 2: Definir agregações e métricas

Selecione os atributos com as agregações (termos e histogramas) e métricas (média, soma, máximo, mínimo e contagem de valores) que deseja totalizar. Certifique-se de não adicionar muitos atributos altamente granulares, porque você não economizará muito espaço.

Etapa 3: Especificar agendamentos

Especifique um agendamento para agrupar seus índices à medida que são ingeridos. O trabalho de totalização é habilitado por padrão.

Etapa 4: revisar e criar

Revise sua configuração e selecione Create (Criar).

Etapa 5: Pesquisar o índice de destino

Você pode usar a API _search padrão para pesquisar o índice de destino. Você não pode acessar a estrutura interna dos dados no índice de destino porque o plug-in reescreve automaticamente a consulta em segundo plano para se adequar ao índice de destino. Isso é para garantir que você possa usar a mesma consulta para o índice de origem e de destino.

Para consultar o índice de destino, defina size como 0:

GET target_index/_search
{
  "size": 0,
  "query": {
    "match_all": {}
  },
  "aggs": {
    "avg_cpu": {
      "avg": {
        "field": "cpu_usage"
      }
    }
  }
}

nota

As versões 2.2 e posteriores do OpenSearch oferecem suporte à pesquisa de vários índices cumulativos em uma solicitação. As versões do OpenSearch anteriores à 2.2 e as versões antigas do Elasticsearch OSS oferecem suporte apenas a um índice cumulativo por pesquisa.