Gerenciando dados de séries temporais no Amazon OpenSearch Service com fluxos de dados

Um fluxo de trabalho típico para gerenciar dados de séries temporais envolve várias etapas, como criar um alias de índice de sobreposição, definir um índice de gravação e definir mapeamentos e configurações comuns para os índices de apoio.

Os fluxos de dados no Amazon OpenSearch Service ajudam a simplificar esse processo de configuração inicial. Os fluxos de dados funcionam “fora da caixa” para dados baseados em tempo, como logs de aplicações que, normalmente, são de natureza somente anexação.

Os fluxos de dados exigem a OpenSearch versão 1.0 ou posterior.

nota

Esta documentação fornece etapas básicas para ajudar você a começar a usar fluxos de dados em um domínio do Amazon OpenSearch Service. Para obter uma documentação abrangente, consulte Fluxos de dados na OpenSearch documentação.

Conceitos básicos de fluxos de dados

Um fluxo de dados é composto internamente por vários índices de apoio. As solicitações de pesquisa são roteadas para todos os índices de apoio, enquanto as solicitações de indexação são roteadas para o índice de gravação mais recente.

Etapa 1: Criar um modelo de índice

Para criar um fluxo de dados, primeiro você precisa criar um modelo de índice que configura um conjunto de índices como um fluxo de dados. O objeto data_stream indica que ele é um fluxo de dados, e não um modelo de índice regular. O padrão de índice corresponde ao nome do fluxo de dados:

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream",
    "logs-*"
  ],
  "data_stream": {},
  "priority": 100
}

Nesse caso, cada documento ingerido deve ter um campo @timestamp. Você também pode definir seu campo de datação personalizado como uma propriedade no objeto data_stream:

PUT _index_template/logs-template
{
  "index_patterns": "my-data-stream",
  "data_stream": {
    "timestamp_field": {
      "name": "request_time"
    }
  }
}

Etapa 2: Criar um stream de dados

Depois de criar um modelo de índice, você poderá começar a ingerir dados diretamente sem criar um fluxo de dados.

Como temos um modelo de índice correspondente com um data_stream objeto, cria OpenSearch automaticamente o fluxo de dados:

POST logs-staging/_doc
{
  "message": "login attempt failed",
  "@timestamp": "2013-03-01T00:00:00"
}

Etapa 3: Ingerir dados no fluxo de dados

Para ingerir dados em um fluxo de dados, você pode usar as APIs de indexação regulares. Certifique-se de que todos os documentos indexados tenham um campo de carimbo de data/hora. Se tentar ingerir um documento que não tenha um campo de carimbo de data/hora, você receberá uma mensagem de erro.

POST logs-redis/_doc
{
  "message": "login attempt",
  "@timestamp": "2013-03-01T00:00:00"
}

Etapa 4: Pesquisar um fluxo de dados

Você pode pesquisar um fluxo de dados da mesma forma que pesquisa um índice regular ou um alias de índice. A operação de pesquisa aplica-se a todos os índices de apoio (todos os dados presentes no fluxo).

GET logs-redis/_search
{
  "query": {
    "match": {
      "message": "login"
    }
  }
}

Etapa 5: Rolar um fluxo de dados

Você pode configurar um Gerenciamento de estados de índices (ISM) para automatizar o processo de rolagem para o fluxo de dados. A política do ISM é aplicada aos índices de apoio no momento da sua criação. Quando você associa uma política a um fluxo de dados, ela afeta apenas os índices de apoio futuros desse fluxo de dados. Você também não precisa fornecer a configuração rollover_alias, porque a política ISM infere essas informações do índice de suporte.

nota

Se você migrar um índice de apoio para o armazenamento a frio, OpenSearch removerá esse índice do fluxo de dados. Mesmo se você mover o índice de volta para UltraWarm, o índice permanecerá independente e não fará parte do fluxo de dados original. Depois que um índice for removido do fluxo de dados, a pesquisa no fluxo não retornará nenhum dado do índice.

Atenção

O índice de gravação de um fluxo de dados não pode ser migrado para o armazenamento de baixa atividade. Se deseja migrar dados do seu fluxo de dados para o armazenamento de baixa atividade, você deve reverter o fluxo de dados antes da migração.

Etapa 6: gerenciar fluxos de dados em painéis OpenSearch

Para gerenciar fluxos de dados a partir de OpenSearch painéis, abra OpenSearch painéis, escolha Gerenciamento de índices, selecione Índices ou índices gerenciados por políticas.

Etapa 7: Excluir um fluxo de dados

A operação de exclusão primeiro exclui os índices de apoio de um fluxo de dados e, em seguida, exclui o próprio fluxo de dados.

Para excluir um fluxo de dados e todos os seus índices de apoio ocultos:

DELETE _data_stream/name_of_data_stream