Transformação de índices no Amazon Service OpenSearch

Enquanto os trabalhos de acumulação de índices permitem reduzir a granularidade dos dados acumulando dados antigos em índices condensados, os trabalhos de transformação permitem criar uma visão diferente e resumida dos dados centralizada em determinados campos, para que você possa visualizar ou analisar os dados de maneiras diferentes.

As transformações de índice têm uma interface de usuário de OpenSearch painéis e uma API REST. O recurso requer OpenSearch 1.0 ou posterior.

nota

Esta documentação fornece uma breve visão geral das transformações de índice para ajudar você a começar a usá-las em um domínio do Amazon OpenSearch Service. Para obter uma documentação abrangente e uma referência da API REST, consulte Index transforms na OpenSearch documentação de código aberto.

Criação de um trabalho de transformação de índice

Se você não tiver dados em seu cluster, use os dados de voo de amostra nos OpenSearch painéis para experimentar trabalhos de transformação. Depois de adicionar os dados, inicie o OpenSearch Dashboards. Em seguida, escolha Index management (Gerenciamento de índices),Transform Jobs (Trabalhos de transformação) e Create Transform Job (Criar trabalho de transformação).

Etapa 1: escolha índices

Na seção Indexes (Índices), selecione o índice de origem e o índice de destino. Você pode selecionar um índice de destino existente, ou criar um novo inserindo um nome para ele.

Se você quiser transformar apenas um subconjunto do seu índice de origem, escolha Adicionar filtro de dados e use a OpenSearch consulta DSL para especificar um subconjunto do seu índice de origem.

Etapa 2: Escolher campos

Depois de escolher seus índices, escolha os campos que você deseja usar em sua tarefa de transformação, bem como se deseja usar agrupamentos ou agregações.

• Você pode usar agrupamentos para colocar seus dados em buckets separados em seu índice transformado. Por exemplo, para agrupar todos os destinos de aeroporto dentro dos dados de amostra de voos, agrupe o campo DestAirportID em um campo de destino do campo DestAirportID_terms. Ao fazer isso, você poderá encontrar os IDs de aeroporto agrupados em seu índice transformado após a conclusão do trabalho de transformação.

• Por outro lado, as agregações permitem realizar cálculos simples. Por exemplo, você pode incluir uma agregação no trabalho de transformação para definir um novo campo de sum_of_total_ticket_price que calcula a soma de todas as passagens aéreas. Em seguida, você pode analisar os novos dados em seu índice transformado.

Etapa 3: Especificar um agendamento

Os trabalhos de transformação são habilitados por padrão e executados de acordo com agendamentos. Em Transform execution interval (Transformar intervalo de execução), especifique um intervalo em minutos, horas ou dias.

Etapa 4: Revisar e monitorar

Revise sua configuração e selecione Create (Criar). Em seguida, monitore a coluna Transform job status (Status do trabalho de transformação).

Etapa 5: Pesquisar o índice de destino

Após a conclusão do trabalho, você pode usar a API _search padrão para pesquisar o índice de destino.

Por exemplo, após executar um trabalho de transformação que transforma os dados de voo com base no campo DestAirportID, você poderá executar a seguinte solicitação para retornar todos os campos que têm um valor SFO:

GET target_index/_search
{
  "query": {
    "match": {
      "DestAirportID_terms" : "SFO"
    }
  }
}