Detecção de anomalias no Amazon Service OpenSearch

A detecção de anomalias no Amazon OpenSearch Service detecta automaticamente anomalias em seus OpenSearch dados quase em tempo real usando o algoritmo Random Cut Forest (RCF). O RCF é um algoritmo de machine learning não supervisionado que modela um esboço do fluxo de dados de entrada. O algoritmo calcula um valor de anomaly grade e confidence score para cada ponto de dados de entrada. A detecção de anomalias usa esses valores para diferenciar uma anomalia de variações normais nos dados.

Você pode emparelhar o plug-in de detecção de anomalias com o plug-in de alerta para notificá-lo assim que uma anomalia for detectada.

A detecção de anomalias está disponível em domínios que executam qualquer OpenSearch versão do Elasticsearch 7.4 ou posterior. Todos os tipos de instâncias oferecem suporte à detecção de anomalias, exceto t2.micro e t2.small.

nota

Esta documentação fornece uma breve visão geral da detecção de anomalias no contexto do Amazon OpenSearch Service. Para obter uma documentação abrangente, incluindo etapas detalhadas, uma referência de API, uma referência de todas as configurações disponíveis e etapas para criar visualizações e painéis, consulte Detecção de anomalias na documentação de código aberto. OpenSearch

Pré-requisitos

A detecção de anomalias apresenta os seguintes pré-requisitos:

• A detecção de anomalias requer o Elasticsearch 7.4 OpenSearch ou posterior.

• A detecção de anomalias só oferece suporte ao controle de acesso refinado nas versões 7.9 e posteriores do Elasticsearch e em todas as versões do. OpenSearch Antes do Elasticsearch 7.9, somente usuários administradores podiam criar, visualizar e gerenciar detectores.

• Se o seu domínio usa controle de acesso refinado, os usuários não administradores devem ser mapeados para a anomaly_read_access função nos OpenSearch painéis para visualizar detectores ou anomaly_full_access para criar e gerenciar detectores.

Conceitos básicos da detecção de anomalias

Para começar, escolha Detecção de anomalias em OpenSearch painéis.

Etapa 1: Criar um detector

Um detector é uma tarefa individual de detecção de anomalias. Você pode criar vários detectores, e todos os detectores podem ser executados simultaneamente, com cada um efetuando análises de dados de diferentes fontes.

Etapa 2: Adicionar recursos ao detector

Um recurso é o campo no índice que você verifica em busca de anomalias. Um detector pode descobrir anomalias em um ou mais recursos. Você deve escolher uma das agregações a seguir para cada recurso: average(), sum(), count(), min() ou max().

nota

O método count() de agregação está disponível somente no OpenSearch Elasticsearch 7.7 ou posterior. Para o Elasticsearch 7.4, use uma expressão personalizada como a seguinte:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

O método de agregação determina o que constitui uma anomalia. Por exemplo, se você escolher min(), o detector se concentrará em encontrar anomalias com base nos valores mínimos de seu recurso. Se você escolher average(), o detector encontrará anomalias com base nos valores médios de seu recurso. Você pode adicionar um máximo de cinco recursos por detector.

Você pode definir as seguintes configurações opcionais (disponíveis no Elasticsearch 7.7 e posterior):

• Category (Categoria): categorize ou corte seus dados com uma dimensão como endereço IP, ID do produto, código do país e assim por diante.

• Window size (Tamanho da janela): defina o número de intervalos de agregação do fluxo de dados a considerar em uma janela de detecção.

Depois de configurar seus recursos, visualize anomalias de amostra e ajuste as configurações do recurso, se necessário.

Etapa 3: Observar os resultados

• Live anomalies (Anomalias em tempo real): exibe os resultados das anomalias em tempo real dos últimos 60 intervalos. Por exemplo, se o intervalo for definido como 10, ele mostra os resultados dos últimos 600 minutos. Esse gráfico é atualizado a cada 30 segundos.

• Anomaly history (Histórico da anomalia): plota o grau da anomalia com a medida de confiança correspondente.

• Feature breakdown (Detalhamento de recurso): plota os recursos com base no método de agregação. É possível variar o intervalo de data e hora do detector.

• Anomaly occurrence (Ocorrência das anomalias) mostra os valores de Start time, End time, Data confidence e Anomaly grade para cada anomalia detectada.

  Se você definir o campo de categoria, verá um gráfico de Mapa de calor adicional que correlaciona resultados para entidades anômalas. Escolha um retângulo preenchido para obter uma visualização mais detalhada da anomalia.

Etapa 4: Configurar alertas

Para criar um monitor para enviar notificações quando qualquer anomalia for detectada, escolha Configurar alertas. O plug-in redireciona você para a página Add monitor (Adicionar monitor), onde você pode configurar um alerta.