Rilevamento di anomalie in Amazon OpenSearch Service

Il rilevamento delle anomalie in Amazon OpenSearch Service rileva automaticamente le anomalie nei dati OpenSearch quasi in tempo reale grazie all'algoritmo Random Cut Forest (RCF). L'RCF è un algoritmo di machine learning non supervisionato che modella un disegno del flusso di dati in ingresso. L'algoritmo calcola un anomaly grade e un valore confidence score per ogni punto di dati in ingresso. Il rilevamento delle anomalie utilizza questi valori per differenziare un'anomalia dalle normali variazioni dei dati.

È possibile associare il plugin per il rilevamento delle anomalie con il plugin Configurazione degli avvisi in Amazon Service OpenSearch per inviare una notifica all'utente non appena viene rilevata un'anomalia.

Il rilevamento delle anomalie è disponibile su domini che eseguono qualsiasi versione di OpenSearch o Elasticsearch 7.4 o successiva. Tutti i tipi di istanza, tranne t2.micro e t2.small, supportano il rilevamento delle anomalie. La documentazione completa per il rilevamento delle anomalie, comprese le descrizioni dettagliate delle fasi e dell'API, è disponibile nella documentazione di OpenSearch.

Prerequisiti

Il rilevamento delle anomalie ha i seguenti requisiti preliminari:

• Il rilevamento delle anomalie richiede OpenSearch o Elasticsearch 7.4 o versioni successive.

• Il rilevamento delle anomalie supporta il controllo granulare degli accessi solo su Elasticsearch versioni 7.9 e successive e su tutte le versioni di OpenSearch. Prima di Elasticsearch 7.9, solo gli utenti amministratori potevano creare, visualizzare e gestire i rilevatori.

• Se il dominio utilizza il controllo granulare degli accessi, gli utenti senza privilegi di amministratore devono essere mappati al ruolo anomaly_read_access in OpenSearch Dashboards in modo da visualizzare i rilevatori o anomaly_full_access per creare e gestire i rilevatori.

Nozioni di base sul rilevamento di anomalie

Per iniziare, scegliere Rilevamento delle anomalie in OpenSearch Dashboards.

Fase 1: Creazione di un rilevatore

Un rivelatore è un'attività individuale di rilevamento delle anomalie. È possibile creare più rilevatori, e tutti possono essere eseguiti simultaneamente. Ogni rilevatore analizza i dati provenienti da origini diverse.

Fase 2: Aggiunta di caratteristiche al rilevatore

Una caratteristica è il campo nell'indice che viene controllato per la presenza di anomalie. Un rilevatore può rilevare anomalie in una o più caratteristiche. È necessario scegliere una delle seguenti aggregazioni per ogni funzionalità: average(), sum(), count(), min() o max().

Nota

Il metodo di aggregazione count() è disponibile solo in OpenSearch ed Elasticsearch 7.7 o versioni successive. Per Elasticsearch 7.4, utilizzare un'espressione personalizzata come la seguente:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

Il metodo di aggregazione determina ciò che costituisce un'anomalia. Ad esempio, se si sceglie min(), il rilevatore si concentra sulla ricerca di anomalie in base ai valori minimi della caratteristica. Se si sceglie average(), il rilevatore rileva anomalie in base ai valori medi della caratteristica. È possibile aggiungere un massimo di cinque caratteristiche per ogni rilevatore.

È possibile configurare le seguenti impostazioni facoltative (disponibili in Elasticsearch 7.7 e versioni successive):

• Campo Categoria: categorizzare o suddividere i dati con una dimensione come indirizzo IP, ID prodotto, codice paese e così via.

• Dimensione finestra: impostare il numero di intervalli di aggregazione dal flusso dei dati da considerare in una finestra di rilevamento.

Dopo aver configurato le funzioni, visualizzare in anteprima le anomalie dei campioni e, se necessario, regolare le impostazioni delle funzioni.

Fase 3: Osservazione dei risultati

• Anomalie in tempo reale visualizza i risultati delle anomalie in tempo reale per gli ultimi 60 intervalli. Ad esempio, se l'intervallo è impostato su 10, vengono visualizzati i risultati degli ultimi 600 minuti. Questo grafico viene aggiornato ogni 30 secondi.

• Cronologia delle anomalie traccia il grado di anomalia con il corrispondente livello di attendibilità.

• Il grafico Suddivisione delle caratteristiche traccia le caratteristiche in base al metodo di aggregazione. È possibile variare l'intervallo di data-ora del rilevatore.

• Occorrenze delle anomalie mostra Start time, End time, Data confidence e Anomaly grade per ogni anomalia rilevata.

  Se si imposta il campo della categoria, viene visualizzato una ulteriore mappa di calore che correla i risultati per le entità anomale. Scegliere un rettangolo pieno per visualizzare una vista più dettagliata dell'anomalia.

Fase 4: Configurazione degli avvisi

Per creare un monitoraggio per inviare notifiche quando vengono rilevate anomalie, scegliere Configura avvisi. Il plug-in reindirizza alla pagina Aggiungi monitor dove è possibile configurare un avviso.