Erkennung von Anomalien in Amazon OpenSearch Service

Die Funktion zur Anomalieerkennung in Amazon OpenSearch Service erkennt automatisch Anomalien in Ihren OpenSearch-Daten nahezu in Echtzeit mithilfe des RCF-Algorithmus (Random Cut Forest). RCF ist ein unüberwachter Algorithmus für Machine Learning, der eine Skizze des eingehenden Datenstroms modelliert. Der Algorithmus berechnet einen anomaly grade- und confidence score-Wert für jeden eingehenden Datenpunkt. Die Funktion zur Anomalieerkennung verwendet diese Werte, um eine Anomalie von normalen Variationen in Ihren Daten zu unterscheiden.

Sie können das Anomalieerkennungs-Plugin mit dem Konfiguration von Benachrichtigungen in Amazon OpenSearch Service-Plugin verbinden, um benachrichtigt zu werden, sobald eine Anomalie erkannt wird.

Die Erkennung von Anomalien ist auf Domänen verfügbar, auf denen jede OpenSearch-Version oder Elasticsearch 7.4 oder höher ausgeführt wird. Alle Instance-Typen unterstützen die Anomalieerkennung für t2.micro und t2.small. Die vollständige Dokumentation für die Funktion zur Anomalieerkennung, einschließlich detaillierter Schritte und API-Beschreibungen, ist in der OpenSearch-Dokumentation verfügbar.

Voraussetzungen

Für die Anomalieerkennung müssen die folgenden Voraussetzungen erfüllt sein:

• Die Anomalieerkennung erfordert OpenSearch oder Elasticsearch 7.4 oder höher.

• Die Anomalieerkennung unterstützt nur eine abgestimmte Zugriffskontrolle auf Elasticsearch-Versionen 7.9 und höher und alle Versionen von OpenSearch. Vor Elasticsearch 7.9 können nur Admin-Benutzer Detektoren erstellen, anzeigen und verwalten.

• Wenn Ihre Domäne eine differenzierte Zugriffskontrolle verwendet, müssen Benutzer ohne Administratorrechte in OpenSearch-Dashboards der Rolle anomaly_read_access zugeordnet werden, um Detektoren anzuzeigen, oder anomaly_full_access, um Detektoren zu erstellen und zu verwalten.

Erste Schritte mit der Anomalieerkennung

Um zu beginnen, wählen Sie Anomalieerkennung in OpenSearch-Dashboards.

Schritt 1: Erstellen eines Detektors

Ein Detektor ist eine individuelle Anomalieerkennungsaufgabe. Sie können mehrere Detektoren erstellen, und alle Detektoren können gleichzeitig ausgeführt werden, wobei jeder Daten aus verschiedenen Quellen analysiert.

Schritt 2: Hinzufügen von Funktionen zu Ihrem Detektor

Eine Funktion ist das Feld in Ihrem Index, das Sie auf Anomalien überprüfen. Ein Detektor kann Anomalien in einer oder mehreren Funktionen entdecken. Sie müssen für jede Funktion eine der folgenden Aggregationen auswählen: average(), sum(), count(), min() oder max().

Anmerkung

Die count()-Aggregationsmethode ist nur in OpenSearch und Elasticsearch 7.7 oder höher verfügbar. Verwenden Sie für Elasticsearch 7.4 einen benutzerdefinierten Ausdruck wie den folgenden:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

Die Aggregationsmethode legt fest, was eine Anomalie darstellt. Wenn Sie beispielsweise min() wählen, konzentriert sich der Detektor darauf, Anomalien basierend auf den Mindestwerten Ihrer Funktion zu finden. Wenn Sie average() wählen, findet der Detektor Anomalien basierend auf den Durchschnittswerten Ihrer Funktion. Sie können maximal fünf Funktionen pro Detektor hinzufügen.

Sie können die folgenden optionalen Einstellungen konfigurieren (verfügbar in Elasticsearch 7.7 und höher):

• Kategorie-Feld – Kategorisieren oder schneiden Sie Ihre Daten mit einer Dimension wie IP-Adresse, Produkt-ID, Ländercode usw.

• Größe des Fensters – Legen Sie die Anzahl der Aggregationsintervalle aus Ihrem Datenstrom fest, die in einem Erkennungsfenster berücksichtigt werden sollen.

Nachdem Sie die Funktionen eingerichtet haben, können Sie eine Vorschau von Beispielanomalien anzeigen und ggf. die Funktions-Einstellungen anpassen.

Schritt 3: Beobachten der Ergebnisse

• Live-Anomalien zeigt die Live-Anomalie-Ergebnisse für die letzten 60 Intervalle an. Wenn das Intervall beispielsweise auf 10 eingestellt ist, werden die Ergebnisse der letzten 600 Minuten angezeigt. Dieses Diagramm wird alle 30 Sekunden aktualisiert.

• Anomalieverlauf zeichnet die Anomalieklasse mit dem entsprechenden Konfidenzmaß.

• Funktionsaufschlüsselung – zeichnet die Funktionen basierend auf der Aggregationsmethode. Sie können den Datums-Uhrzeitbereich des Detektors variieren.

• Anomalie-Vorkommnisse – zeigen Start time, End time, Data confidence und Anomaly grade für jede erkannte Anomalie an.

  Wenn Sie das Kategoriefeld festlegen, sehen Sie ein zusätzliches Heatmap-Diagramm, das die Ergebnisse für anomale Elemente korreliert. Wählen Sie ein gefülltes Rechteck, um eine detailliertere Ansicht der Anomalie anzuzeigen.

Schritt 4: Einrichten von Warnungen

Um einen Monitor zu erstellen, der Ihnen Benachrichtigungen sendet, wenn Anomalien erkannt werden, wählen Sie Warnungen einrichten. Das Plug-In leitet Sie auf die Seite Monitor hinzufügen weiter, auf der Sie eine Warnung konfigurieren können.