Erkennung von Anomalien in Amazon Service OpenSearch

Die Anomalieerkennung in Amazon OpenSearch Service erkennt mithilfe des Random Cut Forest (RCF) -Algorithmus automatisch Anomalien in Ihren OpenSearch Daten nahezu in Echtzeit. RCF ist ein unüberwachter Algorithmus für Machine Learning, der eine Skizze des eingehenden Datenstroms modelliert. Der Algorithmus berechnet einen anomaly grade- und confidence score-Wert für jeden eingehenden Datenpunkt. Die Funktion zur Anomalieerkennung verwendet diese Werte, um eine Anomalie von normalen Variationen in Ihren Daten zu unterscheiden.

Sie können das Anomalieerkennungs-Plugin mit dem Alerting-Plugin koppeln, um Sie zu benachrichtigen, sobald eine Anomalie erkannt wird.

Die Erkennung von Anomalien ist für Domains verfügbar, auf denen eine beliebige OpenSearch Version oder Elasticsearch 7.4 oder höher ausgeführt wird. Alle Instance-Typen unterstützen die Anomalieerkennung für t2.micro und t2.small.

Anmerkung

Diese Dokumentation bietet einen kurzen Überblick über die Erkennung von Anomalien im Kontext von Amazon OpenSearch Service. Eine umfassende Dokumentation, einschließlich detaillierter Schritte, einer API-Referenz, einer Referenz aller verfügbaren Einstellungen und Schritten zur Erstellung von Visualisierungen und Dashboards, finden Sie unter Anomalieerkennung in der Open-Source-Dokumentation. OpenSearch

Voraussetzungen

Für die Anomalieerkennung müssen die folgenden Voraussetzungen erfüllt sein:

• Für die Erkennung von Anomalien ist Elasticsearch 7.4 OpenSearch oder höher erforderlich.

• Die Anomalieerkennung unterstützt nur eine detaillierte Zugriffskontrolle auf Elasticsearch-Versionen 7.9 und höher sowie auf allen Versionen von. OpenSearch Vor Elasticsearch 7.9 können nur Admin-Benutzer Detektoren erstellen, anzeigen und verwalten.

• Wenn Ihre Domain eine differenzierte Zugriffskontrolle verwendet, müssen Benutzer ohne Administratorrechte der anomaly_read_access Rolle in den OpenSearch Dashboards zugeordnet werden, um Melder anzeigen zu können oder um Detektoren zu erstellen und zu verwalten. anomaly_full_access

Erste Schritte mit der Anomalieerkennung

Wählen Sie zunächst die Option Anomalieerkennung in Dashboards aus. OpenSearch

Schritt 1: Erstellen eines Detektors

Ein Detektor ist eine individuelle Anomalieerkennungsaufgabe. Sie können mehrere Detektoren erstellen, und alle Detektoren können gleichzeitig ausgeführt werden, wobei jeder Daten aus verschiedenen Quellen analysiert.

Schritt 2: Hinzufügen von Funktionen zu Ihrem Detektor

Eine Funktion ist das Feld in Ihrem Index, das Sie auf Anomalien überprüfen. Ein Detektor kann Anomalien in einer oder mehreren Funktionen entdecken. Sie müssen für jede Funktion eine der folgenden Aggregationen auswählen: average(), sum(), count(), min() oder max().

Anmerkung

Die count() Aggregationsmethode ist nur in Elasticsearch 7.7 OpenSearch oder höher verfügbar. Verwenden Sie für Elasticsearch 7.4 einen benutzerdefinierten Ausdruck wie den folgenden:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

Die Aggregationsmethode legt fest, was eine Anomalie darstellt. Wenn Sie beispielsweise min() wählen, konzentriert sich der Detektor darauf, Anomalien basierend auf den Mindestwerten Ihrer Funktion zu finden. Wenn Sie average() wählen, findet der Detektor Anomalien basierend auf den Durchschnittswerten Ihrer Funktion. Sie können maximal fünf Funktionen pro Detektor hinzufügen.

Sie können die folgenden optionalen Einstellungen konfigurieren (verfügbar in Elasticsearch 7.7 und höher):

• Kategorie-Feld – Kategorisieren oder schneiden Sie Ihre Daten mit einer Dimension wie IP-Adresse, Produkt-ID, Ländercode usw.

• Größe des Fensters – Legen Sie die Anzahl der Aggregationsintervalle aus Ihrem Datenstrom fest, die in einem Erkennungsfenster berücksichtigt werden sollen.

Nachdem Sie die Funktionen eingerichtet haben, können Sie eine Vorschau von Beispielanomalien anzeigen und ggf. die Funktions-Einstellungen anpassen.

Schritt 3: Beobachten der Ergebnisse

• Live-Anomalien zeigt die Live-Anomalie-Ergebnisse für die letzten 60 Intervalle an. Wenn das Intervall beispielsweise auf 10 eingestellt ist, werden die Ergebnisse der letzten 600 Minuten angezeigt. Dieses Diagramm wird alle 30 Sekunden aktualisiert.

• Anomalieverlauf zeichnet die Anomalieklasse mit dem entsprechenden Konfidenzmaß.

• Funktionsaufschlüsselung – zeichnet die Funktionen basierend auf der Aggregationsmethode. Sie können den Datums-Uhrzeitbereich des Detektors variieren.

• Anomalie-Vorkommnisse – zeigen Start time, End time, Data confidence und Anomaly grade für jede erkannte Anomalie an.

  Wenn Sie das Kategoriefeld festlegen, sehen Sie ein zusätzliches Heatmap-Diagramm, das die Ergebnisse für anomale Elemente korreliert. Wählen Sie ein gefülltes Rechteck, um eine detailliertere Ansicht der Anomalie anzuzeigen.

Schritt 4: Einrichten von Warnungen

Um einen Monitor zu erstellen, der Ihnen Benachrichtigungen sendet, wenn Anomalien erkannt werden, wählen Sie Warnungen einrichten. Das Plug-In leitet Sie auf die Seite Monitor hinzufügen weiter, auf der Sie eine Warnung konfigurieren können.