Verwaltung von Zeitreihendaten in Amazon OpenSearch Service mit Datenströmen

Ein typischer Workflow zum Verwalten von Zeitreihendaten umfasst mehrere Schritte, z. B. das Erstellen eines Rollover-Indexalias, das Definieren eines Schreibindexes und das Definieren allgemeiner Zuordnungen und Einstellungen für die Backing-Indizes.

Datenströme in Amazon OpenSearch Service helfen dabei, diesen Ersteinrichtungsprozess zu vereinfachen. Datenströme funktionieren sofort für zeitbasierte Daten wie Anwendungsprotokolle, die typischerweise nur Anhänge sind.

Für Datenstreams ist OpenSearch Version 1.0 oder höher erforderlich.

Anmerkung

Diese Dokumentation enthält grundlegende Schritte, die Ihnen den Einstieg in Datenstreams in einer Amazon OpenSearch Service-Domain erleichtern sollen. Eine umfassende Dokumentation finden Sie unter Datenströme in der OpenSearch Dokumentation.

Erste Schritte mit Datenströmen

Ein Datenstrom besteht intern aus mehreren Backing-Indizes. Suchanforderungen werden an alle Backing-Indizes weitergeleitet, während Indizierungsanforderungen an den neuesten Schreibindex weitergeleitet werden.

Schritt 1: Erstellen einer Index-Vorlage

Um einen Datenstrom zu erstellen, müssen Sie zunächst eine Indexvorlage erstellen, die einen Satz von Indizes als Datenstrom konfiguriert. Das data_stream-Objekt zeigt an, dass es sich um einen Datenstrom und keine reguläre Indexvorlage handelt. Das Indexmuster stimmt mit dem Namen des Datenstroms überein:

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream",
    "logs-*"
  ],
  "data_stream": {},
  "priority": 100
}

In diesem Fall muss jedes aufgenommene Dokument ein @timestamp-Feld haben. Sie können auch Ihr eigenes benutzerdefiniertes Zeitstempelfeld als Eigenschaft im data_stream-Objekt definieren:

PUT _index_template/logs-template
{
  "index_patterns": "my-data-stream",
  "data_stream": {
    "timestamp_field": {
      "name": "request_time"
    }
  }
}

Schritt 2: Erstellen eines Datenstroms

Nachdem Sie eine Indexvorlage erstellt haben, können Sie direkt mit der Erfassung von Daten beginnen, ohne einen Datenstrom zu erstellen.

Da wir eine passende Indexvorlage mit einem data_stream Objekt haben, OpenSearch wird der Datenstrom automatisch erstellt:

POST logs-staging/_doc
{
  "message": "login attempt failed",
  "@timestamp": "2013-03-01T00:00:00"
}

Schritt 3: Daten in den Datenstrom aufnehmen

Um Daten in einen Datenstrom aufzunehmen, können Sie die regulären Indizierungs-APIs verwenden. Stellen Sie sicher, dass jedes Dokument, das Sie indizieren, über ein Zeitstempelfeld verfügt. Wenn Sie versuchen, ein Dokument zu übernehmen, das kein Zeitstempelfeld enthält, erhalten Sie einen Fehler.

POST logs-redis/_doc
{
  "message": "login attempt",
  "@timestamp": "2013-03-01T00:00:00"
}

Schritt 4: Suchen eines Datenstroms

Sie können einen Datenstrom genauso durchsuchen, wie Sie einen regulären Index oder einen Indexalias durchsuchen. Der Suchvorgang gilt für alle Backing-Indizes (alle Daten, die im Stream vorhanden sind).

GET logs-redis/_search
{
  "query": {
    "match": {
      "message": "login"
    }
  }
}

Schritt 5: Rollover eines Datenstroms

Sie können eine Indexstatusmanagement (ISM)-Richtlinie einrichten, um den Rollover-Prozess für den Datenstrom zu automatisieren. Die ISM-Richtlinie wird zum Zeitpunkt ihrer Erstellung auf die Backing-Indizes angewendet. Wenn Sie eine Richtlinie einem Datenstrom zuordnen, wirkt sich dies nur auf die zukünftigen Sicherungsindizes dieses Datenstroms aus. Sie müssen auch die rollover_alias-Einstellung nicht angeben, da die ISM-Richtlinie diese Informationen aus dem Sicherungsindex ableitet.

Anmerkung

Wenn Sie einen Backing-Index in einen Cold Storage migrieren, OpenSearch wird dieser Index aus dem Datenstrom entfernt. Selbst wenn Sie den Index wieder in verschieben UltraWarm, bleibt der Index unabhängig und nicht Teil des ursprünglichen Datenstroms. Nachdem ein Index aus dem Datenstream entfernt wurde, werden bei der Suche nach dem Stream keine Daten aus dem Index zurückgegeben.

Warnung

Der Schreibindex für einen Datenstream kann nicht in einen Cold Storage migriert werden. Wenn Sie Daten in Ihrem Datenstrom in einen Cold Storage migrieren möchten, müssen Sie vor der Migration einen Rollover über den Datenstrom durchführen.

Schritt 6: Datenströme in OpenSearch Dashboards verwalten

Um Datenströme von OpenSearch Dashboards aus zu verwalten, öffnen Sie OpenSearch Dashboards, wählen Sie Indexverwaltung, dann Indizes oder Policy-verwaltete Indizes aus.

Schritt 7: Löschen eines Datenstroms

Der Löschvorgang löscht zuerst die Backing-Indizes eines Datenstroms und löscht dann den Datenstrom selbst.

So löschen Sie einen Datenstrom und alle versteckten Backing-Indizes:

DELETE _data_stream/name_of_data_stream