Transformation von Indizes in Amazon Service OpenSearch

Während Sie mit Index-Rollup-Jobs die Datengranularität reduzieren können, indem Sie alte Daten zu komprimierten Indizes zusammenfassen, können Sie mit Transformationsjobs eine andere, zusammengefasste Ansicht Ihrer Daten erstellen, die sich auf bestimmte Felder konzentriert, sodass Sie die Daten auf unterschiedliche Weise visualisieren oder analysieren können.

Indextransformationen verfügen über eine OpenSearch Dashboard-Benutzeroberfläche und eine REST-API. Für die Funktion ist OpenSearch Version 1.0 oder höher erforderlich.

Anmerkung

Diese Dokumentation bietet einen kurzen Überblick über Indextransformationen, um Ihnen den Einstieg in die Verwendung in einer Amazon OpenSearch Service-Domain zu erleichtern. Eine umfassende Dokumentation und eine REST-API-Referenz finden Sie unter Indextransformationen in der OpenSearch Open-Source-Dokumentation.

Erstellen eines Indextransformationsauftrags

Wenn Sie keine Daten in Ihrem Cluster haben, verwenden Sie die Beispielflugdaten in OpenSearch Dashboards, um Transformationsjobs auszuprobieren. Nachdem Sie die Daten hinzugefügt haben, starten Sie OpenSearch Dashboards. Wählen Sie dann Indexverwaltung, Transformationsaufträge und Transformationsauftrag erstellen.

Schritt 1: Wählen Sie Indizes

Wählen Sie im Abschnitt Indizes den Quell- und Zielindex aus. Sie können entweder einen vorhandenen Zielindex auswählen oder einen neuen erstellen, indem Sie einen Namen dafür eingeben.

Wenn Sie nur eine Teilmenge Ihres Quellindexes transformieren möchten, wählen Sie Datenfilter hinzufügen aus und verwenden Sie die OpenSearch Abfrage DSL, um eine Teilmenge Ihres Quellindex anzugeben.

Schritt 2: Felder auswählen

Nachdem Sie Ihre Indizes ausgewählt haben, wählen Sie die Felder aus, die Sie in Ihrem Transformationsjob verwenden möchten, und wählen Sie aus, ob Gruppierungen oder Aggregationen verwendet werden sollen.

• Sie können Gruppierungen verwenden, um Ihre Daten in separate Buckets in Ihrem transformierten Index zu platzieren. Wenn Sie beispielsweise alle Flughafenziele in den Beispielflugdaten gruppieren möchten, gruppieren Sie das DestAirportID-Feld in ein Zielfeld des DestAirportID_terms-Felds, und Sie können die gruppierten Flughafen-IDs in Ihrem transformierten Index finden, nachdem der Transformationsauftrag abgeschlossen ist.

• Auf der anderen Seite können Sie mit Aggregationen einfache Berechnungen durchführen. Sie können beispielsweise eine Aggregation in Ihren Transformationsjob einschließen, um ein neues Feld von sum_of_total_ticket_price zu definieren, das die Summe aller Flugtickets berechnet. Anschließend können Sie die neuen Daten in Ihrem transformierten Index analysieren.

Schritt 3: Legen Sie einen Zeitplan fest

Transformationsjobs sind standardmäßig aktiviert und werden nach Zeitplänen ausgeführt. Geben Sie für den Ausführungsintervall der Transformation ein Intervall in Minuten, Stunden oder Tagen an.

Schritt 4: Überprüfen und überwachen

Überprüfen Sie Ihre Konfiguration und wählen Sie Erstellen aus. Überwachen Sie dann die Spalte Transformations-Auftragsstatus.

Schritt 5: Den Zielindex suchen

Nach Abschluss des Auftrags können Sie die Standard–_searchAPI verwenden, um den Zielindex zu durchsuchen.

Nachdem Sie beispielsweise einen Transformationsjob ausgeführt haben, der die Flugdaten basierend auf dem DestAirportID-Feld umwandelt, können Sie die folgende Anforderung ausführen, um alle Felder mit dem Wert SFO zurückzugeben:

GET target_index/_search
{
  "query": {
    "match": {
      "DestAirportID_terms" : "SFO"
    }
  }
}