Transformation des index dans Amazon Service OpenSearch

Alors que les tâches de cumul d'index vous permettent de réduire la granularité des données en regroupant les anciennes données en index condensés, les tâches de transformation vous permettent de créer une vue différente et résumée de vos données centrée sur certains champs, afin que vous puissiez visualiser ou analyser les données de différentes manières.

Les transformations d'index disposent d'une interface utilisateur de OpenSearch tableaux de bord et d'une API REST. La fonctionnalité nécessite la OpenSearch version 1.0 ou une version ultérieure.

Note

Cette documentation fournit un bref aperçu des transformations d'index pour vous aider à commencer à les utiliser sur un domaine Amazon OpenSearch Service. Pour une documentation complète et une référence sur l'API REST, voir les transformations d'index dans la OpenSearch documentation open source.

Création d'une tâche de transformation d'index

Si votre cluster ne contient aucune donnée, utilisez les exemples de données de vol figurant dans les OpenSearch tableaux de bord pour essayer des tâches de transformation. Après avoir ajouté les données, lancez OpenSearch Dashboards. Choisissez ensuite Index Management (Gestion des index), Transform Jobs (Tâches de transformation) et Create Transform Job (Créer une tâche de transformation).

Étape 1 : Choisissez les index

Dans la section Indices (Index), sélectionnez l'index source et l'index cible. Vous pouvez soit sélectionner un index cible existant, soit en créer un nouveau en lui donnant un nom.

Si vous souhaitez transformer uniquement un sous-ensemble de votre index source, choisissez Ajouter un filtre de données et utilisez la OpenSearch requête DSL pour spécifier un sous-ensemble de votre index source.

Étape 2 : Choix des champs

Après avoir choisi vos index, choisissez les champs que vous souhaitez utiliser dans votre tâche de transformation, et indiquez si vous souhaitez utiliser des groupements ou des agrégations.

• Vous pouvez utiliser des regroupements pour placer vos données dans des compartiments séparés dans votre index transformé. Par exemple, si vous souhaitez regrouper toutes les destinations d'aéroport dans les données de vol de l'échantillon, regroupez le champ DestAirportID dans un champ cible du champ DestAirportID_terms, et vous pourrez trouver les ID d'aéroport regroupés dans votre index transformé une fois la tâche de transformation terminée.

• D'autre part, les agrégations vous permettent d'effectuer des calculs simples. Par exemple, vous pouvez inclure une agrégation dans votre tâche de transformation pour définir un nouveau champ de sum_of_total_ticket_price qui calcule la somme de tous les billets d'avion. Vous pouvez ensuite analyser les nouvelles données dans votre index transformé.

Étape 3 : Spécifier une planification

Les tâches de transformation sont activées par défaut et s'exécutent selon des planifications. Pour transform execution interval (intervalle d'exécution de transformation), spécifiez un intervalle en minutes, heures ou jours.

Étape 4 : Vérifier et surveiller

Vérifiez votre configuration et sélectionnez Créer. Surveillez ensuite la colonne Transform job status (État de la tâche de transformation).

Étape 5 : Rechercher dans l'index cible

Une fois la tâche terminée, vous pouvez utiliser l'API standard _search pour effectuer une recherche dans l'index cible.

Par exemple, après avoir exécuté une tâche de transformation qui transforme les données de vol en fonction du champ DestAirportID, vous pouvez exécuter la requête suivante pour renvoyer tous les champs dont la valeur est SFO :

GET target_index/_search
{
  "query": {
    "match": {
      "DestAirportID_terms" : "SFO"
    }
  }
}