Gestion des séries chronologiques dans Amazon OpenSearch Service à l'aide de flux de données

Un flux de travail typique pour gérer les données en séries chronologiques comporte plusieurs étapes, telles que la création d'un alias d'index de substitution, la définition d'un index d'écriture et la définition de mappages et de paramètres communs pour les index de support.

Les flux de données dans Amazon OpenSearch Service contribuent à simplifier ce processus de configuration initiale. Les flux de données sont prêts à l'emploi pour les données temporelles telles que les journaux d'application qui sont généralement de nature append-only.

Les flux de données nécessitent OpenSearch la version 1.0 ou ultérieure.

Note

Cette documentation fournit des étapes de base pour vous aider à démarrer avec les flux de données sur un domaine Amazon OpenSearch Service. Pour une documentation complète, voir Flux de données dans la OpenSearch documentation.

Premiers pas avec les flux de données

Un flux de données est composé en interne de plusieurs index de support. Les requêtes de recherche sont acheminées vers tous les index de support, tandis que les requêtes d'indexation sont acheminées vers le dernier index d'écriture.

Étape 1 : Créer un modèle d'index

Pour créer un flux de données, vous devez d'abord créer un modèle d'index qui configure un ensemble d'index en tant que flux de données. L'objet data_stream indique qu'il s'agit d'un flux de données et non d'un modèle d'index ordinaire. Le modèle d'index correspond au nom du flux de données :

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream",
    "logs-*"
  ],
  "data_stream": {},
  "priority": 100
}

Dans ce cas, chaque document ingéré doit avoir un champ @timestamp. Vous pouvez également définir votre propre champ d'horodatage personnalisé comme une propriété de l'objet data_stream :

PUT _index_template/logs-template
{
  "index_patterns": "my-data-stream",
  "data_stream": {
    "timestamp_field": {
      "name": "request_time"
    }
  }
}

Étape 2 : Création d'un flux de données

Après avoir créé un modèle d'index, vous pouvez directement commencer à ingérer des données sans créer de flux de données.

Comme nous avons un modèle d'index correspondant à un data_stream objet, le flux de données est OpenSearch automatiquement créé :

POST logs-staging/_doc
{
  "message": "login attempt failed",
  "@timestamp": "2013-03-01T00:00:00"
}

Étape 3 : Ingestion des données dans le flux de données

Pour ingérer des données dans un flux de données, vous pouvez utiliser les API d'indexation habituelles. Assurez-vous que chaque document que vous indexez possède un champ d'horodatage. Si vous essayez d'ingérer un document qui ne possède pas de champ d'horodatage, vous obtenez une erreur.

POST logs-redis/_doc
{
  "message": "login attempt",
  "@timestamp": "2013-03-01T00:00:00"
}

Étape 4 : Recherche dans un flux de données

Vous pouvez effectuer une recherche dans un flux de données de la même manière que dans un index ordinaire ou un alias d'index. L'opération de recherche s'applique à tous les index de support (toutes les données présentes dans le flux).

GET logs-redis/_search
{
  "query": {
    "match": {
      "message": "login"
    }
  }
}

Étape 5 : Substitution d'un flux de données

Vous pouvez configurer une politique ISM (Index State Management) afin d'automatiser le processus de substitution pour le flux de données. La politique ISM est appliquée aux index de support au moment de leur création. Lorsque vous associez une politique à un flux de données, elle n'affecte que les futurs index de support de ce flux de données. Vous n'avez pas non plus besoin de fournir le paramètre rollover_alias, car la politique ISM déduit cette information de l'index de support.

Note

Si vous migrez un index de sauvegarde vers un stockage à froid, OpenSearch supprimez cet index du flux de données. Même si vous replacez l'index vers UltraWarm, il reste indépendant et ne fait pas partie du flux de données d'origine. Une fois qu'un index a été supprimé du flux de données, la recherche par rapport au flux ne renvoie aucune donnée de l'index.

Avertissement

L'index d'écriture d'un flux de données ne peut pas être migré vers un stockage à froid. Si vous souhaitez migrer les données de votre flux de données vers un stockage à froid, vous devez transférer le flux de données avant la migration.

Étape 6 : Gérer les flux de données dans les OpenSearch tableaux de bord

Pour gérer les flux de données à partir de OpenSearch tableaux de bord, ouvrez les OpenSearch tableaux de bord, choisissez Gestion des index, sélectionnez Indices ou Indices gérés par des politiques.

Étape 7 : Suppression d'un flux de données

L'opération de suppression supprime d'abord les index de support d'un flux de données, puis supprime le flux de données lui-même.

Pour supprimer un flux de données et tous ses index de support cachés :

DELETE _data_stream/name_of_data_stream