Gestión de datos de series temporales en Amazon OpenSearch Service con flujos de datos

Un flujo de trabajo típico para administrar datos de serie temporal consta de varios pasos, como la creación de un alias de índice de reversión, la definición de un índice de escritura y la definición de mapeos y configuraciones comunes para los índices de respaldo.

Los flujos de datos de Amazon OpenSearch Service ayudan a simplificar este proceso de configuración inicial. Data Streams funciona de inmediato para los datos basados en el tiempo, como los registros de aplicaciones, que normalmente son anexos.

Los flujos de datos requieren OpenSearch la versión 1.0 o posterior.

nota

Esta documentación proporciona los pasos básicos para ayudarte a empezar con las transmisiones de datos en un dominio de Amazon OpenSearch Service. Para obtener una documentación completa, consulte Flujos de datos en la OpenSearch documentación.

Introducción a Data Streams

Un flujo de datos se compone internamente de múltiples índices de respaldo. Las peticiones de búsqueda se dirigen a todos los índices de respaldo, mientras que las solicitudes de indexación se dirigen al índice de escritura más reciente.

Paso 1: crear una plantilla de índices

Para crear un flujo de datos, primero debe crear una plantilla de índice que configure un conjunto de índices como un flujo de datos. El objeto data_stream indica que se trata de un flujo de datos y no de una plantilla de índice normal. El patrón de índice coincide con el nombre del flujo de datos:

PUT _index_template/logs-template
{
  "index_patterns": [
    "my-data-stream",
    "logs-*"
  ],
  "data_stream": {},
  "priority": 100
}

En este caso, cada documento capturado debe tener un campo @timestamp. También puede definir su propio campo de marca temporal personalizado como una propiedad en el objeto data_stream.

PUT _index_template/logs-template
{
  "index_patterns": "my-data-stream",
  "data_stream": {
    "timestamp_field": {
      "name": "request_time"
    }
  }
}

Paso 2: crear un flujo de datos

Después de crear una plantilla de índice, puede comenzar directamente a incorporar datos sin crear un flujo de datos.

Como tenemos una plantilla de índice que coincide con un data_stream objeto, crea OpenSearch automáticamente el flujo de datos:

POST logs-staging/_doc
{
  "message": "login attempt failed",
  "@timestamp": "2013-03-01T00:00:00"
}

Paso 3: incorporar datos en el flujo de datos

Para incorporar datos en un flujo de datos, puede utilizar las API de indexación regulares. Asegúrese de que cada documento que indexe tenga un campo temporal. Si intenta incorporar un documento que no tiene un campo temporal, aparecerá un error.

POST logs-redis/_doc
{
  "message": "login attempt",
  "@timestamp": "2013-03-01T00:00:00"
}

Paso 4: búsqueda de un flujo de datos

Puede buscar en un flujo de datos igual que en un índice normal o en un alias de índice. La operación de búsqueda se aplica a todos los índices de respaldo (todos los datos presentes en el flujo).

GET logs-redis/_search
{
  "query": {
    "match": {
      "message": "login"
    }
  }
}

Paso 5: revertir un flujo de datos

Puede configurar una política de Administración de estados de índice (ISM) para automatizar el proceso de reversión del flujo de datos. La política de ISM se aplica a los índices de respaldo en el momento de su creación. Cuando se asocia una política a un flujo de datos, solo afecta a los índices de respaldo futuros de ese flujo de datos. Tampoco es necesario proporcionar la configuración rollover_alias, ya que la política de ISM deduce esta información del índice de respaldo.

nota

Si migra un índice de respaldo a un almacenamiento en frío, OpenSearch elimina este índice del flujo de datos. Incluso si vuelve a mover el índice a UltraWarm, el índice permanece independiente y no forma parte del flujo de datos original. Una vez que se haya eliminado un índice del flujo de datos, al buscar en el flujo no se devolverá ningún dato del índice.

aviso

El índice de escritura de un flujo de datos no se puede migrar a un almacenamiento en frío. Si desea migrar los datos de su flujo de datos a un almacenamiento en frío, debe transferir el flujo de datos antes de la migración.

Paso 6: Gestione los flujos de datos en los OpenSearch paneles

Para gestionar los flujos de datos desde los OpenSearch paneles, abra los OpenSearch paneles, elija Gestión de índices, seleccione Índices o Índices gestionados por políticas.

Paso 7: eliminar un flujo de datos

La operación de eliminación elimina primero los índices de respaldo de un flujo de datos y, a continuación, elimina el propio flujo de datos.

Para eliminar un flujo de datos y todos sus índices de respaldo ocultos:

DELETE _data_stream/name_of_data_stream