Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Gestión de datos de series temporales en Amazon OpenSearch Service con flujos de datos
Un flujo de trabajo típico para administrar datos de serie temporal consta de varios pasos, como la creación de un alias de índice de reversión, la definición de un índice de escritura y la definición de mapeos y configuraciones comunes para los índices de respaldo.
Los flujos de datos de Amazon OpenSearch Service ayudan a simplificar este proceso de configuración inicial. Data Streams funciona de inmediato para los datos basados en el tiempo, como los registros de aplicaciones, que normalmente son anexos.
Los flujos de datos requieren OpenSearch la versión 1.0 o posterior.
nota
Esta documentación proporciona los pasos básicos para ayudarte a empezar con las transmisiones de datos en un dominio de Amazon OpenSearch Service. Para obtener una documentación completa, consulte Flujos de datos
Introducción a Data Streams
Un flujo de datos se compone internamente de múltiples índices de respaldo. Las peticiones de búsqueda se dirigen a todos los índices de respaldo, mientras que las solicitudes de indexación se dirigen al índice de escritura más reciente.
Paso 1: crear una plantilla de índices
Para crear un flujo de datos, primero debe crear una plantilla de índice que configure un conjunto de índices como un flujo de datos. El objeto data_stream
indica que se trata de un flujo de datos y no de una plantilla de índice normal. El patrón de índice coincide con el nombre del flujo de datos:
PUT _index_template/logs-template { "index_patterns": [ "my-data-stream", "logs-*" ], "data_stream": {}, "priority": 100 }
En este caso, cada documento capturado debe tener un campo @timestamp
. También puede definir su propio campo de marca temporal personalizado como una propiedad en el objeto data_stream
.
PUT _index_template/logs-template { "index_patterns": "my-data-stream", "data_stream": { "timestamp_field": { "name": "request_time" } } }
Paso 2: crear un flujo de datos
Después de crear una plantilla de índice, puede comenzar directamente a incorporar datos sin crear un flujo de datos.
Como tenemos una plantilla de índice que coincide con un data_stream
objeto, crea OpenSearch automáticamente el flujo de datos:
POST logs-staging/_doc { "message": "login attempt failed", "@timestamp": "2013-03-01T00:00:00" }
Paso 3: incorporar datos en el flujo de datos
Para incorporar datos en un flujo de datos, puede utilizar las API de indexación regulares. Asegúrese de que cada documento que indexe tenga un campo temporal. Si intenta incorporar un documento que no tiene un campo temporal, aparecerá un error.
POST logs-redis/_doc { "message": "login attempt", "@timestamp": "2013-03-01T00:00:00" }
Paso 4: búsqueda de un flujo de datos
Puede buscar en un flujo de datos igual que en un índice normal o en un alias de índice. La operación de búsqueda se aplica a todos los índices de respaldo (todos los datos presentes en el flujo).
GET logs-redis/_search { "query": { "match": { "message": "login" } } }
Paso 5: revertir un flujo de datos
Puede configurar una política de Administración de estados de índice (ISM) para automatizar el proceso de reversión del flujo de datos. La política de ISM se aplica a los índices de respaldo en el momento de su creación. Cuando se asocia una política a un flujo de datos, solo afecta a los índices de respaldo futuros de ese flujo de datos. Tampoco es necesario proporcionar la configuración rollover_alias
, ya que la política de ISM deduce esta información del índice de respaldo.
nota
Si migra un índice de respaldo a un almacenamiento en frío, OpenSearch elimina este índice del flujo de datos. Incluso si vuelve a mover el índice a UltraWarm, el índice permanece independiente y no forma parte del flujo de datos original. Una vez que se haya eliminado un índice del flujo de datos, al buscar en el flujo no se devolverá ningún dato del índice.
aviso
El índice de escritura de un flujo de datos no se puede migrar a un almacenamiento en frío. Si desea migrar los datos de su flujo de datos a un almacenamiento en frío, debe transferir el flujo de datos antes de la migración.
Paso 6: Gestione los flujos de datos en los OpenSearch paneles
Para gestionar los flujos de datos desde los OpenSearch paneles, abra los OpenSearch paneles, elija Gestión de índices, seleccione Índices o Índices gestionados por políticas.
Paso 7: eliminar un flujo de datos
La operación de eliminación elimina primero los índices de respaldo de un flujo de datos y, a continuación, elimina el propio flujo de datos.
Para eliminar un flujo de datos y todos sus índices de respaldo ocultos:
DELETE _data_stream/
name_of_data_stream