Optimizado para el análisis de registros

Amazon OpenSearch Service, optimizado para el análisis de registros, es una nueva opción de motor que combina el almacenamiento analítico en columnas con la búsqueda de texto completo en un único servicio gestionado. Con el motor optimizado, obtiene una relación precio-rendimiento significativamente mejor para las cargas de trabajo de análisis de registros. También conserva la búsqueda de texto completo para la investigación de incidentes.

Descripción general de

El motor optimizado es un nuevo modo de motor en Amazon OpenSearch Service. Utiliza la misma consola, las API, el mismo modelo de seguridad y la misma configuración de red que ya utiliza con el motor de uso general.

Con el motor optimizado, obtiene las siguientes mejoras para las cargas de trabajo de análisis de registros:

• Relación precio-rendimiento mejorada: la compresión columnar y el uso eficiente de las instancias reducen el costo de ejecutar el análisis de registros a escala.

• Almacenamiento reducido: el formato en columnas de Apache Parquet comprime los datos de registro de forma significativa en comparación con las estructuras de indexación tradicionales.

• Ingesta más rápida: una ruta de escritura vectorizada y columnar aumenta el rendimiento de la ingestión.

• Consultas analíticas más rápidas: la ejecución vectorizada de datos en columnas acelera las agregaciones, los filtros y el análisis de tendencias.

• Búsqueda y análisis unificados: los predicados Full-text de búsqueda se ejecutan dentro de consultas analíticas sobre los mismos datos, en un único servicio.

En la siguiente tabla se comparan los dos modos de motor.

Modo de motor	Lo mejor para
Uso general	Search-heavy y cargas de trabajo mixtas con actualizaciones frecuentes (comercio electrónico, descubrimiento de contenido, búsqueda de aplicaciones)
Optimizado (recomendado para el análisis de registros)	Append-only registros y análisis de registros a escala de varios terabytes

Cuándo usar cada modo de motor

Utilice el motor optimizado cuando su carga de trabajo esté dominada por las agregaciones, los filtros y el análisis de tendencias en lugar de los registros, y también necesite buscar texto completo durante los incidentes. Algunos ejemplos incluyen el análisis de registros de aplicaciones, infraestructuras y seguridad a una escala de varios terabytes por día.

Utilice el motor de uso general cuando su carga de trabajo dependa de la clasificación por relevancia, las consultas de objetos anidados, las secuencias de comandos sencillas, las consultas geográficas, las búsquedas o las actualizaciones frecuentes de los documentos in situ. vector/semantic Algunos ejemplos son la búsqueda de comercio electrónico, el descubrimiento de contenido y la búsqueda de aplicaciones.

Funcionamiento

El motor optimizado utiliza la mejor estructura de datos para cada operación. El motor almacena los datos de registro en formato de columnas para su análisis. Conserva un índice de búsqueda para la búsqueda de texto completo y dirige cada consulta al componente más adecuado.

En la siguiente tabla se describen los componentes del motor optimizado.

Componente	Rol
Apache Parquet	Formato de almacenamiento en columnas abiertas. Almacenamiento principal para datos de registro. Ofrece una reducción significativa del almacenamiento en comparación con las estructuras de indexación tradicionales.
Índice invertido de Lucene	Se conserva para la búsqueda de texto completo en el contenido del registro (coincidencia de frases, difusos o comodín).
Calcita apache	Analizador, planificador y optimizador de SQL. Se ejecuta en el nodo coordinador como una interfaz única para todos los lenguajes de consulta.
DataFusion	Motor de ejecución vectorizado ()Rust-based. Ejecuta operaciones analíticas (agregaciones, filtros, escaneos de rango) en datos columnares.
Apache Arrow	In-memory formato columnar. Permite la transferencia de datos sin copia y el procesamiento vectorizado.
Amazon S3	Almacenamiento de respaldo duradero tanto para archivos Parquet como para segmentos de índice invertido.
OpenSearch INTERFAZ DE USUARIO	Interfaz de consulta y visualización para dominios optimizados (barra de consultas PPL, asistencia de consultas en lenguaje natural).

Los datos se ingresan a través de las API REST y las bibliotecas cliente existentes (no se requieren nuevos agentes ni canalizaciones). El motor escribe los datos en una columna de Parquet para su análisis. En el caso de los campos configurados como buscables, también escribe en un índice invertido de Lucene. PPL y SQL se ejecutan de forma nativa a través del motor vectorizado. Full-text Los predicados de búsqueda se ejecutan en el índice invertido y se pueden combinar con el análisis en una sola sentencia.

Las consultas fluyen a través de un nodo coordinador (planificación y fusión) y nodos de datos (ejecución y almacenamiento). El coordinador analiza y optimiza la consulta y, a continuación, programa los fragmentos en los nodos de datos. En cada nodo de datos, las operaciones analíticas se ejecutan en el DataFusion motor, mientras que las operaciones de búsqueda se ejecutan en el motor Lucene. Las dos se pueden transferir a mitad de la consulta, de modo que una consulta que busque el contenido de un registro y agregue los resultados se ejecuta sin necesidad de realizar viajes de ida y vuelta adicionales.

Disponibilidad por región

OpenSearch El servicio Amazon optimizado para el análisis de registros está disponible en los siguientes sitios Regiones de AWS:

• Este de EE. UU. (Norte de Virginia) – us-east-1

• Este de EE. UU. (Ohio) – us-east-2

• Oeste de EE. UU. (Oregón) – us-west-2

• Canadá (Centra) – ca-central-1

• Asia-Pacífico (Mumbai)

• Asia-Pacífico (Singapur)

• Asia-Pacífico (Sídney)

• Asia-Pacífico (Tokio)

• Europa (Fráncfort)

• Europa (Irlanda)

• Europa (Londres)

• Europa (España)