Detección de anomalías en Amazon Service OpenSearch

La detección de anomalías en Amazon OpenSearch Service detecta automáticamente las anomalías en los OpenSearch datos casi en tiempo real mediante el algoritmo Random Cut Forest (RCF). RCF es un algoritmo de machine learning no supervisado que modela un esquema del flujo de datos entrante. El algoritmo calcula un anomaly grade y valor confidence score para cada punto de datos entrante. La detección de anomalías utiliza estos valores para diferenciar una anomalía de las variaciones habituales de los datos.

Puede vincular el complemento de detección de anomalías con el complemento de alertas para que se le notifique en cuanto se detecte una anomalía.

La detección de anomalías está disponible en los dominios que ejecutan cualquier OpenSearch versión o Elasticsearch 7.4 o posterior. Todos los tipos de instancias admiten la detección de anomalías, excepto t2.micro y t2.small.

nota

Esta documentación proporciona una breve descripción de la detección de anomalías en el contexto de Amazon OpenSearch Service. Para obtener una documentación completa, que incluye los pasos detallados, una referencia de la API, una referencia de todos los ajustes disponibles y los pasos para crear visualizaciones y paneles, consulte la detección de anomalías en la documentación de código abierto. OpenSearch

Requisitos previos

La detección de anomalías posee los siguientes requisitos previos:

• La detección de anomalías requiere Elasticsearch 7.4 OpenSearch o una versión posterior.

• La detección de anomalías solo admite un control de acceso detallado en las versiones 7.9 y posteriores de Elasticsearch y en todas las versiones de. OpenSearch En las versiones anteriores a Elasticsearch 7.9, solo los usuarios administradores pueden crear, ver y administrar detectores.

• Si su dominio utiliza un control de acceso detallado, los usuarios que no sean administradores deben asignarse a ese anomaly_read_access rol en los OpenSearch paneles para poder ver los detectores o para crearlos y administrarlos. anomaly_full_access

Introducción a la detección de anomalías

Para empezar, elija Detección de anomalías en los paneles. OpenSearch

Paso 1: crear un detector

Un detector es una tarea individual de detección de anomalías. Puede crear varios detectores y todos los detectores se pueden ejecutar simultáneamente; cada uno podrá analizar datos de distintos orígenes.

Paso 2: agregar características a su detector

Una característica es el campo del índice que se verifica para ver si hay anomalías. Un detector puede detectar anomalías en una o varias características. Debe elegir una de las siguientes agrupaciones para cada característica: average(), sum(), count(), min() o max().

nota

El método de count() agregación solo está disponible en OpenSearch Elasticsearch 7.7 o versiones posteriores. Para Elasticsearch 7.4, utilice una expresión personalizada como la siguiente:

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

El método de agrupación determina qué constituye una anomalía. Por ejemplo, si elige min(), el detector se centra en buscar anomalías basadas en los valores mínimos de la característica. Si elige average(), el detector busca anomalías basadas en los valores medios de la característica. Puede agregar un máximo de cinco características por detector.

Puede configurar los siguientes parámetros opcionales (disponibles en Elasticsearch 7.7 y posterior):

• Category field (Categoría): clasifique o corte los datos con una dimensión como dirección IP, ID del producto, código de país, etc.

• Window size (Tamaño de ventana): establezca el número de intervalos de suma del flujo de datos que se tendrán en cuenta en una ventana de detección.

Después de configurar las características, obtenga una previsualización de las muestras de anomalías y ajuste la configuración de las características, si es necesario.

Paso 3: observar los resultados

• Live anomalies (Anomalías activas): muestra los resultados de anomalías activas de los últimos 60 intervalos. Por ejemplo, si el intervalo se establece en 10, muestra los resultados de los últimos 600 minutos. Este gráfico se actualiza cada 30 segundos.

• Anomaly history (Historial de anomalías): traza el grado de anomalía con la medida de confianza correspondiente.

• Feature breakdown (Desglose de características): traza las características según el método de agrupación. Puede variar el rango de fecha y hora del detector.

• Anomaly occurrence (Ocurrencia de anomalías): muestra los valores Start time, End time, Data confidence y Anomaly grade de cada anomalía detectada.

  Si establece el campo de categoría, verá un grafico Heat map (Mapa térmico) que correlaciona los resultados de entidades anómalas. Seleccione un rectángulo relleno para ver una vista más detallada de la anomalía.

Paso 4: configurar alertas

Para crear un monitor que envíe notificaciones cuando se detectan anomalías, elija Set up alerts (Configurar alertas). El complemento lo redirige a la página Add monitor (Agregar monitor) donde puede configurar una alerta.