Detección de anomalías de registro

Puede crear un detector de anomalías de registro para cada grupo de registros. El detector de anomalías escanea los eventos de registro introducidos en el grupo de registros y encuentra anomalías en los datos del registro. La detección de anomalías utiliza el aprendizaje automático y el reconocimiento de patrones para establecer las líneas base del contenido típico de los registros.

Después de crear un detector de anomalías para un grupo de registros, se entrena utilizando los eventos de registro de las últimas dos semanas en el grupo de registros para el entrenamiento. El período de entrenamiento puede durar hasta 15 minutos. Una vez finalizada la formación, comienza a analizar los registros entrantes para identificar las anomalías, que se muestran en la consola de CloudWatch registros para que las pueda examinar.

CloudWatch El reconocimiento de patrones de registros extrae los patrones de registro al identificar el contenido estático y dinámico de los registros. Los patrones son útiles para analizar conjuntos de registros grandes porque, a menudo, una gran cantidad de eventos de registro se pueden comprimir en unos pocos patrones.

Por ejemplo, consulte el siguiente ejemplo de tres eventos de registro.

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for resource id 12342342k124-12345
2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for resource id 324892398123-12345
2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for resource id 3ff231242342-12345

En el ejemplo anterior, los tres eventos de registro siguen un patrón:

<*> <*> [INFO] Calling DynamoDB to store for resource id <*>

Los campos dentro de un patrón se denominan fichas. Los campos que varían dentro de un patrón, como un identificador de solicitud o una marca de tiempo, se denominan símbolos dinámicos. Los símbolos dinámicos se representan <*> cuando CloudWatch Logs muestra el patrón. Cada valor diferente encontrado para un token dinámico se denomina valor de token.

Algunos ejemplos comunes de tokens dinámicos son los códigos de error, las marcas de tiempo y los ID de solicitud.

La detección de anomalías en los registros utiliza estos patrones para encontrar anomalías. Tras el período de entrenamiento del modelo de detector de anomalías, los registros se evalúan comparándolos con las tendencias conocidas. El detector de anomalías marca las fluctuaciones significativas como anomalías.

La creación de detectores de anomalías logarítmicas no conlleva cargos.

Gravedad y prioridad de las anomalías y los patrones

A cada anomalía detectada por un detector de anomalías logarítmicas se le asigna una prioridad. A cada patrón encontrado se le asigna una gravedad.

• La prioridad se calcula automáticamente y se basa tanto en el nivel de gravedad del patrón como en la cantidad de desviación con respecto a los valores esperados. Por ejemplo, si un determinado valor simbólico aumenta repentinamente un 500%, esa anomalía podría designarse como HIGH prioritaria aunque su gravedad lo fuera. NONE

• La gravedad se basa únicamente en las palabras clave que se encuentran en los patronesFATAL, comoERROR, y. WARN Si no se encuentra ninguna de estas palabras clave, la gravedad del patrón se marca comoNONE.

Tiempo de visibilidad de la anomalía

Al crear un detector de anomalías, se especifica el período máximo de visibilidad de anomalías para dicho detector. Es el número de días que la anomalía se muestra en la consola y la devuelve la operación de la ListAnomaliesAPI. Una vez transcurrido este período de tiempo, una anomalía, si continúa ocurriendo, se acepta automáticamente como un comportamiento normal y el modelo de detector de anomalías deja de marcarla como una anomalía.

Si no ajusta el tiempo de visibilidad al crear un detector de anomalías, se utilizan 21 días de forma predeterminada.

Suprimir una anomalía

Una vez detectada una anomalía, puede optar por suprimirla temporal o permanentemente. Al suprimir una anomalía, el detector de anomalías deja de marcar la incidencia como una anomalía durante el tiempo que especifique. Al suprimir una anomalía, puede optar por suprimir solo esa anomalía específica o suprimir todas las anomalías relacionadas con el patrón en el que se encontró la anomalía.

Aún puede ver las anomalías suprimidas en la consola. También puede optar por dejar de suprimirlas.

Preguntas frecuentes

¿ AWS Utilizo mis datos para entrenar algoritmos de aprendizaje automático para AWS su uso o para otros clientes?

No. El modelo de detección de anomalías creado por la capacitación se basa en los eventos de registro de un grupo de registros y solo se usa dentro de ese grupo de registros y esa AWS cuenta.

¿Qué tipos de eventos de registro funcionan bien con la detección de anomalías?

La detección de anomalías en los registros es adecuada para: los registros de aplicaciones y otros tipos de registros en los que la mayoría de las entradas de registro se ajustan a los patrones típicos. Los grupos de registros con eventos que contienen un nivel de registro o palabras clave de gravedad, como INFO, ERROR y DEBUG, son especialmente adecuados para la detección de anomalías de registro.

La detección de anomalías en el registro no es adecuada para: Registrar eventos con estructuras JSON extremadamente largas, como los registros. CloudTrail El análisis de patrones analiza solo los primeros 1500 caracteres de una línea de registro, por lo que se omite cualquier carácter que supere ese límite.

Los registros de auditoría o acceso, como los registros de flujo de VPC, también tendrán menos éxito con la detección de anomalías. El objetivo de la detección de anomalías es detectar problemas en las aplicaciones, por lo que es posible que no sea adecuada para las anomalías de acceso o de red.

Para ayudarle a determinar si un detector de anomalías es adecuado para un grupo de registros determinado, utilice el análisis de patrones de CloudWatch registros para encontrar el número de patrones en los eventos de registro del grupo. Si el número de patrones no es superior a unos 300, la detección de anomalías podría funcionar bien. Para obtener más información sobre el análisis de patrones, consulteAnálisis de patrones.

¿Qué se marca como anomalía?

Las siguientes incidencias pueden provocar que un evento de registro se marque como una anomalía:

• Un evento de registro con un patrón que no se había visto antes en el grupo de registros.

• Una variación significativa de un patrón conocido.

• Un valor nuevo para un token dinámico que tiene un conjunto discreto de valores habituales.

• Un cambio importante en el número de apariciones de un valor de un token dinámico.

Si bien todos los elementos anteriores pueden estar marcados como anomalías, no todos significan que la aplicación esté funcionando mal. Por ejemplo, higher-than-usual varios valores de 200 éxito pueden marcarse como anomalías. En casos como este, podría considerar la posibilidad de suprimir estas anomalías que no indiquen problemas.

¿Qué ocurre con los datos confidenciales que se ocultan?

Las partes del registro de eventos que estén enmascaradas como datos confidenciales no se escanean para detectar anomalías. Para obtener más información sobre cómo enmascarar datos confidenciales, consulte Ayudar a proteger los datos de registro confidenciales mediante el enmascaramiento.