Procesamiento en tiempo real de datos de registros con suscripciones - Amazon CloudWatch Logs

Procesamiento en tiempo real de datos de registros con suscripciones

Puede utilizar las suscripciones para obtener acceso a la fuente de eventos de registros de CloudWatch Logs en tiempo real y enviarlos a otros servicios como, por ejemplo, un flujo de Amazon Kinesis, un flujo de Amazon Kinesis Data Firehose, o a AWS Lambda para el procesamiento o el análisis personalizado, o para cargarlos en otros sistemas. Cuando se envían eventos de registro al servicio de recepción, estos están codificados en base64 y comprimidos con el formato gzip.

Para comenzar a suscribirse a eventos de registro, cree el recurso de recepción como, por ejemplo, un flujo de Kinesis Data Streams, donde se enviarán los eventos. Un filtro de suscripción define el patrón de filtros que utilizar para filtrar los eventos de registro que se envían al recurso de AWS, así como información sobre adónde se van a enviar los eventos de registro coincidentes.

Cada grupo de registros puede tener asociado hasta dos filtros de suscripción.

nota

Si el servicio de destino devuelve un error reintentable, como una excepción de limitación controlada o una excepción de servicio reintentable (HTTP 5xx, por ejemplo), CloudWatch Logs continúa reintentando la entrega durante un máximo de 24 horas. CloudWatch Logs no intenta volver a entregar si el error es un error no reintentable, como AccessDeniedException o ResourceNotFoundException.

CloudWatch Logs también produce métricas de CloudWatch sobre el reenvío de eventos de registro a suscripciones. Para obtener más información, consulte Dimensiones y métricas de Amazon CloudWatch Logs.

También puede usar una suscripción a CloudWatch Logs para transmitir datos de registro casi en tiempo real a un clúster de Amazon OpenSearch Service. Para obtener más información, consulte Streaming de datos de Amazon CloudWatch Logs a Amazon OpenSearch Service.

Conceptos

Cada filtro de suscripción se compone de los siguientes elementos principales:

nombre de grupo de registro

El grupo de registro al que asociar el filtro de suscripción. Todos los eventos de registros cargados en este grupo de registros estarían sujetos al filtro de suscripción y los que coinciden con el filtro se entregarían al servicio de destino que recibe los eventos de registro coincidentes.

patrón de filtro

Una descripción simbólica de cómo debe interpretar CloudWatch Logs los datos de cada evento de registro, junto con las expresiones de filtrado que restringen lo que se envía al recurso de AWS de destino. Para obtener más información acerca de la sintaxis del patrón de filtro, consulte Sintaxis de patrones y filtros.

arn de destino

El nombre de recurso de Amazon (ARN) del flujo de Kinesis Data Streams el flujo de Kinesis Data Firehose o la función de Lambda que desee utilizar como el destino de la fuente de suscripción.

arn de rol

Un rol de IAM que concede a CloudWatch Logs los permisos necesarios para incluir datos en el destino elegido. Este rol no es necesario para destinos de Lambda porque CloudWatch Logs puede obtener los permisos necesarios desde los ajustes de control de acceso en la propia función de Lambda.

distribución

El método utilizado para distribuir los datos de registro al destino, cuando el destino es un flujo de Amazon Kinesis Data Streams. De forma predeterminada, los datos de registro se agrupan por flujo de registro. Para obtener una distribución más uniforme, puede agrupar los datos de registro de forma aleatoria.