Métrica de antigüedad de los datos incrementada o no emitida - Amazon Data Firehose

Amazon Data Firehose se conocía anteriormente como Amazon Kinesis Data Firehose

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métrica de antigüedad de los datos incrementada o no emitida

La antigüedad de los datos es una medida de lo actuales que son sus datos dentro de su secuencia de entrega. Es la antigüedad del registro de datos más antiguo del flujo de entrega, medida desde el momento en que Firehose ingirió los datos hasta la actualidad. Firehose proporciona métricas que puede usar para monitorear la actualización de los datos. Para identificar la métrica de antigüedad de los datos para un destino determinado, consulte Supervisión de Amazon Data Firehose mediante métricas CloudWatch .

Si habilita la copia de seguridad para todos los eventos o todos los documentos, monitorice dos métricas de antigüedad de los datos distintas: una para el destino principal y otra para la copia de seguridad.

Si no se emite la métrica de antigüedad de los datos, esto significa que no hay ninguna entrega activa para la secuencia de entrega. Esto sucede cuando la entrega de datos está completamente bloqueada o cuando no hay datos entrantes.

Si la métrica de antigüedad de los datos aumenta constantemente, esto significa que la entrega de los datos está retrasada. Esto puede suceder por una de las siguientes razones.

  • El destino no es capaz de soportar la velocidad de entrega. Si Firehose detecta errores transitorios debido al tráfico intenso, es posible que la entrega se retrase. Esto puede ocurrir en destinos distintos de Amazon S3 (puede ocurrir en OpenSearch Service, Amazon Redshift o Splunk). Asegúrese de que su destino tiene suficiente capacidad para tratar el tráfico entrante.

  • El destino es lento. La entrega de datos podría retrasarse si Firehose encuentra una latencia alta. Monitorice la métrica de latencia del destino.

  • La función de Lambda es lenta. Esto podría dar lugar a una velocidad de entrega de datos inferior a la velocidad de adquisición de datos de la secuencia de entrega. Si es posible, mejore la eficiencia de la función de Lambda. Por ejemplo, si la función realiza operaciones de E/S de red, use varios subprocesos o utilice operaciones de E/S asincrónicas para aumentar el paralelismo. Además, considere la posibilidad de aumentar el tamaño de memoria de la función de Lambda para que la asignación de CPU pueda aumentar en consecuencia. Esto podría producir invocaciones de Lambda más rápidas. Para obtener información sobre la configuración de las funciones de Lambda, consulte Configuración de funciones de Lambda AWS.

  • Hay errores durante la entrega de datos. Para obtener información sobre cómo supervisar los errores mediante Amazon CloudWatch Logs, consulteSupervisión de Amazon Data Firehose mediante registros CloudWatch .

  • Si el origen de datos de la secuencia de entrega es una secuencia de datos de Kinesis, es posible que se aplique una limitación. Compruebe las métricas ThrottledGetRecords, ThrottledGetShardIterator y ThrottledDescribeStream. Si hay varios consumidores asociados a la secuencia de datos de Kinesis, tenga en cuenta lo siguiente:

    • Si las métricas ThrottledGetShardIterator y ThrottledGetRecords son elevadas, le recomendamos que aumente el número de particiones aprovisionadas para la secuencia de datos.

    • Si el ThrottledDescribeStream valor es alto, le recomendamos que añada el kinesis:listshards permiso al rol configurado en KinesisStreamSourceConfiguration.

  • Sugerencias de almacenamiento en búfer bajo para el destino. Esto podría aumentar el número de viajes de ida y vuelta que Firehose debe realizar hasta el destino, lo que podría provocar retrasos en la entrega. Considere la posibilidad de aumentar el valor de las sugerencias de almacenamiento en búfer. Para obtener más información, consulte BufferingHints.

  • Una duración de reintentos alta podría hacer que la entrega se retrasara cuando los errores son frecuentes. Considere la posibilidad de reducir la duración de los reintentos. Además, monitorice los errores e intente reducirlos. Para obtener información sobre cómo supervisar los errores mediante Amazon CloudWatch Logs, consulteSupervisión de Amazon Data Firehose mediante registros CloudWatch .

  • Si el destino es Splunk y la métrica DeliveryToSplunk.DataFreshness es elevada pero DeliveryToSplunk.Success tiene un valor correcto, es posible que el clúster de Splunk esté ocupado. Libere el clúster de Splunk si es posible. Como alternativa, ponte en contacto con AWS Support y solicita un aumento del número de canales que Firehose utiliza para comunicarse con el clúster de Splunk.