Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Supervise Amazon Data Firehose con métricas CloudWatch
importante
Asegúrese de activar las alarmas en todas CloudWatch las métricas que pertenezcan a su destino para identificar los errores de manera oportuna.
Amazon Data Firehose se integra con CloudWatch las métricas de Amazon para que pueda recopilar, ver y analizar CloudWatch las métricas de sus transmisiones de Firehose. Por ejemplo, puede supervisar las IncomingRecords métricas IncomingBytes y realizar un seguimiento de los datos que los productores de datos ingieren en Amazon Data Firehose.
Amazon Data Firehose recopila y publica CloudWatch métricas cada minuto. Sin embargo, si las ráfagas de datos de entrada se producen solo durante unos segundos, es posible que no se capturen por completo ni sean visibles en las métricas de un minuto. Esto se debe a que CloudWatch las métricas se agregan desde Amazon Data Firehose en intervalos de un minuto.
Las métricas recopiladas para las transmisiones de Firehose son gratuitas. Para obtener información acerca de las métricas de agente de Kinesis, consulte Supervise el estado de Kinesis Agent.
Temas
- CloudWatch métricas para el particionamiento dinámico
- CloudWatch métricas para la entrega de datos
- Métricas de ingesta de datos
- APImétricas CloudWatch a nivel
- CloudWatch Métricas de transformación de datos
- CloudWatch Registra las métricas de descompresión
- Métricas de conversión de CloudWatch formato
- Métricas de cifrado del lado del servidor () SSE CloudWatch
- Dimensiones de Amazon Data Firehose
- Métricas de uso de Amazon Data Firehose
CloudWatch métricas para el particionamiento dinámico
Si la partición dinámica está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
ActivePartitionsLimit |
El número máximo de particiones activas que procesa una transmisión de Firehose antes de enviar datos al depósito de errores. Unidades: recuento |
PartitionCount |
Número de particiones que se procesan, es decir, el recuento de particiones activas. Este número varía entre 1 y el límite del recuento de particiones de 500 (valor predeterminado). Unidades: recuento |
PartitionCountExceeded |
Esta métrica indica si supera el límite del recuento de particiones. Emite 1 o 0 en función de si se supera el límite o no. |
JQProcessing.Duration |
Devuelve el tiempo que se tardó en ejecutar la expresión JQ en la función de Lambda JQ. Unidades: milisegundos |
PerPartitionThroughput |
Indica el rendimiento que se procesa por partición. Esta métrica le permite supervisar el rendimiento por partición. Unidades: StandardUnit. BytesSecond |
DeliveryToS3.ObjectCount |
Indica la cantidad de objetos que se van a entregar en su bucket de S3. Unidades: recuento |
CloudWatch métricas para la entrega de datos
El espacio de nombres AWS/Firehose incluye las siguientes métricas de nivel de servicio. Si observa pequeñas caídas en el promedio de BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success o DeliveryToRedshift.Success, eso no indica que se estén perdiendo datos. Amazon Data Firehose vuelve a intentar entregar los errores y no avanza hasta que los registros se entreguen correctamente al destino configurado o al bucket S3 de respaldo.
Temas
Entrega al servicio OpenSearch
| Métrica | Descripción |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
El número de bytes indexados al OpenSearch Servicio durante el período de tiempo especificado. Unidades: bytes |
DeliveryToAmazonOpenSearchService.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han entregado al OpenSearch Servicio. Unidades: segundos |
DeliveryToAmazonOpenSearchService.Records |
El número de registros indexados al OpenSearch Servicio durante el período de tiempo especificado. Unidades: recuento |
DeliveryToAmazonOpenSearchService.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: recuento |
DeliveryToS3.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. Amazon Data Firehose siempre emite esta métrica, independientemente de si la copia de seguridad está habilitada solo para los documentos con errores o para todos los documentos. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Authentication/authorization error. Verify the OS/ESpolíticas de clústeres y permisos de roles. Un 0 indica que no hay ningún problema y un 1 indica un error de autenticación. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Error de entrega rechazada. Compruebe la política del clúster de OS/ES y los permisos del rol. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error en la entrega. |
Entrega a OpenSearch Serverless
| Métrica | Descripción |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
El número de bytes indexados a OpenSearch Serverless durante el período de tiempo especificado. Unidades: bytes |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han enviado a OpenSearch Serverless. Unidades: segundos |
DeliveryToAmazonOpenSearchServerless.Records |
El número de registros indexados en OpenSearch Serverless durante el período de tiempo especificado. Unidades: recuento |
DeliveryToAmazonOpenSearchServerless.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: recuento |
DeliveryToS3.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica solo cuando se habilita la copia de seguridad de todos los documentos. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. Amazon Data Firehose siempre emite esta métrica, independientemente de si la copia de seguridad está habilitada solo para los documentos con errores o para todos los documentos. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Authentication/authorization error. Verify the OS/ESpolíticas de clústeres y permisos de roles. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error de autenticación. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Error de entrega rechazada. Compruebe la política del clúster de OS/ES y los permisos del rol. Un 0 indica que no hay ningún problema y un 1 indica que se ha producido un error en la entrega. |
Entrega en Amazon Redshift
| Métrica | Descripción |
|---|---|
DeliveryToRedshift.Bytes |
Número de bytes copiados en Amazon Redshift durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToRedshift.Records |
Número de registros copiados en Amazon Redshift durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToRedshift.Success |
La suma de los comandos de Amazon Redshift correctosCOPY. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToS3.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. Unidades: recuento |
BackupToS3.Success |
Suma de los comandos put de Amazon S3 correctos para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la copia de seguridad en Amazon S3. |
Entrega en Amazon S3
Las métricas de la siguiente tabla están relacionadas con la entrega a Amazon S3 cuando es el destino principal de la transmisión Firehose.
| Métrica | Descripción |
|---|---|
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToS3.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). Unidades: recuento |
BackupToS3.Success |
Suma de los comandos put de Amazon S3 correctos para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando la copia de seguridad está habilitada (lo que solo es posible cuando la transformación de datos también está habilitada). |
Entrega a Snowflake
| Métrica | Descripción |
|---|---|
DeliveryToSnowflake.Bytes |
El número de bytes entregados a Snowflake durante el período de tiempo especificado. Unidades: bytes |
DeliveryToSnowflake.DataFreshness |
Antigüedad (desde que entré en Firehose hasta ahora) del registro más antiguo de Firehose. Cualquier registro anterior a esta edad ha sido entregado a Snowflake. Tenga en cuenta que la confirmación de datos en Snowflake puede tardar unos segundos después de que la llamada de inserción de Firehose se haya realizado correctamente. Para ver el tiempo que se tarda en enviar los datos a Snowflake, consulta la métrica. Unidades: segundos |
DeliveryToSnowflake.DataCommitLatency |
El tiempo que tardan los datos en enviarse a Snowflake después de que Firehose haya insertado los registros correctamente. Unidades: segundos |
DeliveryToSnowflake.Records |
El número de registros entregados a Snowflake durante el período de tiempo especificado. Unidades: recuento |
DeliveryToSnowflake.Success |
La suma de las llamadas de inserción realizadas correctamente a Snowflake. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. Unidades: bytes |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. Esta métrica solo está disponible cuando se produce un error en la entrega a Snowflake y Firehose intenta hacer copias de seguridad de los datos fallidos en S3. |
BackupToS3.DataFreshness |
Antigüedad (desde Firehose hasta la actualidad) del registro más antiguo de Firehose. Todos los registros con una antigüedad superior a esta edad se guardan en el bucket de Amazon S3. Esta métrica está disponible cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los datos. Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Esta métrica está disponible cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los datos. Unidades: recuento |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Esta métrica está disponible cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los datos. Unidades: recuento |
BackupToS3.Success |
La suma de los comandos put de Amazon S3 correctos para la copia de seguridad. Firehose emite esta métrica cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los datos. |
Entrega a Splunk
| Métrica | Descripción |
|---|---|
DeliveryToSplunk.Bytes |
El número de bytes enviados a Splunk durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToSplunk.DataAckLatency |
El tiempo aproximado que tarda en recibir un acuse de recibo de Splunk después de que Amazon Data Firehose envíe sus datos. La tendencia creciente o decreciente de esta métrica es más útil que el valor aproximado absoluto. Las tendencias crecientes pueden indicar velocidades de indexación y de reconocimiento más lentas de los indexadores de Splunk. Unidades: segundos |
DeliveryToSplunk.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado a Splunk. Unidades: segundos |
DeliveryToSplunk.Records |
El número de registros enviados a Splunk durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToSplunk.Success |
La suma de los registros indexados correctamente. |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. Esta métrica se emite cuando la copia de seguridad en Amazon S3 está habilitada. |
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los documentos. Unidades: recuento |
BackupToS3.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los documentos. Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los documentos. Unidades: recuento |
BackupToS3.Success |
Suma de los comandos put de Amazon S3 correctos para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando la transmisión Firehose está configurada para hacer copias de seguridad de todos los documentos. |
Entrega a puntos finales HTTP
| Métrica | Descripción |
|---|---|
DeliveryToHttpEndpoint.Bytes |
El número de bytes que se entregaron correctamente al HTTP punto final. Unidades: bytes |
DeliveryToHttpEndpoint.Records |
El número de registros que se entregaron correctamente al HTTP punto final. Unidades: recuentos. |
DeliveryToHttpEndpoint.DataFreshness |
Antigüedad del registro más antiguo de Amazon Data Firehose. Unidades: segundos |
DeliveryToHttpEndpoint.Success |
La suma de todas las solicitudes de entrega de datos realizadas correctamente al HTTP punto de conexión. Unidades: recuento |
DeliveryToHttpEndpoint.ProcessedBytes |
Número de bytes procesados intentados, incluidos los reintentos. |
DeliveryToHttpEndpoint.ProcessedRecords |
Número de registros intentados, incluidos los reintentos. |
Métricas de ingesta de datos
Temas
Ingesta de datos a través de Kinesis Data Streams
| Métrica | Descripción |
|---|---|
DataReadFromKinesisStream.Bytes |
Cuando el origen de datos es un flujo de datos de Kinesis, esta métrica indica el número de bytes leídos de dicho flujo. Este número incluye las repeticiones de lecturas debido a conmutaciones por error. Unidades: bytes |
DataReadFromKinesisStream.Records |
Cuando el origen de datos es un flujo de datos de Kinesis, esta métrica indica el número de registros leídos de dicho flujo. Este número incluye las repeticiones de lecturas debido a conmutaciones por error. Unidades: recuento |
ThrottledDescribeStream |
El número total de veces que se limita la operación Unidades: recuento |
ThrottledGetRecords |
El número total de veces que se limita la operación Unidades: recuento |
ThrottledGetShardIterator |
El número total de veces que se limita la operación Unidades: recuento |
KinesisMillisBehindLatest |
Cuando el origen de datos es una secuencia de datos de Kinesis, esta métrica indica el número de milisegundos de retraso que lleva el último registro leído con respecto al registro más reciente de la secuencia de datos de Kinesis. Unidades: milisegundos |
Ingestión de datos mediante Direct PUT
| Métrica | Descripción |
|---|---|
BackupToS3.Bytes |
Número de bytes entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la transformación de datos para los destinos de Amazon S3 o Amazon Redshift. Unidades: bytes |
BackupToS3.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han entregado en el bucket de Amazon S3 con fines de copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la transformación de datos para los destinos de Amazon S3 o Amazon Redshift. Unidades: segundos |
BackupToS3.Records |
Número de registros entregados en Amazon S3 para copias de seguridad durante el periodo de tiempo especificado. Amazon Data Firehose emite esta métrica cuando se habilita la transformación de datos para los destinos de Amazon S3 o Amazon Redshift. Unidades: recuento |
BackupToS3.Success |
Suma de los comandos put de Amazon S3 correctos para la copia de seguridad. Amazon Data Firehose emite esta métrica cuando se habilita la transformación de datos para los destinos de Amazon S3 o Amazon Redshift. |
BytesPerSecondLimit |
El número máximo actual de bytes por segundo que una transmisión de Firehose puede ingerir antes de la regulación. Para solicitar un aumento de este límite, vaya a AWS
Support Center |
DeliveryToAmazonOpenSearchService.Bytes |
El número de bytes indexados al OpenSearch Servicio durante el período de tiempo especificado. Unidades: bytes |
DeliveryToAmazonOpenSearchService.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Todos los registros con una antigüedad superior a esta edad se han entregado al OpenSearch Servicio. Unidades: segundos |
DeliveryToAmazonOpenSearchService.Records |
El número de registros indexados al OpenSearch Servicio durante el período de tiempo especificado. Unidades: recuento |
DeliveryToAmazonOpenSearchService.Success |
La suma de los registros indexados correctamente. |
DeliveryToRedshift.Bytes |
Número de bytes copiados en Amazon Redshift durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToRedshift.Records |
Número de registros copiados en Amazon Redshift durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToRedshift.Success |
La suma de los comandos de Amazon Redshift correctosCOPY. |
DeliveryToS3.Bytes |
Número de bytes entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToS3.DataFreshness |
La antigüedad (desde que se utilizó Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado al bucket de S3. Unidades: segundos |
DeliveryToS3.Records |
Número de registros entregados en Amazon S3 durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToS3.Success |
La suma de los comandos put de Amazon S3 correctos. |
DeliveryToSplunk.Bytes |
El número de bytes enviados a Splunk durante el periodo de tiempo especificado. Unidades: bytes |
DeliveryToSplunk.DataAckLatency |
El tiempo aproximado que tarda en recibir un acuse de recibo de Splunk después de que Amazon Data Firehose envíe sus datos. La tendencia creciente o decreciente de esta métrica es más útil que el valor aproximado absoluto. Las tendencias crecientes pueden indicar velocidades de indexación y de reconocimiento más lentas de los indexadores de Splunk. Unidades: segundos |
DeliveryToSplunk.DataFreshness |
Antigüedad (desde el ingreso a Amazon Data Firehose hasta la actualidad) del registro más antiguo de Amazon Data Firehose. Los registros anteriores a este valor se han enviado a Splunk. Unidades: segundos |
DeliveryToSplunk.Records |
El número de registros enviados a Splunk durante el periodo de tiempo especificado. Unidades: recuento |
DeliveryToSplunk.Success |
La suma de los registros indexados correctamente. |
IncomingBytes |
El número de bytes ingresados correctamente en la transmisión Firehose durante el período de tiempo especificado. La ingesta de datos se puede limitar si se supera uno de los límites de flujo de Firehose. Los datos restringidos no se tendrán en cuenta. Unidades: bytes |
IncomingPutRequests |
El número de PutRecordBatch solicitudes aceptadas PutRecord y durante un período de tiempo específico. Unidades: recuento |
IncomingRecords |
El número de registros ingresados correctamente en la transmisión Firehose durante el período de tiempo especificado. La ingesta de datos se puede limitar si se supera uno de los límites de flujo de Firehose. Los datos restringidos no se tendrán en cuenta. Unidades: recuento |
RecordsPerSecondLimit |
El número máximo actual de registros por segundo que una transmisión de Firehose puede ingerir antes de la aceleración. Unidades: recuento |
ThrottledRecords |
La cantidad de registros que se limitaron porque la ingesta de datos superó uno de los límites de flujo de Firehose. Unidades: recuento |
Ingesta de datos desde MSK
| Métrica | Descripción |
|---|---|
DataReadFromSource.Records
|
Número de registros leídos del tema de Kafka de origen. Unidades: recuento |
DataReadFromSource.Bytes
|
Número de bytes leídos del tema de Kafka de origen. Unidades: bytes |
SourceThrottled.Delay
|
Tiempo que tarda el clúster de Kafka de origen en devolver los registros del tema de Kafka de origen. Unidades: milisegundos |
BytesPerSecondLimit
|
Límite actual de rendimiento al que Firehose va a leer desde cada partición del tema de Kafka de origen. Unidades: bytes/segundo |
KafkaOffsetLag
|
Diferencia entre el mayor desplazamiento del registro que Firehose ha leído del tema de Kafka de origen y el mayor desplazamiento del registro disponible del tema de Kafka de origen. Unidades: recuento |
FailedValidation.Records
|
Número de registros que no han superado la validación de registros. Unidades: recuento |
FailedValidation.Bytes
|
Número de bytes que no han superado la validación de registros. Unidades: bytes |
DataReadFromSource.Backpressured
|
Indica que una transmisión de Firehose se retrasa en la lectura de registros de la partición de origen, ya sea porque se ha superado BytesPerSecondLimit cada partición o porque el flujo normal de entrega es lento o se ha detenido Unidades: booleano |
APImétricas CloudWatch a nivel
El espacio de AWS/Firehose nombres incluye las siguientes API métricas de nivel.
| Métrica | Descripción |
|---|---|
DescribeDeliveryStream.Latency |
El tiempo que tarda cada operación Unidades: milisegundos |
DescribeDeliveryStream.Requests |
El número total de solicitudes Unidades: recuento |
ListDeliveryStreams.Latency |
El tiempo que tarda cada operación Unidades: milisegundos |
ListDeliveryStreams.Requests |
El número total de solicitudes Unidades: recuento |
PutRecord.Bytes |
El número de bytes que se utilizan en la transmisión Firehose Unidades: bytes |
PutRecord.Latency |
El tiempo que tarda cada operación Unidades: milisegundos |
PutRecord.Requests |
El número total de solicitudes Unidades: recuento |
PutRecordBatch.Bytes |
El número de bytes que se utilizan en la transmisión Firehose Unidades: bytes |
PutRecordBatch.Latency |
El tiempo que tarda cada operación Unidades: milisegundos |
PutRecordBatch.Records |
El número total de registros de las operaciones Unidades: recuento |
PutRecordBatch.Requests |
El número total de solicitudes Unidades: recuento |
PutRequestsPerSecondLimit |
El número máximo de solicitudes de venta por segundo que puede gestionar una transmisión de Firehose antes de la aceleración. Este número incluye PutRecord todas las solicitudes. PutRecordBatch Unidades: recuento |
ThrottledDescribeStream |
El número total de veces que se limita la operación Unidades: recuento |
ThrottledGetRecords |
El número total de veces que se limita la operación Unidades: recuento |
ThrottledGetShardIterator |
El número total de veces que se limita la operación Unidades: recuento |
UpdateDeliveryStream.Latency |
El tiempo que tarda cada operación Unidades: milisegundos |
UpdateDeliveryStream.Requests |
El número total de solicitudes Unidades: recuento |
CloudWatch Métricas de transformación de datos
Si la transformación de datos con Lambda está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
ExecuteProcessing.Duration |
El tiempo que tarda Firehose en invocar cada función de Lambda. Unidades: milisegundos |
ExecuteProcessing.Success |
Suma de las invocaciones de funciones de Lambda correctas con respecto a la suma del total de invocaciones de funciones de Lambda. |
SucceedProcessing.Records |
Número de registros procesados correctamente durante el periodo de tiempo especificado. Unidades: recuento |
SucceedProcessing.Bytes |
Número de bytes procesados correctamente durante el periodo de tiempo especificado. Unidades: bytes |
CloudWatch Registra las métricas de descompresión
Si la descompresión está habilitada para la entrega de CloudWatch registros, el espacio de AWS/Firehose nombres incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
OutputDecompressedBytes.Success |
Se descomprimieron correctamente los datos en bytes Unidades: bytes |
OutputDecompressedBytes.Failed |
Fallo al descomprimir los datos en bytes Unidades: bytes |
OutputDecompressedRecords.Success |
Número de registros descomprimidos correctamente Unidades: recuento |
OutputDecompressedRecords.Failed |
Número de registros descomprimidos fallidos Unidades: recuento |
Métricas de conversión de CloudWatch formato
Si la conversión del formato está habilitada, el espacio de nombres AWS/Firehose incluye las siguientes métricas.
| Métrica | Descripción |
|---|---|
SucceedConversion.Records |
El número de registros convertidos correctamente. Unidades: recuento |
SucceedConversion.Bytes |
El tamaño de los registros convertidos correctamente. Unidades: bytes |
FailedConversion.Records |
El número de registros que no se han podido convertir. Unidades: recuento |
FailedConversion.Bytes |
El tamaño de los registros que no se han podido convertir. Unidades: bytes |
Métricas de cifrado del lado del servidor () SSE CloudWatch
El espacio de AWS/Firehose nombres incluye las siguientes métricas relacionadas con. SSE
| Métrica | Descripción |
|---|---|
KMSKeyAccessDenied |
El número de veces que el servicio encuentra una Unidades: recuento |
KMSKeyDisabled |
El número de veces que el servicio encuentra una Unidades: recuento |
KMSKeyInvalidState |
El número de veces que el servicio encuentra una Unidades: recuento |
KMSKeyNotFound |
El número de veces que el servicio encuentra una Unidades: recuento |
Dimensiones de Amazon Data Firehose
Para filtrar las métricas por flujo de Firehose, usa la DeliveryStreamName dimensión.
Métricas de uso de Amazon Data Firehose
Puede utilizar las métricas CloudWatch de uso para proporcionar visibilidad sobre el uso de los recursos de su cuenta. Usa estas métricas para visualizar tu uso actual del servicio en CloudWatch gráficos y paneles.
Las métricas de uso de la cuota de servicio se encuentran en el espacio de nombres AWS/Usage y se recopilan cada minuto.
Actualmente, el único nombre de métrica de este espacio de nombres que se publica es. CloudWatch ResourceCount Esta métrica se publica con las dimensiones Service, Class, Type y Resource.
| Métrica | Descripción |
|---|---|
ResourceCount |
El número de los recursos especificados que se ejecutan en su cuenta. Los recursos se definen por las dimensiones asociadas a la métrica. La estadística más útil para esta métrica es MAXIMUM la que representa el número máximo de recursos utilizados durante un período de 1 minuto. |
Las siguientes dimensiones se utilizan para refinar las métricas de uso que publica Amazon Data Firehose.
| Dimensión | Descripción |
|---|---|
Service |
El nombre del AWS servicio que contiene el recurso. Para las métricas de uso de Amazon Data Firehose, el valor de esta dimensión es. |
Class |
La clase de recurso a la que se realiza el seguimiento. Las métricas de API uso de Amazon Data Firehose utilizan esta dimensión con un valor de. |
Type |
El tipo de recurso al que se realiza el seguimiento. Actualmente, cuando la dimensión Service es |
Resource |
El nombre del AWS recurso. Actualmente, cuando la dimensión Service es |
