Amazon Data Firehose était auparavant connu sous le nom d'Amazon Kinesis Data Firehose
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Surveillance d'Amazon Data Firehose à l'aide de métriques CloudWatch
Important
Assurez-vous d'activer les alarmes sur toutes les CloudWatch métriques associées à votre destination afin d'identifier les erreurs en temps opportun.
Amazon Data Firehose s'intègre aux CloudWatch métriques Amazon afin que vous puissiez collecter, consulter et analyser les CloudWatch métriques de vos flux Firehose. Par exemple, vous pouvez surveiller les IncomingRecords indicateurs IncomingBytes et pour suivre les données ingérées dans Amazon Data Firehose par les producteurs de données.
Amazon Data Firehose collecte et publie des CloudWatch statistiques chaque minute. Toutefois, si les rafales de données entrantes ne se produisent que pendant quelques secondes, il se peut qu'elles ne soient pas entièrement capturées ou visibles dans les métriques d'une minute. Cela est dû au fait que CloudWatch les métriques sont agrégées à partir d'Amazon Data Firehose sur des intervalles d'une minute.
Les métriques collectées pour les streams Firehose sont gratuites. Pour en savoir plus sur les métriques relatives à l'agent Kinesis, consultez Surveillance de l'état de Kinesis Agent.
Rubriques
- Métriques de partitionnement CloudWatch dynamique
- CloudWatch Métriques de livraison de données
- Métriques d'ingestion de données
- Métriques au niveau de l'API CloudWatch
- CloudWatch Métriques de transformation des données
- CloudWatch Métriques de décompression des journaux
- CloudWatch Métriques de conversion de formats
- Métriques de chiffrement côté serveur (SSE) CloudWatch
- Dimensions pour Amazon Data Firehose
- Métriques d'utilisation d'Amazon Data Firehose
Métriques de partitionnement CloudWatch dynamique
Si le partitionnement dynamique est activé, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ActivePartitionsLimit |
Le nombre maximum de partitions actives qu'un stream Firehose traite avant d'envoyer des données au compartiment d'erreur. Unités : nombre |
PartitionCount |
Le nombre de partitions en cours de traitement, en d'autres termes, le nombre de partitions actives. Ce nombre varie entre un et la limite de 500 partitions (par défaut). Unités : nombre |
PartitionCountExceeded |
Cette métrique indique si vous dépassez la limite du nombre de partitions. Elle émet un ou zéro selon que la limite est dépassée ou non. |
JQProcessing.Duration |
Renvoie le temps nécessaire à l'exécution de l'expression JQ dans la fonction Lambda JQ. Unités : millisecondes |
PerPartitionThroughput |
Indique le débit traité par partition. Cette métrique vous permet de surveiller le débit par partition. Unités : StandardUnit. BytesSecond |
DeliveryToS3.ObjectCount |
Indique le nombre d'objets qui sont livrés à votre compartiment S3. Unités : nombre |
CloudWatch Métriques de livraison de données
L'espace de noms AWS/Firehose inclut les métriques au niveau des services suivantes. Si vous constatez de légères baisses de la moyenne pour BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success ou DeliveryToRedshift.Success, cela n'indique pas qu'il y a une perte de données. Amazon Data Firehose essaie à nouveau de corriger les erreurs de livraison et n'avance pas tant que les enregistrements ne sont pas correctement livrés, que ce soit à la destination configurée ou au compartiment S3 de sauvegarde.
Rubriques
De la livraison au OpenSearch service
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés sur le OpenSearch service au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout dossier datant de plus de cet âge a été remis au OpenSearch Service. Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés sur le OpenSearch service au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
Somme des enregistrements indexés avec succès sur la somme des enregistrements qui ont été tentés. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée uniquement pour les documents défaillants ou pour tous les documents. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Erreur d'authentification ou d'autorisation. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie un échec d'authentification. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Livraison en mode OpenSearch Serverless
| Métrique | Description |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Nombre d'octets indexés sur OpenSearch Serverless au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout enregistrement datant de plus de cet âge a été livré à OpenSearch Serverless. Unités : secondes |
DeliveryToAmazonOpenSearchServerless.Records |
Le nombre d'enregistrements indexés sur OpenSearch Serverless au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchServerless.Success |
Somme des enregistrements indexés avec succès sur la somme des enregistrements qui ont été tentés. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Amazon Data Firehose émet cette métrique uniquement lorsque vous activez la sauvegarde de tous les documents. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet toujours cette métrique, que la sauvegarde soit activée uniquement pour les documents défaillants ou pour tous les documents. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Erreur d'authentification ou d'autorisation. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro signifie qu'aucun problème n'est survenu. Un signifie qu'il y a un échec d'authentification. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Erreur de diffusion rejetée. Vérifiez la politique du cluster OS/ES et les autorisations de rôle. Zéro indique qu'il n'y a aucun problème. Un indique qu'il y a un échec de diffusion. |
Diffusion dans Amazon Redshift
| Métrique | Description |
|---|---|
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Success |
La somme des commandes COPY Amazon Redshift réussies sur la somme de toutes les commandes COPY Amazon Redshift. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. Unités : nombre |
BackupToS3.Success |
La somme des commandes put Amazon S3 réussies pour la sauvegarde sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet cette métrique lorsque la sauvegarde sur Amazon S3 est activée. |
Diffusion dans Amazon S3
Les métriques du tableau suivant concernent la livraison vers Amazon S3 lorsque celui-ci est la destination principale du flux Firehose.
| Métrique | Description |
|---|---|
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). Unités : nombre |
BackupToS3.Success |
La somme des commandes put Amazon S3 réussies pour la sauvegarde sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet cette métrique lorsque la sauvegarde est activée (ce qui n'est possible que lorsque la transformation des données est également activée). |
Livraison à Snowflake
| Métrique | Description |
|---|---|
DeliveryToSnowflake.Bytes |
Le nombre d'octets fournis à Snowflake au cours de la période spécifiée. Unités : octets |
DeliveryToSnowflake.DataFreshness |
Âge (depuis le début de Firehose jusqu'à aujourd'hui) du plus vieux record de Firehose. Tout enregistrement datant de plus de cet âge a été livré à Snowflake. Unités : secondes |
DeliveryToSnowflake.Records |
Le nombre d'enregistrements livrés à Snowflake au cours de la période spécifiée. Unités : nombre |
DeliveryToSnowflake.Success |
La somme des enregistrements livrés avec succès par rapport à la somme des enregistrements tentés. |
Remise à Splunk
| Métrique | Description |
|---|---|
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Unités : nombre |
DeliveryToSplunk.Success |
Somme des enregistrements indexés avec succès sur la somme des enregistrements qui ont été tentés. |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. Cette métrique est émise si la sauvegarde vers Amazon S3 est activée. |
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : nombre |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. Unités : nombre |
BackupToS3.Success |
La somme des commandes put Amazon S3 réussies pour la sauvegarde sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet cette métrique lorsque le flux Firehose est configuré pour sauvegarder tous les documents. |
Diffusion aux points de terminaison HTTP
| Métrique | Description |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Le nombre d'octets transmis avec succès au point de terminaison HTTP. Unités : octets |
DeliveryToHttpEndpoint.Records |
Le nombre d'enregistrements transmis avec succès au point de terminaison HTTP. Unités : nombres |
DeliveryToHttpEndpoint.DataFreshness |
Âge du plus ancien enregistrement dans Amazon Data Firehose. Unités : secondes |
DeliveryToHttpEndpoint.Success |
La somme de toutes les demandes de diffusion de données réussies au point de terminaison HTTP Unités : nombre |
DeliveryToHttpEndpoint.ProcessedBytes |
Le nombre de tentatives de traitement d'octets, y compris les nouvelles tentatives. |
DeliveryToHttpEndpoint.ProcessedRecords |
Le nombre de tentatives d'enregistrement, y compris les nouvelles tentatives. |
Métriques d'ingestion de données
Rubriques
Ingestion de données via Kinesis Data Streams
| Métrique | Description |
|---|---|
DataReadFromKinesisStream.Bytes |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'octets lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : octets |
DataReadFromKinesisStream.Records |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'enregistrements lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Unités : nombre |
Ingestion de données via Direct PUT
| Métrique | Description |
|---|---|
BackupToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : octets |
BackupToS3.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment Amazon S3 pour être sauvegardés. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : secondes |
BackupToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 pour la sauvegarde au cours de la période spécifiée. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. Unités : nombre |
BackupToS3.Success |
La somme des commandes put Amazon S3 réussies pour la sauvegarde sur la somme de toutes les commandes put Amazon S3. Amazon Data Firehose émet cette métrique lorsque la transformation des données est activée pour les destinations Amazon S3 ou Amazon Redshift. |
BytesPerSecondLimit |
Le nombre maximum actuel d'octets par seconde qu'un flux Firehose peut ingérer avant d'être limité. Pour demander une augmentation de cette limite, accédez au Centre de support AWS |
DataReadFromKinesisStream.Bytes |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'octets lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : octets |
DataReadFromKinesisStream.Records |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre d'enregistrements lus à partir de ce flux de données. Ce nombre inclut les relectures dues à des basculements. Unités : nombre |
DeliveryToAmazonOpenSearchService.Bytes |
Le nombre d'octets indexés sur le OpenSearch service au cours de la période spécifiée. Unités : octets |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tout dossier datant de plus de cet âge a été remis au OpenSearch Service. Unités : secondes |
DeliveryToAmazonOpenSearchService.Records |
Le nombre d'enregistrements indexés sur le OpenSearch service au cours de la période spécifiée. Unités : nombre |
DeliveryToAmazonOpenSearchService.Success |
Somme des enregistrements indexés avec succès sur la somme des enregistrements qui ont été tentés. |
DeliveryToRedshift.Bytes |
Le nombre d'octets copiés vers Amazon Redshift au cours de la période spécifiée. Unités : octets |
DeliveryToRedshift.Records |
Le nombre d'enregistrements copiés vers Amazon Redshift au cours de la période spécifiée. Unités : nombre |
DeliveryToRedshift.Success |
La somme des commandes COPY Amazon Redshift réussies sur la somme de toutes les commandes COPY Amazon Redshift. |
DeliveryToS3.Bytes |
Le nombre d'octets fournis à Amazon S3 au cours de la période spécifiée. Unités : octets |
DeliveryToS3.DataFreshness |
L'âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis au compartiment S3. Unités : secondes |
DeliveryToS3.Records |
Le nombre d'enregistrements fournis à Amazon S3 au cours de la période spécifiée. Unités : nombre |
DeliveryToS3.Success |
La somme des commandes put Amazon S3 réussies sur la somme de toutes les commandes put Amazon S3. |
DeliveryToSplunk.Bytes |
Nombre d'octets fournis à Splunk au cours de la période spécifiée. Unités : octets |
DeliveryToSplunk.DataAckLatency |
Durée approximative nécessaire pour recevoir un accusé de réception de Splunk une fois qu'Amazon Data Firehose lui a envoyé des données. L'augmentation ou la réduction de la tendance de cette métrique est plus utile que la valeur approximative absolue. L'augmentation de tendance peut indiquer une indexation et des taux d'accusé de réception des indexeurs Splunk plus lents. Unités : secondes |
DeliveryToSplunk.DataFreshness |
Âge (depuis l'entrée dans Amazon Data Firehose jusqu'à aujourd'hui) du plus ancien enregistrement dans Amazon Data Firehose. Tous les enregistrements plus anciens ayant été remis à Splunk. Unités : secondes |
DeliveryToSplunk.Records |
Nombre d'enregistrements fournis à Splunk au cours de la période spécifiée. Unités : nombre |
DeliveryToSplunk.Success |
Somme des enregistrements indexés avec succès sur la somme des enregistrements qui ont été tentés. |
IncomingBytes |
Le nombre d'octets ingérés avec succès dans le flux de diffusion au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites du flux de diffusion. Les données limitées ne seront pas prises en compte pour Unités : octets |
IncomingPutRequests |
Le nombre de PutRecordBatch demandes PutRecord et de demandes réussies sur une période donnée. Unités : nombre |
IncomingRecords |
Le nombre d'enregistrements correctement ingérés dans le flux de diffusion au cours de la période spécifiée. L'ingestion de données peut être limitée lorsqu'elle dépasse l'une des limites du flux de diffusion. Les données limitées ne seront pas prises en compte pour Unités : nombre |
KinesisMillisBehindLatest |
Lorsque la source de données est un flux de données Kinesis, cette métrique indique le nombre de millisecondes séparant le dernier enregistrement lu de l'enregistrement le plus récent dans le flux de données Kinesis. Unités : millisecondes |
RecordsPerSecondLimit |
Le nombre maximum actuel d'enregistrements par seconde qu'un stream Firehose peut ingérer avant d'être limité. Unités : nombre |
ThrottledRecords |
Le nombre d'enregistrements qui ont été limités parce que l'ingestion de données a dépassé l'une des limites du flux Firehose. Unités : nombre |
Ingestion de données depuis MSK
| Métrique | Description |
|---|---|
DataReadFromSource.Records
|
Le nombre d'enregistrements lus à partir de la source Rubrique Kafka. Unités : nombre |
DataReadFromSource.Bytes
|
Le nombre d'octets lus à partir de la source Rubrique Kafka. Unités : octets |
SourceThrottled.Delay
|
La durée pendant laquelle le cluster Kafka source est retardé pour renvoyer les enregistrements depuis la source Rubrique Kafka. Unités : millisecondes |
BytesPerSecondLimit
|
Limite actuelle du débit auquel Firehose va lire chaque partition de la source Rubrique Kafka. Unités : octets/seconde |
KafkaOffsetLag
|
Différence entre le plus grand décalage de l'enregistrement lu par Firehose à partir de la source Rubrique Kafka et le plus grand décalage de l'enregistrement disponible à partir de la source Rubrique Kafka. Unités : nombre |
FailedValidation.Records
|
Le nombre d'enregistrements dont la validation a échoué. Unités : nombre |
FailedValidation.Bytes
|
Le nombre d'octets dont la validation a échoué. Unités : octets |
DataReadFromSource.Backpressured
|
Indique qu'un flux Firehose est retardé dans la lecture des enregistrements de la partition source, soit parce que le nombre de partitions BytesPerSecondLimit par partition est dépassé, soit parce que le flux normal de diffusion est lent ou s'est arrêté Unités : booléennes |
Métriques au niveau de l'API CloudWatch
L'espace de noms AWS/Firehose inclut les métriques suivantes au niveau des API.
| Métrique | Description |
|---|---|
DescribeDeliveryStream.Latency |
Délai nécessaire par opération Unités : millisecondes |
DescribeDeliveryStream.Requests |
Nombre total de demandes Unités : nombre |
ListDeliveryStreams.Latency |
Délai nécessaire par opération Unités : millisecondes |
ListDeliveryStreams.Requests |
Nombre total de demandes Unités : nombre |
PutRecord.Bytes |
Le nombre d'octets utilisés par le flux Firehose Unités : octets |
PutRecord.Latency |
Délai nécessaire par opération Unités : millisecondes |
PutRecord.Requests |
Nombre total de demandes Unités : nombre |
PutRecordBatch.Bytes |
Le nombre d'octets utilisés par le flux Firehose Unités : octets |
PutRecordBatch.Latency |
Délai nécessaire par opération Unités : millisecondes |
PutRecordBatch.Records |
Nombre total d'enregistrements issus des opérations Unités : nombre |
PutRecordBatch.Requests |
Nombre total de demandes Unités : nombre |
PutRequestsPerSecondLimit |
Le nombre maximum de requêtes put par seconde qu'un stream Firehose peut traiter avant la limitation. Ce nombre inclut les PutRecordBatch demandes PutRecord et les demandes. Unités : nombre |
ThrottledDescribeStream |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetRecords |
Nombre total de fois où l'opération Unités : nombre |
ThrottledGetShardIterator |
Nombre total de fois où l'opération Unités : nombre |
UpdateDeliveryStream.Latency |
Délai nécessaire par opération Unités : millisecondes |
UpdateDeliveryStream.Requests |
Nombre total de demandes Unités : nombre |
CloudWatch Métriques de transformation des données
Si la transformation des données avec Lambda est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
ExecuteProcessing.Duration |
Le temps nécessaire pour chaque appel de fonction Lambda effectué par Firehose. Unités : millisecondes |
ExecuteProcessing.Success |
La somme des invocations de fonction Lambda réussies sur la somme du total des invocations de fonction Lambda. |
SucceedProcessing.Records |
Le nombre d'enregistrements traités avec succès au cours de la période spécifiée. Unités : nombre |
SucceedProcessing.Bytes |
Le nombre d'octets traités avec succès au cours de la période spécifiée. Unités : octets |
CloudWatch Métriques de décompression des journaux
Si la décompression est activée pour la livraison CloudWatch des journaux, l'espace de AWS/Firehose noms inclut les métriques suivantes.
| Métrique | Description |
|---|---|
OutputDecompressedBytes.Success |
Données décompressées réussies en octets Unités : octets |
OutputDecompressedBytes.Failed |
Échec de la décompression des données en octets Unités : octets |
OutputDecompressedRecords.Success |
Nombre d'enregistrements décompressés réussis Unités : nombre |
OutputDecompressedRecords.Failed |
Nombre d'enregistrements décompressés ayant échoué Unités : nombre |
CloudWatch Métriques de conversion de formats
Si la conversion de format est activée, l'espace de noms AWS/Firehose inclut les métriques suivantes.
| Métrique | Description |
|---|---|
SucceedConversion.Records |
Nombre d'enregistrements convertis avec succès. Unités : nombre |
SucceedConversion.Bytes |
Taille des enregistrements convertis avec succès. Unités : octets |
FailedConversion.Records |
Nombre d'enregistrements qui n'ont pas pu être convertis. Unités : nombre |
FailedConversion.Bytes |
Taille des enregistrements qui n'ont pas pu être convertis. Unités : octets |
Métriques de chiffrement côté serveur (SSE) CloudWatch
L'espace de noms AWS/Firehose inclut les métriques suivantes liées à SSE.
| Métrique | Description |
|---|---|
KMSKeyAccessDenied |
Nombre de fois où le service rencontre un Unités : nombre |
KMSKeyDisabled |
Nombre de fois où le service rencontre un Unités : nombre |
KMSKeyInvalidState |
Nombre de fois où le service rencontre un Unités : nombre |
KMSKeyNotFound |
Nombre de fois où le service rencontre un Unités : nombre |
Dimensions pour Amazon Data Firehose
Pour filtrer les métriques par flux Firehose, utilisez la DeliveryStreamName dimension.
Métriques d'utilisation d'Amazon Data Firehose
Vous pouvez utiliser les statistiques CloudWatch d'utilisation pour obtenir une visibilité sur l'utilisation des ressources par votre compte. Utilisez ces indicateurs pour visualiser l'utilisation actuelle de vos services sur CloudWatch des graphiques et des tableaux de bord.
Les métriques d'utilisation des quotas de service se trouvent dans l'espace de noms AWS/Usage et sont collectées toutes les minutes.
Actuellement, le seul nom de métrique publié dans cet espace de noms CloudWatch estResourceCount. Cette métrique est publiée avec les dimensions Service, Class, Type et Resource.
| Métrique | Description |
|---|---|
ResourceCount |
Nombre des ressources spécifiées exécutées dans votre compte. Les ressources sont définies par les dimensions associées à la métrique. La statistique la plus utile pour cette métrique est MAXIMUM, qui représente le nombre maximal de ressources utilisées pendant la période d'une minute. |
Les dimensions suivantes sont utilisées pour affiner les statistiques d'utilisation publiées par Amazon Data Firehose.
| Dimension | Description |
|---|---|
Service |
Nom du AWS service contenant la ressource. Pour les métriques d'utilisation d'Amazon Data Firehose, la valeur de cette dimension est. |
Class |
Classe de ressource suivie. Les métriques d'utilisation de l'API Amazon Data Firehose utilisent cette dimension avec une valeur de. |
Type |
Type de ressource suivi. Actuellement, lorsque la dimension Service est |
Resource |
Le nom de la AWS ressource. Actuellement, lorsque la dimension Service est |
