Amazon Data Firehose era precedentemente noto come Amazon Kinesis Data Firehose
Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Monitoraggio di Amazon Data Firehose tramite metriche CloudWatch
Importante
Assicurati di attivare gli allarmi su tutte le CloudWatch metriche che appartengono alla tua destinazione per identificare gli errori in modo tempestivo.
Amazon Data Firehose si integra con i CloudWatch parametri di Amazon per consentirti di raccogliere, visualizzare e analizzare i CloudWatch parametri per i tuoi flussi Firehose. Ad esempio, puoi monitorare le IncomingRecords metriche IncomingBytes and per tenere traccia dei dati importati in Amazon Data Firehose dai produttori di dati.
Amazon Data Firehose raccoglie e pubblica CloudWatch metriche ogni minuto. Tuttavia, se i picchi di dati in entrata si verificano solo per pochi secondi, potrebbero non essere completamente acquisiti o non essere visibili nei parametri di un minuto. Questo perché le CloudWatch metriche vengono aggregate da Amazon Data Firehose a intervalli di un minuto.
Le metriche raccolte per gli stream Firehose sono gratuite. Per informazioni sui parametri dell'agente Kinesis, consulta Monitoraggio dell'integrità di Kinesis Agent.
Argomenti
- Metriche di partizionamento dinamico CloudWatch
- CloudWatch Metriche di distribuzione dei dati
- Parametri di inserimento dati
- Metriche a livello di API CloudWatch
- CloudWatch Metriche di trasformazione dei dati
- CloudWatch Registra le metriche di decompressione
- Metriche di conversione del formato CloudWatch
- Metriche di crittografia lato server (SSE) CloudWatch
- Dimensioni per Amazon Data Firehose
- Metriche di utilizzo di Amazon Data Firehose
Metriche di partizionamento dinamico CloudWatch
Se il partizionamento dinamico è abilitato, lo spazio dei nomi AWS/Firehose include le seguenti metriche.
| Parametro | Descrizione |
|---|---|
ActivePartitionsLimit |
Il numero massimo di partizioni attive che un flusso Firehose elabora prima di inviare dati al bucket di errori. Unità: numero |
PartitionCount |
Il numero di partizioni che vengono elaborate, in altre parole, il numero di partizioni attive. Questo numero varia tra 1 e il limite del numero di partizioni di 500 (impostazione predefinita). Unità: numero |
PartitionCountExceeded |
Questo parametro indica se si sta superando il limite del numero di partizioni. Emette 1 o 0 a seconda che il limite venga violato o meno. |
JQProcessing.Duration |
Restituisce il tempo impiegato per eseguire l'espressione JQ nella funzione JQ Lambda. Unità: millisecondi |
PerPartitionThroughput |
Indica il throughtput che viene elaborato per ciascuna partizione. Questo parametro consente di monitorare la velocità di trasmissione effettiva per ciascuna partizione. Unità:. StandardUnit BytesSecond |
DeliveryToS3.ObjectCount |
Indica il numero di oggetti che vengono distribuiti al bucket S3. Unità: numero |
CloudWatch Metriche di distribuzione dei dati
Il namespace AWS/Firehose include i parametri a livello di servizio descritti di seguito. Se riscontri lievi cali nella media di BackupToS3.Success, DeliveryToS3.Success, DeliveryToSplunk.Success, DeliveryToAmazonOpenSearchService.Success o DeliveryToRedshift.Success, ciò non indica che vi sia una perdita di dati. Amazon Data Firehose riprova gli errori di consegna e non procede finché i record non vengono consegnati correttamente alla destinazione configurata o al bucket S3 di backup.
Argomenti
OpenSearch Consegna al servizio
| Parametro | Descrizione |
|---|---|
DeliveryToAmazonOpenSearchService.Bytes |
Il numero di byte indicizzati al OpenSearch Servizio nel periodo di tempo specificato. Unità: byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Tutti i record più vecchi di questa età sono stati consegnati al OpenSearch Servizio. Unità: secondi |
DeliveryToAmazonOpenSearchService.Records |
Il numero di record indicizzati al OpenSearch Servizio nel periodo di tempo specificato. Unità: numero |
DeliveryToAmazonOpenSearchService.Success |
La somma dei record indicizzati correttamente rispetto alla somma dei record tentati. |
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: numero |
DeliveryToS3.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato al bucket S3. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: secondi |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. Amazon Data Firehose emette sempre questo parametro indipendentemente dal fatto che il backup sia abilitato solo per i documenti non riusciti o per tutti i documenti. |
DeliveryToAmazonOpenSearchService.AuthFailure |
Errore idi autenticazione e autorizzazione. Verifica la policy del cluster OS/ES e le autorizzazioni del ruolo. 0 indica che non c'è alcun problema. 1 indica un errore di autenticazione. |
DeliveryToAmazonOpenSearchService.DeliveryRejected |
Errore di distribuzione rifiutata. Verifica la policy del cluster OS/ES e le autorizzazioni del ruolo. 0 indica che non è presente alcun problema. 1 indica un errore di distribuzione. |
Consegna a Serverless OpenSearch
| Parametro | Descrizione |
|---|---|
DeliveryToAmazonOpenSearchServerless.Bytes |
Il numero di byte indicizzati su OpenSearch Serverless nel periodo di tempo specificato. Unità: byte |
DeliveryToAmazonOpenSearchServerless.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Tutti i record più vecchi di questa età sono stati consegnati a OpenSearch Serverless. Unità: secondi |
DeliveryToAmazonOpenSearchServerless.Records |
Il numero di record indicizzati su OpenSearch Serverless nel periodo di tempo specificato. Unità: numero |
DeliveryToAmazonOpenSearchServerless.Success |
La somma dei record indicizzati correttamente rispetto alla somma dei record tentati. |
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: numero |
DeliveryToS3.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato al bucket S3. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: secondi |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro solo quando abiliti il backup per tutti i documenti. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. Amazon Data Firehose emette sempre questo parametro indipendentemente dal fatto che il backup sia abilitato solo per i documenti non riusciti o per tutti i documenti. |
DeliveryToAmazonOpenSearchServerless.AuthFailure |
Errore idi autenticazione e autorizzazione. Verifica la policy del cluster OS/ES e le autorizzazioni del ruolo. 0 indica che non c'è alcun problema. 1 indica un errore di autenticazione. |
DeliveryToAmazonOpenSearchServerless.DeliveryRejected |
Errore di distribuzione rifiutata. Verifica la policy del cluster OS/ES e le autorizzazioni del ruolo. 0 indica che non vi è alcun problema. 1 indica un errore di distribuzione. |
Distribuzione ad Amazon Redshift
| Parametro | Descrizione |
|---|---|
DeliveryToRedshift.Bytes |
Il numero di byte copiati su Amazon Redshift durante il periodo di tempo specificato. Unità: numero |
DeliveryToRedshift.Records |
Il numero di record copiati su Amazon Redshift durante il periodo di tempo specificato. Unità: numero |
DeliveryToRedshift.Success |
La somma di comandi COPY di Amazon Redshift con esito positivo rispetto a quella di tutti i comandi COPY di Amazon Redshift. |
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: byte |
DeliveryToS3.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato al bucket S3. Unità: secondi |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. |
BackupToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando è abilitato il backup su Amazon S3. Unità: numero |
BackupToS3.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato distribuito al bucket Amazon S3 per il backup. Amazon Data Firehose emette questo parametro quando è abilitato il backup su Amazon S3. Unità: secondi |
BackupToS3.Records |
Il numero di record distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando è abilitato il backup su Amazon S3. Unità: numero |
BackupToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di backup di Amazon S3. Amazon Data Firehose emette questo parametro quando è abilitato il backup su Amazon S3. |
Distribuzione ad Amazon S3
Le metriche nella tabella seguente si riferiscono alla consegna ad Amazon S3 quando è la destinazione principale dello stream Firehose.
| Parametro | Descrizione |
|---|---|
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: byte |
DeliveryToS3.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato al bucket S3. Unità: secondi |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. |
BackupToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando il backup è abilitato (il che è possibile solo quando è abilitata anche la trasformazione dei dati). Unità: numero |
BackupToS3.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato distribuito al bucket Amazon S3 per il backup. Amazon Data Firehose emette questo parametro quando il backup è abilitato (il che è possibile solo quando è abilitata anche la trasformazione dei dati). Unità: secondi |
BackupToS3.Records |
Il numero di record distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando il backup è abilitato (il che è possibile solo quando è abilitata anche la trasformazione dei dati). Unità: numero |
BackupToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di backup di Amazon S3. Amazon Data Firehose emette questo parametro quando il backup è abilitato (il che è possibile solo quando è abilitata anche la trasformazione dei dati). |
Consegna a Snowflake
| Parametro | Descrizione |
|---|---|
DeliveryToSnowflake.Bytes |
Il numero di byte consegnati a Snowflake nel periodo di tempo specificato. Unità: byte |
DeliveryToSnowflake.DataFreshness |
L'età (dall'ingresso in Firehose a oggi) del disco più antico di Firehose. Qualsiasi disco più vecchio di questa età è stato consegnato a Snowflake. Tieni presente che possono essere necessari alcuni secondi per salvare i dati su Snowflake dopo che la chiamata di inserimento di Firehose ha avuto esito positivo. Per il tempo necessario per salvare i dati su Snowflake, fate riferimento alla metrica. Unità: secondi |
DeliveryToSnowflake.DataCommitLatency |
Il tempo necessario per il commit dei dati su Snowflake dopo che Firehose ha inserito correttamente i record. Unità: secondi |
DeliveryToSnowflake.Records |
Il numero di record consegnati a Snowflake nel periodo di tempo specificato. Unità: numero |
DeliveryToSnowflake.Success |
La somma delle chiamate di inserimento riuscite effettuate a Snowflake rispetto alla somma delle chiamate di inserimento tentate. |
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Questa metrica è disponibile solo quando la consegna a Snowflake fallisce e Firehose tenta di eseguire il backup dei dati non riusciti su S3. Unità: byte |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Questa metrica è disponibile solo quando la consegna a Snowflake fallisce e Firehose tenta di eseguire il backup dei dati non riusciti su S3. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. Questa metrica è disponibile solo quando la consegna a Snowflake fallisce e Firehose tenta di eseguire il backup dei dati non riusciti su S3. |
BackupToS3.DataFreshness |
L'età (da Firehose a oggi) del disco più antico di Firehose. Tutti i record più vecchi di questa età vengono sottoposti a backup nel bucket Amazon S3. Questa metrica è disponibile quando il flusso Firehose è configurato per il backup di tutti i dati. Unità: secondi |
BackupToS3.Records |
Il numero di record distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Questa metrica è disponibile quando il flusso Firehose è configurato per il backup di tutti i dati. Unità: numero |
BackupToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Questa metrica è disponibile quando il flusso Firehose è configurato per il backup di tutti i dati. Unità: numero |
BackupToS3.Success |
La somma dei comandi put di Amazon S3 riusciti per il backup rispetto alla somma di tutti i comandi put di backup di Amazon S3. Firehose emette questa metrica quando il flusso Firehose è configurato per il backup di tutti i dati. |
Consegna a Splunk
| Parametro | Descrizione |
|---|---|
DeliveryToSplunk.Bytes |
Il numero di byte consegnati a Splunk durante il periodo di tempo specificato. Unità: byte |
DeliveryToSplunk.DataAckLatency |
La durata approssimativa necessaria per ricevere una conferma da Splunk dopo che Amazon Data Firehose gli ha inviato i dati. La tendenza in aumento o in diminuzione per questo parametro è più utile del valore approssimativo assoluto. Le tendenze in aumento possono indicare tassi di indicizzazione e riconoscimento da parte degli indicizzatori Splunk. Unità: secondi |
DeliveryToSplunk.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato a Splunk. Unità: secondi |
DeliveryToSplunk.Records |
Il numero di record consegnati a Splunk durante il periodo di tempo specificato. Unità: numero |
DeliveryToSplunk.Success |
La somma dei record indicizzati correttamente rispetto alla somma dei record tentati. |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. Questo parametro viene emesso quando il backup su Amazon S3 è abilitato. |
BackupToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando lo stream Firehose è configurato per il backup di tutti i documenti. Unità: numero |
BackupToS3.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato distribuito al bucket Amazon S3 per il backup. Amazon Data Firehose emette questo parametro quando lo stream Firehose è configurato per il backup di tutti i documenti. Unità: secondi |
BackupToS3.Records |
Il numero di record distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando lo stream Firehose è configurato per il backup di tutti i documenti. Unità: numero |
BackupToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di backup di Amazon S3. Amazon Data Firehose emette questo parametro quando lo stream Firehose è configurato per il backup di tutti i documenti. |
Distribuzione agli endpoint HTTP
| Parametro | Descrizione |
|---|---|
DeliveryToHttpEndpoint.Bytes |
Il numero di byte distribuiti correttamente all'endpoint HTTP. Unità: byte |
DeliveryToHttpEndpoint.Records |
Il numero di record distribuiti correttamente all'endpoint HTTP. Unità: numero |
DeliveryToHttpEndpoint.DataFreshness |
Età del record più vecchio in Amazon Data Firehose. Unità: secondi |
DeliveryToHttpEndpoint.Success |
La somma di tutte le richieste di distribuzione dei dati riuscite all'endpoint HTTP Unità: numero |
DeliveryToHttpEndpoint.ProcessedBytes |
Il numero di byte che si è tentato di elaborare, inclusi i nuovi tentativi. |
DeliveryToHttpEndpoint.ProcessedRecords |
Il numero di record tentati, inclusi i nuovi tentativi. |
Parametri di inserimento dati
Argomenti
Importazione dei dati tramite Kinesis Data Streams
| Parametro | Descrizione |
|---|---|
DataReadFromKinesisStream.Bytes |
Quando l'origine dati è un flusso di dati Kinesis, questo parametro indica il numero di byte letti dal flusso. Questo numero include le riletture dovute a failover. Unità: byte |
DataReadFromKinesisStream.Records |
Quando l'origine dati è un flusso di dati Kinesis, questo parametro indica il numero di record letti dal flusso di dati. Questo numero include le riletture dovute a failover. Unità: numero |
ThrottledDescribeStream |
Il numero totale di volte in cui l'operazione Unità: numero |
ThrottledGetRecords |
Il numero totale di volte in cui l'operazione Unità: numero |
ThrottledGetShardIterator |
Il numero totale di volte in cui l'operazione Unità: numero |
Acquisizione dei dati tramite PUT diretto
| Parametro | Descrizione |
|---|---|
BackupToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando la trasformazione dei dati è abilitata per le destinazioni Amazon S3 o Amazon Redshift. Unità: byte |
BackupToS3.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato distribuito al bucket Amazon S3 per il backup. Amazon Data Firehose emette questo parametro quando la trasformazione dei dati è abilitata per le destinazioni Amazon S3 o Amazon Redshift. Unità: secondi |
BackupToS3.Records |
Il numero di record distribuiti ad Amazon S3 per il backup durante il periodo di tempo specificato. Amazon Data Firehose emette questo parametro quando la trasformazione dei dati è abilitata per le destinazioni Amazon S3 o Amazon Redshift. Unità: numero |
BackupToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di backup di Amazon S3. Amazon Data Firehose emette questo parametro quando la trasformazione dei dati è abilitata per le destinazioni Amazon S3 o Amazon Redshift. |
BytesPerSecondLimit |
Il numero massimo attuale di byte al secondo che uno stream Firehose può acquisire prima del throttling. Per richiedere un aumento fino a questo limite, vai al Centro di supporto AWS |
DataReadFromKinesisStream.Bytes |
Quando l'origine dati è un flusso di dati Kinesis, questo parametro indica il numero di byte letti dal flusso di dati. Questo numero include le riletture dovute a failover. Unità: byte |
DataReadFromKinesisStream.Records |
Quando l'origine dati è un flusso di dati Kinesis, questo parametro indica il numero di record letti dal flusso di dati. Questo numero include le riletture dovute a failover. Unità: numero |
DeliveryToAmazonOpenSearchService.Bytes |
Il numero di byte indicizzati al servizio nel periodo di tempo specificato. OpenSearch Unità: byte |
DeliveryToAmazonOpenSearchService.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Tutti i record più vecchi di questa età sono stati consegnati al OpenSearch Servizio. Unità: secondi |
DeliveryToAmazonOpenSearchService.Records |
Il numero di record indicizzati al OpenSearch Servizio nel periodo di tempo specificato. Unità: numero |
DeliveryToAmazonOpenSearchService.Success |
La somma dei record indicizzati correttamente rispetto alla somma dei record tentati. |
DeliveryToRedshift.Bytes |
Il numero di byte copiati su Amazon Redshift durante il periodo di tempo specificato. Unità: byte |
DeliveryToRedshift.Records |
Il numero di record copiati su Amazon Redshift durante il periodo di tempo specificato. Unità: numero |
DeliveryToRedshift.Success |
La somma di comandi COPY di Amazon Redshift con esito positivo rispetto a quella di tutti i comandi COPY di Amazon Redshift. |
DeliveryToS3.Bytes |
Il numero di byte distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: byte |
DeliveryToS3.DataFreshness |
L'epoca (dall'ingresso in Amazon Data Firehose ad oggi) del record più vecchio in Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato al bucket S3. Unità: secondi |
DeliveryToS3.Records |
Il numero di record distribuiti ad Amazon S3 durante il periodo di tempo specificato. Unità: numero |
DeliveryToS3.Success |
La somma di comandi put di Amazon S3 con esito positivo rispetto a quella di tutti i comandi put di Amazon S3. |
DeliveryToSplunk.Bytes |
Il numero di byte consegnati a Splunk durante il periodo di tempo specificato. Unità: byte |
DeliveryToSplunk.DataAckLatency |
La durata approssimativa necessaria per ricevere una conferma da Splunk dopo che Amazon Data Firehose gli ha inviato i dati. La tendenza in aumento o in diminuzione per questo parametro è più utile del valore approssimativo assoluto. Le tendenze in aumento possono indicare tassi di indicizzazione e riconoscimento da parte degli indicizzatori Splunk. Unità: secondi |
DeliveryToSplunk.DataFreshness |
Età (dall'ingresso in Amazon Data Firehose a oggi) del record più vecchio di Amazon Data Firehose. Qualsiasi record più vecchio di questa età è stato consegnato a Splunk. Unità: secondi |
DeliveryToSplunk.Records |
Il numero di record consegnati a Splunk durante il periodo di tempo specificato. Unità: numero |
DeliveryToSplunk.Success |
La somma dei record indicizzati correttamente rispetto alla somma dei record tentati. |
IncomingBytes |
Il numero di byte inseriti con successo nel flusso Firehose nel periodo di tempo specificato. L'ingestione dei dati potrebbe essere limitata quando supera uno dei limiti di flusso di Firehose. I dati limitati non verranno conteggiati per Unità: byte |
IncomingPutRequests |
Il numero di richieste riuscite PutRecord e di PutRecordBatch richieste in un determinato periodo di tempo. Unità: numero |
IncomingRecords |
Il numero di record inseriti con successo nel flusso Firehose nel periodo di tempo specificato. L'ingestione dei dati potrebbe essere limitata quando supera uno dei limiti di flusso di Firehose. I dati limitati non verranno conteggiati per Unità: numero |
KinesisMillisBehindLatest |
Quando l'origine dati è un flusso di dati Kinesis, questo parametro indica il numero di millisecondi di ritardo dell'ultimo record letto rispetto al record più recente nel flusso di dati Kinesis. Unità: millisecondi |
RecordsPerSecondLimit |
L'attuale numero massimo di record al secondo che uno stream Firehose può acquisire prima del throttling. Unità: numero |
ThrottledRecords |
Il numero di record che sono stati limitati perché l'ingestione dei dati ha superato uno dei limiti di flusso di Firehose. Unità: numero |
Importazione dei dati da MSK
| Parametro | Descrizione |
|---|---|
DataReadFromSource.Records
|
Il numero di record letti dall'argomento Kafka di origine. Unità: numero |
DataReadFromSource.Bytes
|
Il numero di byte letti dall'argomento Kafka di origine. Unità: byte |
SourceThrottled.Delay
|
Il ritardo con cui il cluster Kafka di origine restituisce i record dall'argomento Kafka di origine. Unità: millisecondi |
BytesPerSecondLimit
|
Il limite attuale di velocità di trasmissione effettiva al quale Firehose leggerà da ogni partizione dell'argomento Kafka di origine. Unità: byte/secondo |
KafkaOffsetLag
|
La differenza tra l'offset più grande del record che Firehose ha letto dall'argomento Kafka di origine e l'offset più grande del record disponibile dall'argomento Kafka di origine. Unità: numero |
FailedValidation.Records
|
Il numero di record che non hanno superato la convalida del record. Unità: numero |
FailedValidation.Bytes
|
Il numero di byte che non hanno superato la convalida del record. Unità: byte |
DataReadFromSource.Backpressured
|
Indica che uno stream Firehose ritarda la lettura dei record dalla partizione di origine o perché BytesPerSecondLimit per partizione è stato superato il limite del normale flusso di distribuzione o perché il normale flusso di distribuzione è lento o si è interrotto. Unità: booleane |
Metriche a livello di API CloudWatch
Il namespace AWS/Firehose include i seguenti parametri a livello di API.
| Parametro | Descrizione |
|---|---|
DescribeDeliveryStream.Latency |
Il tempo necessario per operazione Unità: millisecondi |
DescribeDeliveryStream.Requests |
Il numero totale di richieste Unità: numero |
ListDeliveryStreams.Latency |
Il tempo necessario per operazione Unità: millisecondi |
ListDeliveryStreams.Requests |
Il numero totale di richieste Unità: numero |
PutRecord.Bytes |
Il numero di byte immessi nello stream Firehose Unità: byte |
PutRecord.Latency |
Il tempo necessario per operazione Unità: millisecondi |
PutRecord.Requests |
Il numero totale di richieste Unità: numero |
PutRecordBatch.Bytes |
Il numero di byte immessi nello stream Firehose Unità: byte |
PutRecordBatch.Latency |
Il tempo necessario per operazione Unità: millisecondi |
PutRecordBatch.Records |
Il numero totale di record da operazioni Unità: numero |
PutRecordBatch.Requests |
Il numero totale di richieste Unità: numero |
PutRequestsPerSecondLimit |
Il numero massimo di richieste put al secondo che uno stream Firehose può gestire prima del throttling. Questo numero include PutRecord e richiede. PutRecordBatch Unità: numero |
ThrottledDescribeStream |
Il numero totale di volte in cui l'operazione Unità: numero |
ThrottledGetRecords |
Il numero totale di volte in cui l'operazione Unità: numero |
ThrottledGetShardIterator |
Il numero totale di volte in cui l'operazione Unità: numero |
UpdateDeliveryStream.Latency |
Il tempo necessario per operazione Unità: millisecondi |
UpdateDeliveryStream.Requests |
Il numero totale di richieste Unità: numero |
CloudWatch Metriche di trasformazione dei dati
Se la trasformazione dei dati con Lambda è abilitata, lo spazio dei nomi AWS/Firehose include i seguenti parametri.
| Parametro | Descrizione |
|---|---|
ExecuteProcessing.Duration |
Il tempo necessario per ogni chiamata della funzione Lambda eseguita da Firehose. Unità: millisecondi |
ExecuteProcessing.Success |
La somma delle invocazioni della funzione Lambda riuscite rispetto alla somma delle invocazioni totali della funzione Lambda. |
SucceedProcessing.Records |
Il numero di record elaborati correttamente durante il periodo di tempo specificato. Unità: numero |
SucceedProcessing.Bytes |
Il numero di byte elaborati correttamente durante il periodo di tempo specificato. Unità: byte |
CloudWatch Registra le metriche di decompressione
Se la decompressione è abilitata per la consegna CloudWatch dei registri, lo spazio dei AWS/Firehose nomi include le seguenti metriche.
| Parametro | Descrizione |
|---|---|
OutputDecompressedBytes.Success |
Dati decompressi in byte con successo Unità: byte |
OutputDecompressedBytes.Failed |
Dati decompressi in byte non riuscita Unità: byte |
OutputDecompressedRecords.Success |
Numero di record decompressi con successo Unità: numero |
OutputDecompressedRecords.Failed |
Numero di record decompressi non riusciti Unità: numero |
Metriche di conversione del formato CloudWatch
Se la conversione del formato è abilitata, lo spazio dei nomi di AWS/Firehose include i seguenti parametri.
| Parametro | Descrizione |
|---|---|
SucceedConversion.Records |
Il numero di record convertiti correttamente. Unità: numero |
SucceedConversion.Bytes |
La dimensione dei record convertiti correttamente. Unità: byte |
FailedConversion.Records |
Il numero di record che non è stato possibile convertire. Unità: numero |
FailedConversion.Bytes |
La dimensione dei record che non è stato possibile convertire. Unità: byte |
Metriche di crittografia lato server (SSE) CloudWatch
Lo spazio dei nomi AWS/Firehose include le seguenti metriche correlate a SSE.
| Parametro | Descrizione |
|---|---|
KMSKeyAccessDenied |
Il numero di volte in cui il servizio incontra uno stream Unità: numero |
KMSKeyDisabled |
Il numero di volte in cui il servizio incontra uno stream Unità: numero |
KMSKeyInvalidState |
Il numero di volte in cui il servizio incontra uno stream Unità: numero |
KMSKeyNotFound |
Il numero di volte in cui il servizio incontra uno stream Unità: numero |
Dimensioni per Amazon Data Firehose
Per filtrare le metriche in base al flusso Firehose, utilizzate DeliveryStreamName la dimensione.
Metriche di utilizzo di Amazon Data Firehose
Puoi utilizzare i parametri di CloudWatch utilizzo per fornire visibilità sull'utilizzo delle risorse da parte del tuo account. Utilizza queste metriche per visualizzare l'utilizzo corrente del servizio su CloudWatch grafici e dashboard.
Le metriche sull'utilizzo della quota di servizio si trovano nello spazio dei nomi AWS/Usage e vengono raccolte ogni minuto.
Attualmente, l'unico nome di metrica pubblicato in questo spazio dei nomi è. CloudWatch ResourceCount Questo parametro viene pubblicato con le dimensioni Service, Class, Type e Resource.
| Parametro | Descrizione |
|---|---|
ResourceCount |
Il numero delle risorse specificate in esecuzione nell'account. Le risorse sono definite dalle dimensioni associate al parametro. La statistica più utile per questo parametro è MAXIMUM, che rappresenta il numero massimo di risorse utilizzate durante il periodo di 1 minuto. |
Le seguenti dimensioni vengono utilizzate per perfezionare le metriche di utilizzo pubblicate da Amazon Data Firehose.
| Dimensione | Descrizione |
|---|---|
Service |
Il nome del AWS servizio che contiene la risorsa. Per i parametri di utilizzo di Amazon Data Firehose, il valore per questa dimensione è. |
Class |
La classe della risorsa monitorata. I parametri di utilizzo dell'API Amazon Data Firehose utilizzano questa dimensione con un valore di. |
Type |
Il tipo di risorsa monitorata. Attualmente, quando la dimensione Service è |
Resource |
Il nome della risorsa. AWS Attualmente, quando la dimensione Service è |
