Monitora il servizio Amazon Kinesis Data Streams con Amazon CloudWatch

Amazon Kinesis Data Streams CloudWatch e Amazon sono integrati in modo da poter raccogliere CloudWatch, visualizzare e analizzare i parametri per i flussi di dati Kinesis. Ad esempio, per tenere traccia dell'utilizzo degli shard, è possibile monitorare i parametri IncomingBytes e OutgoingBytes e confrontarli con il numero di shard nel flusso.

Le metriche di streaming e le metriche a livello di shard che configuri vengono raccolte automaticamente e aggiornate ogni minuto. CloudWatch I parametri sono conservati per due settimane; dopo tale periodo, i dati vengono eliminati.

La tabella seguente descrive un monitoraggio di base a livello di flusso e un monitoraggio avanzato a livello di partizione per i flussi di dati Kinesis.

Type	Descrizione
Monitoraggio di base (a livello di flusso)	I dati a livello di flusso sono inviati automaticamente ogni minuto, senza alcun costo aggiuntivo.
Monitoraggio avanzato (a livello di shard)	I dati a livello di shard sono inviati ogni minuto, con un costo aggiuntivo. Per ottenere questo livello di dati, devi abilitarlo in modo specifico per lo stream che utilizza l'operazione. EnableEnhancedMonitoring Per informazioni sui prezzi, consulta la pagina CloudWatch del prodotto Amazon.

Dimensioni e metriche di Amazon Kinesis Data Streams

Kinesis Data Streams invia le CloudWatch metriche a due livelli: a livello di stream e, facoltativamente, a livello di shard. I parametri a livello di flusso sono per i più comuni casi d'uso di monitoraggio in condizioni normali. Le metriche a livello di shard servono per attività di monitoraggio specifiche, generalmente correlate alla risoluzione dei problemi, e vengono abilitate utilizzando l'operazione. EnableEnhancedMonitoring

Per una spiegazione delle statistiche raccolte dalle CloudWatch metriche, consulta CloudWatch Statistics in the Amazon CloudWatch User Guide.

Metriche di base a livello di stream

Il namespace AWS/Kinesis include i parametri a livello di flusso descritti di seguito.

Kinesis Data Streams invia queste metriche a livello di flusso CloudWatch a ogni minuto. Tali parametri sono sempre disponibili.

Parametro	Descrizione
GetRecords.Bytes	Il numero di byte recuperati dal flusso Kinesis misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i byte in un'unica operazione GetRecords per il flusso nel periodo di tempo specificato. Nome parametro a livello di shard: OutgoingBytes. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: byte
GetRecords.IteratorAge	Questo parametro è obsoleto. Utilizza GetRecords.IteratorAgeMilliseconds.
GetRecords.IteratorAgeMilliseconds	L'età dell'ultimo record in tutte le chiamate GetRecords effettuate su un flusso Kinesis, misurate durante il periodo di tempo specificato. L'età è la differenza tra l'ora corrente e il momento in cui l'ultimo record della chiamata GetRecords è stato scritto nel flusso. Le statistiche Minimo e Massimo possono essere utilizzate per tenere traccia dell'attività delle applicazioni consumer di Kinesis. Il valore zero indica che i record in fase di lettura sono totalmente assorbiti dal flusso. Nome parametro a livello di shard: IteratorAgeMilliseconds. Dimensioni: StreamName Statistiche: minimo, massimo, media, esempi Unità: millisecondi
GetRecords.Latency	Il tempo necessario per operazione GetRecords, misurato durante il periodo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media Unità: millisecondi
GetRecords.Records	Il numero di record recuperati dallo shard, misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i record in un'unica operazione GetRecords per il flusso nel periodo di tempo specificato. Nome parametro a livello di shard: OutgoingRecords. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
GetRecords.Success	Il numero di operazioni GetRecords riuscite per flusso, misurate durante il periodo di tempo specificato. Dimensioni: StreamName Statistiche: media, somma, esempi Unità: numero
IncomingBytes	Il numero di byte correttamente inseriti nel flusso Kinesis durante il periodo di tempo specificato. Questo parametro include i byte delle operazioni PutRecord e PutRecords. Le statistiche Minimo, Massimo e Media rappresentano i byte in un'unica operazione put per il flusso nel periodo di tempo specificato. Nome parametro a livello di shard: IncomingBytes. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: byte
IncomingRecords	Il numero di record inseriti correttamente nel flusso Kinesis durante il periodo di tempo specificato. Questo parametro include il numero di record delle operazioni PutRecord e PutRecords. Le statistiche Minimo, Massimo e Media rappresentano i record in un'unica operazione put per il flusso nel periodo di tempo specificato. Nome parametro a livello di shard: IncomingRecords. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
PutRecord.Bytes	Il numero di byte inseriti nel flusso Kinesis mediante l'operazione PutRecord durante il periodo di tempo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: byte
PutRecord.Latency	Il tempo necessario per operazione PutRecord, misurato durante il periodo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media Unità: millisecondi
PutRecord.Success	Il numero di operazioni PutRecord riuscite per flusso Kinesis misurate durante il periodo di tempo specificato. La media riflette la percentuale di scritture riuscite in un flusso. Dimensioni: StreamName Statistiche: media, somma, esempi Unità: numero
PutRecords.Bytes	Il numero di byte inseriti nel flusso Kinesis mediante l'operazione PutRecords durante il periodo di tempo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: byte
PutRecords.Latency	Il tempo necessario per operazione PutRecords, misurato durante il periodo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media Unità: millisecondi
PutRecords.Records	Questo parametro è obsoleto. Utilizza PutRecords.SuccessfulRecords. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
PutRecords.Success	Il numero di operazioni PutRecords con almeno un record riuscito, per flusso Kinesis, misurate durante il periodo di tempo specificato. Dimensioni: StreamName Statistiche: media, somma, esempi Unità: numero
PutRecords.TotalRecords	Il numero di record inviati in un'operazione PutRecords per il flusso di dati Kinesis misurata nel periodo di tempo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
PutRecords.SuccessfulRecords	Il numero di record riusciti in un'operazione PutRecords per flusso di dati Kinesis, misurati durante il periodo di tempo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
PutRecords.FailedRecords	Il numero di record rifiutati a causa di errori interni in un'operazione PutRecords per il flusso di dati Kinesis, misurato nel periodo di tempo specificato. È probabile che si verifichino errori interni occasionali e che sia necessario riprovare. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
PutRecords.ThrottledRecords	Il numero di record rifiutati a causa della limitazione in un'operazione PutRecords per il flusso di dati Kinesis misurata nel periodo di tempo specificato. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
ReadProvisionedThroughputExceeded	Il numero di chiamate GetRecords sottoposte a throttling per il flusso durante il periodo di tempo specificato. La statistica Media è quella più utilizzata per questo parametro. Quando il valore della statistica Minimo è 1, tutti i record sono stati sottoposti a throttling per il flusso durante il periodo di tempo specificato. Quando il valore della statistica Massimo è 0 (zero), nessun record è stato sottoposto a throttling per il flusso durante il periodo di tempo specificato. Nome parametro a livello di shard: ReadProvisionedThroughputExceeded. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
SubscribeToShard.RateExceeded	Questo parametro viene emesso quando un tentativo di nuovo abbonamento non va a buon fine perché è attivo un abbonamento dello stesso consumer oppure hai superato il numero di chiamate al secondo consentite per questa operazione. Dimensioni: StreamName, ConsumerName
SubscribeToShard.Success	Questa metrica registra se la SubscribeToShard sottoscrizione è stata stabilita con successo. L'abbonamento non dura più di 5 minuti. Questo parametro viene pertanto emesso almeno una volta ogni 5 minuti. Dimensioni: StreamName, ConsumerName
SubscribeToShardEvent.Bytes	Il numero di byte ricevuti dallo shard, misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i byte pubblicati in un singolo evento per il periodo di tempo specificato. Nome parametro a livello di shard: OutgoingBytes. Dimensioni: StreamName, ConsumerName Statistiche: minimo, massimo, media, somma, esempi Unità: byte
SubscribeToShardEvent.MillisBehindLatest	Il numero di millisecondi in cui i record di lettura provengono dall'estremità dello stream, che indica il ritardo dell'utente rispetto all'ora corrente. Dimensioni:, StreamName ConsumerName Statistiche: minimo, massimo, media, esempi Unità: millisecondi
SubscribeToShardEvent.Records	Il numero di record ricevuti dallo shard, misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i record pubblicati in un singolo evento per il periodo di tempo specificato. Nome parametro a livello di shard: OutgoingRecords. Dimensioni: StreamName, ConsumerName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
SubscribeToShardEvent.Success	Questo parametro viene emesso ogni volta che un evento viene pubblicato correttamente. Viene emesso solo in presenza di un abbonamento attivo. Dimensioni: StreamName, ConsumerName Statistiche: minimo, massimo, media, somma, esempi Unità: numero
WriteProvisionedThroughputExceeded	Il numero di record rifiutati a causa del throttling per il flusso durante il periodo di tempo specificato. Questo parametro include il throttling delle operazioni PutRecord e PutRecords. La statistica Media è quella più utilizzata per questo parametro. Quando il valore della statistica Minimo non è 0 (zero), i record sono stati sottoposti a throttling per il flusso durante il periodo di tempo specificato. Quando il valore della statistica Massimo è 0 (zero), nessun record è stato sottoposto a throttling per il flusso durante il periodo di tempo specificato. Nome parametro a livello di shard: WriteProvisionedThroughputExceeded. Dimensioni: StreamName Statistiche: minimo, massimo, media, somma, esempi Unità: numero

Metriche avanzate a livello di shard

Il namespace AWS/Kinesis include i parametri a livello di shard descritti di seguito.

Kinesis invia le seguenti metriche a livello di shard a ogni minuto. CloudWatch Ogni dimensione metrica crea 1 CloudWatch metrica ed effettua circa 43.200 chiamate al mese. PutMetricData API Per impostazione predefinita, tali parametri non sono attivati. I parametri avanzati emessi da Kinesis comportano un addebito. Per ulteriori informazioni, consulta la pagina CloudWatch dei prezzi di Amazon alla voce Amazon CloudWatch Custom Metrics. I costi sono forniti per shard per parametro per mese.

Parametro	Descrizione
IncomingBytes	Il numero di byte inseriti nello shard durante il periodo di tempo specificato. Questo parametro include i byte delle operazioni PutRecord e PutRecords. Le statistiche Minimo, Massimo e Media rappresentano i byte in un'unica operazione put per lo shard nel periodo di tempo specificato. Nome parametro a livello di flusso: IncomingBytes. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: byte
IncomingRecords	Il numero di record inseriti nello shard durante il periodo di tempo specificato. Questo parametro include il numero di record delle operazioni PutRecord e PutRecords. Le statistiche Minimo, Massimo e Media rappresentano i record in un'unica operazione put per lo shard nel periodo di tempo specificato. Nome parametro a livello di flusso: IncomingRecords. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: numero
IteratorAgeMilliseconds	L'età dell'ultimo record in tutte le chiamate GetRecords effettuate su uno shard, misurata durante il periodo di tempo specificato. L'età è la differenza tra l'ora corrente e il momento in cui l'ultimo record della chiamata GetRecords è stato scritto nel flusso. Le statistiche Minimo e Massimo possono essere utilizzate per tenere traccia dell'attività delle applicazioni consumer di Kinesis. Il valore 0 (zero) indica che i record in fase di lettura sono totalmente assorbiti dal flusso. Nome parametro a livello di flusso: GetRecords.IteratorAgeMilliseconds. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, esempi Unità: millisecondi
OutgoingBytes	Il numero di byte recuperati dallo shard, misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i byte restituiti in un'unica operazione GetRecords o pubblicati in un singolo evento SubscribeToShard per lo shard nel periodo di tempo specificato. Nome parametro a livello di flusso: GetRecords.Bytes. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: byte
OutgoingRecords	Il numero di record recuperati dallo shard, misurati durante il periodo di tempo specificato. Le statistiche Minimo, Massimo e Media rappresentano i record restituiti in un'unica operazione GetRecords o pubblicati in un singolo evento SubscribeToShard per lo shard nel periodo di tempo specificato. Nome parametro a livello di flusso: GetRecords.Records. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: numero
ReadProvisionedThroughputExceeded	Il numero di chiamate GetRecords sottoposte a throttling per lo shard durante il periodo di tempo specificato. Questo numero di eccezioni copre tutte le dimensioni dei seguenti limiti: 5 letture per shard per secondo o 2 MB per secondo per shard. La statistica Media è quella più utilizzata per questo parametro. Quando il valore della statistica Minimo è 1, tutti i record sono stati sottoposti a throttling per lo shard durante il periodo di tempo specificato. Quando il valore della statistica Massimo è 0 (zero), nessun record è stato sottoposto a throttling per lo shard durante il periodo di tempo specificato. Nome parametro a livello di flusso: ReadProvisionedThroughputExceeded. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: numero
WriteProvisionedThroughputExceeded	Il numero di record rifiutati a causa del throttling dello shard durante il periodo di tempo specificato. Questo parametro include il throttling delle operazioni PutRecord e PutRecords e copre tutte le dimensioni dei seguenti limiti: 1.000 record per secondo per shard o 1 MB per secondo per shard. La statistica Media è quella più utilizzata per questo parametro. Quando il valore della statistica Minimo non è 0 (zero), i record sono stati sottoposti a throttling per lo shard durante il periodo di tempo specificato. Quando il valore della statistica Massimo è 0 (zero), nessun record è stato sottoposto a throttling per lo shard durante il periodo di tempo specificato. Nome parametro a livello di flusso: WriteProvisionedThroughputExceeded. Dimensioni: StreamName, ShardId Statistiche: minimo, massimo, media, somma, esempi Unità: numero

Dimensioni per i parametri di Amazon Kinesis Data Streams

Dimensione	Descrizione
StreamName	Il nome del flusso Kinesis. Tutte le statistiche disponibili vengono filtrate per StreamName.

Parametri di Amazon Kinesis Data Streams consigliati

Diversi parametri del flusso di dati Amazon Kinesis potrebbero essere di particolare interesse per i clienti del flusso di dati Kinesis. Il seguente elenco fornisce i parametri consigliati e i loro utilizzi.

Parametro	Note per l'utilizzo
GetRecords.IteratorAgeMilliseconds	Monitora la posizione di lettura di tutti gli shard e i consumatori nel flusso. Se l'età di un iteratore supera il 50% del periodo di conservazione (per impostazione predefinita, 24 ore, configurabile fino a 7 giorni), c'è il rischio di una perdita di dati a causa della scadenza del record. Ti consigliamo di utilizzare gli CloudWatch allarmi nella statistica Maximum per avvisarti prima che questa perdita rappresenti un rischio. Per uno scenario di esempio che utilizza questo parametro, consulta L'elaborazione dei record dei consumatori è in ritardo.
ReadProvisionedThroughputExceeded	Quando l'elaborazione di record nel lato del consumer è in ritardo, talvolta è difficile sapere dov'è il collo di bottiglia. Utilizza questo parametro per determinare se le operazioni di lettura vengono sottoposte a throttling a causa del fatto che superano i tuoi limiti di throughput di lettura. La statistica Media è quella più utilizzata per questo parametro.
WriteProvisionedThroughputExceeded	Ha lo stesso scopo del parametro ReadProvisionedThroughputExceeded ma per il lato del producer (put) del flusso. La statistica Media è quella più utilizzata per questo parametro.
PutRecord.Success, PutRecords.Success	Ti consigliamo di utilizzare gli CloudWatch allarmi nella statistica Average per indicare quando i record non vengono trasmessi allo streaming. Scegli uno o entrambi i tipi di put, in base a ciò che utilizza il tuo producer. Se si utilizza la Kinesis Producer Library (KPL), utilizzare. PutRecords.Success
GetRecords.Success	Ti consigliamo di utilizzare gli CloudWatch allarmi nella statistica Average per indicare quando i record dello stream non funzionano.

Accedi ai CloudWatch parametri di Amazon per Kinesis Data Streams

È possibile monitorare le metriche per Kinesis Data Streams utilizzando CloudWatch la console, la riga di comando o il. CloudWatch API Le procedure seguenti mostrano come accedere ai parametri utilizzando questi diversi metodi.

Per accedere alle metriche utilizzando la console CloudWatch

1. Apri la CloudWatch console all'indirizzo https://console.aws.amazon.com/cloudwatch/.

2. Nella barra di navigazione, scegli una regione.

3. Nel riquadro di navigazione, seleziona Parametri.

4. Nel riquadro CloudWatch Metriche per categoria, scegli Kinesis Metrics.

5. Fai clic sulla riga pertinente per visualizzare le statistiche relative all'oggetto specificato e. MetricNameStreamName

   Nota: la maggior parte dei nomi delle statistiche delle console corrisponde ai nomi delle CloudWatch metriche corrispondenti elencati sopra, ad eccezione di Read Throughput e Write Throughput. Queste statistiche vengono calcolate su intervalli di 5 minuti: Write Throughput monitora la metrica e Read Throughput monitora la metrica e Read Throughput. IncomingBytes CloudWatch GetRecords.Bytes

6. (Facoltativo) Nel riquadro grafico, selezionate una statistica e un periodo di tempo, quindi create un allarme utilizzando queste impostazioni. CloudWatch

Per accedere alle metriche utilizzando il AWS CLI

Utilizzate le metriche e i comandi dell'elenco. get-metric-statistics

Per accedere alle metriche utilizzando CloudWatch CLI

Utilizzate i mon-get-statscomandi mon-list-metricsand.

Per accedere alle metriche utilizzando CloudWatch API

Usa le GetMetricStatisticsoperazioni ListMetricsand.