Monitorar o Amazon Kinesis Data Streams Service com o Amazon CloudWatch

Amazon Kinesis Data Streams e Amazon CloudWatch O são integrados, permitindo coletar, visualizar e analisar as métricas do CloudWatch para os streamings de dados do Kinesis para os streamings de dados do Kinesis. Por exemplo, para rastrear o uso de estilhaços, você pode monitorar as IncomingBytes e as métricas de OutgoingBytes e compará-las com o número de estilhaços no stream.

As métricas configuradas para os streams são coletadas e enviadas automaticamente ao CloudWatch A cada minuto. As métricas são arquivadas por duas semanas. Depois desse período, os dados serão descartados.

A tabela a seguir descreve o monitoramento de nível de estilhaço avançado e nível de stream básico para streaming de dados do Kinesis.

Type	Descrição
Básico (nível de stream)	Dados de nível de stream são enviados automaticamente a cada minuto, sem custo adicional.
Avançado (nível de estilhaço)	Dados de nível de estilhaço são enviados a cada minuto por um custo adicional. Para obter esse nível de dados, você precisa habilitá-lo especificamente para o stream usando oEnableEnhancedMonitoringoperação. Para obter mais informações sobre definição de preço, consulte oAmazônia CloudWatch Página do produto.

Dimensões e métricas do Amazon Kinesis Data Streams

O Kinesis Data Streams envia as métricas para CloudWatch Em dois níveis: no nível do stream e, opcionalmente, do estilhaço. As métricas no nível do stream se destinam aos casos de uso de monitoramento mais comuns em condições normais. As métricas em nível de estilhaço são para tarefas de monitoramento específicas, geralmente relacionadas à solução de problemas, e são habilitadas com o uso doEnableEnhancedMonitoringoperação.

Para obter uma explicação sobre as estatísticas obtidas em CloudWatch métricas, consulteEstatísticas do CloudWatchnoAmazônia CloudWatch Guia do usuário do.

Métricas no nível do fluxo básicas

O namespace AWS/Kinesis inclui métricas de nível do fluxo a seguir.

O Kinesis Data Streams envia essas métricas em nível de streaming ao CloudWatch a cada minuto. Essas métricas estão sempre disponíveis.

Métrica	Descrição
GetRecords.Bytes	O número de bytes recuperados do stream do Kinesis, medido ao longo do período especificado. As estatísticas mínima, máxima e média representam os bytes em uma única operação GetRecords para o fluxo no período especificado. Nome da métrica do nível de estilhaço: OutgoingBytes Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
GetRecords.IteratorAge	Essa métrica foi substituída. Use GetRecords.IteratorAgeMilliseconds.
GetRecords.IteratorAgeMilliseconds	A idade do último registro em todosGetRecordsChamadas feitas contra um stream Kinesis, medido ao longo do período especificado. Idade é a diferença entre a hora atual e quando o último registro da chamada GetRecords foi gravado no stream. As estatísticas de mínimo e máximo podem ser usadas para acompanhar o progresso dos aplicativos de consumidores do Kinesis do. Um valor zero indica que os registros lidos estão em completa sincronização com o stream. Nome da métrica do nível de estilhaço: IteratorAgeMilliseconds Dimensões: StreamName Estatísticas: Amostras mínima, máxima, média Unidades: Milissegundos
GetRecords.Latency	O tempo gasto por operação GetRecords, medido ao longo do período de tempo especificado. Dimensões: StreamName Estatísticas: mínimo, máximo, média Unidades: Milissegundos
GetRecords.Records	O número de registros recuperados do estilhaço, medido ao longo do período de tempo especificado. As estatísticas mínima, máxima e média representam os registros em uma única operação GetRecords para o fluxo no período especificado. Nome da métrica do nível de estilhaço: OutgoingRecords Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
GetRecords.Success	O número de operações GetRecords bem-sucedidas por stream, medido ao longo do período de tempo especificado. Dimensões: StreamName Estatísticas: Média, Soma, Amostras Unidades: Contagem
IncomingBytes	O número de bytes colocados com sucesso no stream Kinesis ao longo do período especificado. Essa métrica inclui bytes das operações PutRecord e PutRecords. As estatísticas mínima, máxima e média representam os bytes em uma única operação put para o fluxo no período especificado. Nome da métrica do nível de estilhaço: IncomingBytes Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
IncomingRecords	O número de registros colocados com sucesso no stream do Kinesis ao longo do período de tempo especificado. Essa métrica inclui registros das operações PutRecord e PutRecords. As estatísticas mínima, máxima e média representam os registros em uma única operação put para o fluxo no período especificado. Nome da métrica do nível de estilhaço: IncomingRecords Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
PutRecord.Bytes	O número de bytes colocados no stream do Kinesis usando oPutRecordoperação ao longo do período especificado. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
PutRecord.Latency	O tempo gasto por operação PutRecord, medido ao longo do período de tempo especificado. Dimensões: StreamName Estatísticas: mínimo, máximo, média Unidades: Milissegundos
PutRecord.Success	O número de bem-sucedidosPutRecordOperações por stream Kinesis, medido ao longo do período especificado. A média reflete a porcentagem de gravações bem-sucedidas em um stream. Dimensões: StreamName Estatísticas: Média, Soma, Amostras Unidades: Contagem
PutRecords.Bytes	O número de bytes colocados no stream do Kinesis usando oPutRecordsoperação ao longo do período especificado. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
PutRecords.Latency	O tempo gasto por operação PutRecords, medido ao longo do período de tempo especificado. Dimensões: StreamName Estatísticas: mínimo, máximo, média Unidades: Milissegundos
PutRecords.Records	Essa métrica foi substituída. Use PutRecords.SuccessfulRecords. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
PutRecords.Success	O número dePutRecordsOperações com pelo menos um registro bem-sucedido, por stream do Kinesis medido ao longo do período especificado. Dimensões: StreamName Estatísticas: Média, Soma, Amostras Unidades: Contagem
PutRecords.TotalRecords	O número total de registros enviados em umPutRecordsOperação por stream de dados Kinesis, medido ao longo do período especificado. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
PutRecords.SuccessfulRecords	O número de registros bem-sucedidos em umPutRecordsOperação por stream de dados Kinesis, medido ao longo do período especificado. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
PutRecords.FailedRecords	O número de registros rejeitados por causa de falhas internas em umaPutRecordsOperação por stream de dados Kinesis, medido ao longo do período especificado. Falhas internas ocasionais devem ser esperadas e devem ser repetidas. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
PutRecords.ThrottledRecords	O número de registros rejeitados por causa da limitação em umPutRecordsOperação por stream de dados Kinesis, medido ao longo do período especificado. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
ReadProvisionedThroughputExceeded	O número de chamadas GetRecords limitadas para o fluxo ao longo do período especificado. A estatística mais usada para essa métrica é Média. Quando a estatística mínima tem um valor de 1, todos os registros foram limitados ao fluxo durante o período especificado. Quando a estatística máxima tem um valor de 0 (zero), nenhum registro foi limitado ao fluxo durante o período especificado. Nome da métrica do nível de estilhaço: ReadProvisionedThroughputExceeded Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
SubscribeToShard.RateExceeded	Essa métrica é emitida quando uma tentativa de nova assinatura apresenta falha porque já existe uma assinatura ativa com o mesmo consumidor ou se você exceder o número de chamadas por segundo permitido para essa operação. Dimensões: StreamName
SubscribeToShard.Success	Essa métrica registra se a assinatura SubscribeToShard foi estabelecida com êxito. A assinatura se mantém ativa por no máximo 5 minutos. Portanto, essa métrica é emitida pelo menos uma vez a cada 5 minutos. Dimensões: StreamName
SubscribeToShardEvent.Bytes	O número de bytes recebidos do estilhaço, medidos no período especificado. As estatísticas mínima, máxima e média representam os bytes publicados em um único evento no período especificado. Nome da métrica do nível de estilhaço: OutgoingBytes Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
SubscribeToShardEvent.MillisBehindLatest	A diferença entre a hora atual e o momento em que o último registro do SubscribeToShard evento foi escrito no fluxo. Dimensões: StreamName Estatísticas: Amostras mínima, máxima, média Unidades: Milissegundos
SubscribeToShardEvent.Records	O número de registros recebidos do estilhaço, medidos no período especificado. As estatísticas mínima, máxima e média representam os registros em um único evento no período especificado. Nome da métrica do nível de estilhaço: OutgoingRecords Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
SubscribeToShardEvent.Success	Essa métrica é emitida sempre que um evento é publicado com êxito. Ela será emitida somente quando houver uma assinatura ativa. Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
WriteProvisionedThroughputExceeded	O número de registros rejeitados por causa da limitação para o fluxo ao longo do período especificado. Essa métrica inclui a limitação das operações PutRecord e PutRecords. A estatística mais usada para essa métrica é Média. Quando a estatística mínima tem um valor diferente de zero, nenhum registro é limitado ao fluxo durante o período especificado. Quando a estatística máxima tem um valor de 0 (zero), nenhum registro foi limitado ao fluxo durante o período especificado. Nome da métrica do nível de estilhaço: WriteProvisionedThroughputExceeded Dimensões: StreamName Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem

Métricas do nível de estilhado aprimoradas

O namespace AWS/Kinesis inclui métricas de nível do estilhaço a seguir.

O Kinesis envia as seguintes métricas em nível de estilhaço ao CloudWatch A cada minuto. Cada dimensão métrica cria 1 CloudWatch métrica e faz aproximadamente 43.200PutMetricDataChamadas de API por mês. Essas métricas não são permitidas por padrão. Há uma cobrança para as métricas aprimoradas emitidas pelo Kinesis. Para obter mais informações, consulteAmazônia CloudWatch Definição de preçossob o títuloMétricas personalizadas do Amazon CloudWatch. As cobranças são indicadas por estilhaço pela métrica por mês.

Métrica	Descrição
IncomingBytes	O número de bytes colocados com sucesso no estilhaço ao longo do período especificado. Essa métrica inclui bytes das operações PutRecord e PutRecords. As estatísticas mínima, máxima e média representam os bytes em uma única operação put para o estilhaço no período especificado. Nome da métrica no nível do fluxo: IncomingBytes Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
IncomingRecords	O número de registros colocados com sucesso no estilhaço ao longo do período especificado. Essa métrica inclui registros das operações PutRecord e PutRecords. As estatísticas mínima, máxima e média representam os registros em uma única operação put para o estilhaço no período especificado. Nome da métrica no nível do fluxo: IncomingRecords Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
IteratorAgeMilliseconds	A idade do último registro em todas as chamadas GetRecords feitas com relação a um estilhaço, medida ao longo do período de tempo especificado. Idade é a diferença entre a hora atual e quando o último registro da chamada GetRecords foi gravado no stream. As estatísticas de mínimo e máximo podem ser usadas para acompanhar o progresso dos aplicativos de consumidores do Kinesis do. Um valor de 0 (zero) indica que os registros lidos estão em completa sincronização com o fluxo. Nome da métrica no nível do fluxo: GetRecords.IteratorAgeMilliseconds Dimensões: StreamName, SardId Estatísticas: Amostras mínima, máxima, média Unidades: Milissegundos
OutgoingBytes	O número de bytes recuperados do estilhaço, medido ao longo do período de tempo especificado. As estatísticas mínima, máxima e média representam os bytes retornados em uma única operação GetRecords ou publicados em um único evento SubscribeToShard para o estilhaço no período especificado. Nome da métrica no nível do fluxo: GetRecords.Bytes Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Bytes
OutgoingRecords	O número de registros recuperados do estilhaço, medido ao longo do período de tempo especificado. As estatísticas mínima, máxima e média representam os registros retornados em uma única operação GetRecords ou publicados em um único evento SubscribeToShard para o estilhaço no período especificado. Nome da métrica no nível do fluxo: GetRecords.Records Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
ReadProvisionedThroughputExceeded	O número de chamadas GetRecords limitadas para o estilhaço ao longo do período especificado. Esta contagem de exceções abrange todas as dimensões dos seguintes limites: 5 leituras por estilhaço por segundo ou 2 MB por segundo por estilhaço. A estatística mais usada para essa métrica é Média. Quando a estatística mínima tem um valor de 1, todos os registros foram limitados ao estilhaço durante o período especificado. Quando a estatística máxima tem um valor de 0 (zero), nenhum registro foi limitado ao estilhaço durante o período especificado. Nome da métrica no nível do fluxo: ReadProvisionedThroughputExceeded Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem
WriteProvisionedThroughputExceeded	O número de registros rejeitados por causa da limitação para o estilhaço ao longo do período especificado. Esta métrica inclui limitação das operações PutRecord e PutRecords e abrange todas as dimensões os seguintes limites: 1.000 registros por segundo por estilhaço ou 1 MB por segundo por estilhaço. A estatística mais usada para essa métrica é Média. Quando a estatística mínima tem um valor diferente de zero, nenhum registro é limitado ao estilhaço durante o período especificado. Quando a estatística máxima tem um valor de 0 (zero), nenhum registro foi limitado ao estilhaço durante o período especificado. Nome da métrica no nível do fluxo: WriteProvisionedThroughputExceeded Dimensões: StreamName, SardId Estatísticas: mínima, máxima, média, média, soma, amostras, amostras Unidades: Contagem

Dimensões para métricas do Amazon Kinesis Data Streams

Dimensão	Descrição
StreamName	O nome do fluxo do Kinesis. Todas as estatísticas disponíveis são filtradas por StreamName.

Métricas recomendadas do Amazon Kinesis Data Streams

Diversas métricas do Amazon Kinesis Data Streams podem ser de interesse específico para os clientes do Kinesis Data Streams do. A lista a seguir oferece métricas recomendadas e suas utilizações.

Métrica	Observações sobre o uso
GetRecords.IteratorAgeMilliseconds	Rastreia a posição de leitura em todos os estilhaços e consumidores no stream. Se a idade de um iterador passa de 50% do período de retenção (por padrão 24 horas, configurável até 7 dias), há risco de perda de dados devido à expiração de registro. Recomendamos usar o CloudWatch Os alarmes do na estatística Máxima para alertá-lo antes de essa perda ser um risco. Para ver um exemplo de cenário que usa essa métrica, consulte Processamento de registros de consumidores ficando atrasados.
ReadProvisionedThroughputExceeded	Quando o processamento do registro do lado do consumidor está ficando para trás, às vezes é difícil saber onde está o gargalo. Use essa métrica para determinar se as leituras estão sendo limitadas por terem ultrapassado os limites de taxa de transferência de leitura. A estatística mais usada para essa métrica é Média.
WriteProvisionedThroughputExceeded	Ela tem a mesma finalidade da métrica ReadProvisionedThroughputExceeded, mas para o lado do produtor (put) do stream. A estatística mais usada para essa métrica é Média.
PutRecord.Success, PutRecords.Success	Recomendamos usar CloudWatch Os alarmes do na estatística Média para indicar se os registros estão falhando no stream. Escolha um ou ambos os tipos put, dependendo do que o produtor usa. Se estiver usando o Kinesis Producer Library (KPL), use PutRecords.Success.
GetRecords.Success	Recomendamos usar CloudWatch Os alarmes do na estatística Média para indicar se os registros estão falhando a partir do stream.

Acessar a Amazon CloudWatch Métricas do Kinesis Data Streams

Você pode monitorar métricas para Kinesis Data Streams usando o CloudWatch console, a linha de comando ou o CloudWatch API. Os procedimentos a seguir mostram como acessar as métricas usando os seguintes métodos:

Para acessar as métricas usando a CloudWatch console

1. Abrir o CloudWatch Console dohttps://console.aws.amazon.com/cloudwatch/.

2. Na barra de navegação, escolha uma Região.

3. No painel de navegação, escolha Metrics (Métricas).

4. No painel CloudWatch Metrics by Category (Métricas do CloudWatch por categoria), selecione Kinesis Metrics (Métricas do Kinesis).

5. Clique na linha relevante para visualizar as estatísticas para o MetricName e o StreamName especificados.

   Observações: A maioria dos nomes estatísticos do console corresponde ao correspondente CloudWatch nomes de métricas listados acima, exceto paraTaxa de transferência de leituraeTaxa de transferência de gravação. Essas estatísticas são calculadas em intervalos de cinco minutos: Taxa de transferência de gravaçãoMonitora oIncomingBytesMétrica do CloudWatch eTaxa de transferência de leituramonitoresGetRecords.Bytes.

6. (Opcional) No painel gráfico, selecione uma estatística e um período e, em seguida, crie uma CloudWatch alarme usando essas configurações.

Para acessar as métricas usando a AWS CLI

Use os comandos list-metrics e get-metric-statistics.

Para acessar as métricas usando a CloudWatch CLI

Use os comandos mon-list-metrics e mon-get-stats.

Para acessar as métricas usando a CloudWatch API

Use as operações ListMetrics e GetMetricsStatistics.