Monitorar a Kinesis Producer Library com o Amazon CloudWatch

A Kinesis Producer Library (KPL) para o Amazon Kinesis Data Streams publica métricas personalizadas do Amazon CloudWatch em seu nome. Você pode visualizar essas métricas navegando até o console do CloudWatch e escolhendo Métricas personalizadas. Para obter mais informações sobre métricas personalizadas, consulte Publicar métricas personalizadas no Guia do usuário do Amazon CloudWatch.

Há uma cobrança nominal para métricas carregadas por upload no CloudWatch pela KPL. Aplicam-se cobranças especificamente para métricas personalizadas do Amazon CloudWatch e solicitações de API do Amazon CloudWatch. Para obter mais informações, consulte Amazon CloudWatch Pricing (Preços do Amazon CloudWatch). A coleta de métricas locais não gera cobranças do CloudWatch.

Métricas, dimensões e namespaces

Você pode especificar um nome de aplicação ao ativar a KPL, que será usado como parte do namespace durante o carregamento de métricas. Esse passo é opcional. A KPL atribuirá um valor padrão se o nome da aplicação não for definido.

Você também pode configurar a KPL para adicionar dimensões arbitrárias às métricas. Isso é útil quando você deseja ter dados mais refinados nas métricas do CloudWatch. Por exemplo, você pode adicionar o nome de host como uma dimensão, o que permite que você identifique distribuições de carga irregulares na frota. Como todas as definições de configuração da KPL são imutáveis, não será possível alterar essas dimensões adicionais depois que a instância da KPL for inicializada.

Granularidade e nível de métrica

Há duas opções para controlar o número de métricas carregadas para o CloudWatch:

nível de métrica

Este é um indicador aproximado da importância de uma métrica. Cada métrica é atribuída a um nível. Quando você define um nível, as métricas nos níveis inferiores não são enviadas ao CloudWatch. Os níveis são NONE, SUMMARY e DETAILED. A configuração padrão é DETAILED. Ou seja, todas as métricas. NONE significa que não há métricas, de modo que nenhuma métrica é atribuída a esse nível.

granularidade

Controla se a mesma métrica é emitida em níveis adicionais de granularidade. Os níveis são GLOBAL, STREAM e SHARD. A configuração padrão é SHARD, que contém as métricas mais granulares.

Quando SHARD é escolhida, as métricas são emitidas com o nome do stream e o ID do estilhaço como dimensões. Além disso, a mesma métrica também é emitida com somente a dimensão do nome do stream, e a métrica sem o nome do stream. Isso significa que, para uma métrica específica, dois fluxos com dois fragmentos cada produzirão sete métricas do CloudWatch: uma para cada fragmento, um para cada fluxo e uma geral. Todas as métricas descrevem as mesmas estatísticas, mas em diferentes níveis de granularidade. Para ter um esclarecimento, consulte o diagrama abaixo.

Os diferentes níveis de granularidade formam uma hierarquia, e todas as métricas no sistema formam árvores, enraizadas nos nomes da métrica:

MetricName (GLOBAL):           Metric X                    Metric Y
                                  |                           |
                           -----------------             ------------
                           |               |             |          |
StreamName (STREAM):    Stream A        Stream B      Stream A   Stream B
                           |               |
                        --------        ---------
                        |      |        |       |
ShardID (SHARD):     Shard 0 Shard 1  Shard 0 Shard 1

Nem todas as métricas estão disponíveis no nível de estilhaço; algumas são de nível de stream ou globais por natureza. Elas não são produzidas no nível de estilhaço, mesmo se você tiver habilitado as métricas nesse nível (Metric Y no diagrama acima).

Quando você especifica uma dimensão adicional, precisa fornecer valores para tuple:<DimensionName, DimensionValue, Granularity>. A granularidade é usada para determinar onde a dimensão personalizada é inserida na hierarquia: GLOBAL significa que a dimensão adicional é inserida após o nome da métrica, STREAM significa que ela é inserida após o nome do stream e SHARD significa que ela é inserida depois do ID de estilhaço. Se várias dimensões adicionais são fornecidas por nível de granularidade, elas são inseridas na ordem determinada.

Acesso local e upload do Amazon CloudWatch

As métricas para a instância atual da KPL estão disponíveis localmente em tempo real, e é possível consultar a KPL a qualquer momento para obtê-las. A KPL calcula localmente a soma, a média, o mínimo, o máximo e a contagem de cada métrica, como no CloudWatch.

Você pode obter estatísticas que são cumulativas desde o início do programa até o presente momento ou usar uma janela contínua ao longo dos últimos N segundos, em que N é um número inteiro entre 1 e 60.

Todas as métricas estão disponíveis para carregamento no CloudWatch. Isso é especialmente útil para agregar dados em vários hosts, monitoramentos e alarmes. Essa funcionalidade não está disponível localmente.

Conforme descrito anteriormente, é possível selecionar de quais métricas fazer upload com as configurações de nível de métrica e granularidade. As métricas que não são carregadas estão disponíveis localmente.

Carregar pontos de dados individualmente é insustentável, porque isso pode produzir milhões de carregamentos por segundo se o tráfego for alto. Por esse motivo, a KPL agrega métricas localmente em buckets de um minuto e faz upload de um objeto de estatística no CloudWatch uma vez por minuto, por métrica habilitada.

Lista de métricas

Métrica	Descrição
UserRecordsReceived	Contagem de registros de usuário lógicos recebidos pelo núcleo da KPL para operações put. Não disponível no nível de estilhaço. Nível de métrica: detalhado Unidade: Contagem
UserRecordsPending	Exemplo periódico de quantos registros de usuário estão pendentes atualmente. Um registro está pendente se está atualmente em buffer e esperando para ser enviado ou se foi enviado e está em trânsito para o serviço de back-end. Não disponível no nível de estilhaço. A KPL oferece um método dedicado para recuperar essa métrica global para permitir que os clientes gerenciem sua taxa de colocação. Nível de métrica: detalhado Unidade: Contagem
UserRecordsPut	Contagem de quantos registros de usuário lógicos foram colocados com êxito. A KPL não conta registros com falha para essa métrica. Isso permite que a média ofereça a taxa de sucesso, que a contagem ofereça o total de tentativas e que a diferença entre a contagem e a soma ofereça o número de falhas. Nível de métrica: resumo Unidade: Contagem
UserRecordsDataPut	Bytes nos registros de usuário lógicos colocados com êxito. Nível de métrica: detalhado Unidade: bytes
KinesisRecordsPut	Contagem de registros do Kinesis Data Streams colocados com êxito (cada registro do Kinesis Data Streams pode conter vários registros de usuário). A KPL retorna zero para registros com falha. Isso permite que a média ofereça a taxa de sucesso, que a contagem ofereça o total de tentativas e que a diferença entre a contagem e a soma ofereça o número de falhas. Nível de métrica: resumo Unidade: Contagem
KinesisRecordsDataPut	Bytes em registros do Kinesis Data Streams. Nível de métrica: detalhado Unidade: bytes
ErrorsByCode	Contagem de cada tipo de código de erro. Apresenta uma dimensão adicional de ErrorCode, além de dimensões normais, como StreamName e ShardId. Nem todo erro pode ser rastreado até um estilhaço. Os erros que não podem ser rastreados são apenas emitidos nos níveis globais ou de stream. Essa métrica captura informações sobre fatores como limitações, alterações no mapa de estilhaços, falhas internas, serviço indisponível, limites de tempo e assim por diante. Os erros de API do Kinesis Data Streams são contados uma vez por registro do Kinesis Data Streams. Vários registros de usuário em um registro do Kinesis Data Streams não geram várias contagens. Nível de métrica: resumo Unidade: Contagem
AllErrors	Isso é acionado pelos mesmos erros de Erros por código, mas não faz distinção entre tipos. Isso é útil como um monitor geral da taxa de erros sem exigir uma soma manual das contagens de todos os tipos diferentes de erros. Nível de métrica: resumo Unidade: Contagem
RetriesPerRecord	Número de tentativas realizadas por registro de usuário. Zero é emitido para registros que são bem-sucedidos em uma tentativa. Os dados são emitidos no momento em que um usuário termina (quando o registro é bem-sucedido ou não pode mais ser repetido). Se o tempo de vida do registro é um valor grande, essa métrica pode ficar significativamente atrasada. Nível de métrica: detalhado Unidade: Contagem
BufferingTime	O tempo entre a chegada de um registro de usuário na KPL e sua saída para o back-end. Essas informações são transmitidas de volta ao usuário por registro, mas também estão disponíveis como estatística agregada. Nível de métrica: resumo Unidade: milissegundos
Request Time	O tempo necessário para executar PutRecordsRequests. Nível de métrica: detalhado Unidade: milissegundos
User Records per Kinesis Record	O número de registros de usuário lógicos agregados em um único registro do Kinesis Data Streams. Nível de métrica: detalhado Unidade: Contagem
Amazon Kinesis Records per PutRecordsRequest	O número de registros do Kinesis Data Streams agregados em um único PutRecordsRequest. Não disponível no nível de estilhaço. Nível de métrica: detalhado Unidade: Contagem
User Records per PutRecordsRequest	O número total de registros de usuário contidos em um PutRecordsRequest. Isso é equivalente aproximadamente ao produto das últimas duas métricas. Não disponível no nível de estilhaço. Nível de métrica: detalhado Unidade: Contagem