Surveillez la bibliothèque Kinesis Producer avec Amazon CloudWatch

La Kinesis Producer Library (KPL) pour Amazon Kinesis Data Streams publie des CloudWatch métriques Amazon personnalisées en votre nom. Vous pouvez consulter ces statistiques en accédant à la CloudWatch console et en choisissant Mesures personnalisées. Pour plus d'informations sur les métriques personnalisées, consultez Publier des métriques personnalisées dans le guide de CloudWatch l'utilisateur Amazon.

Des frais nominaux sont facturés pour les statistiques téléchargées CloudWatch par le KPL ; en particulier, les frais Amazon CloudWatch Custom Metrics et Amazon CloudWatch API Requests s'appliquent. Pour plus d'informations, consultez Amazon CloudWatch Pricing. La collecte de statistiques locales n'entraîne aucun CloudWatch frais.

Métriques, dimensions et espaces de noms

Vous pouvez spécifier un nom d'application lors du lancement duKPL, qui est ensuite utilisé dans le cadre de l'espace de noms lors du téléchargement des métriques. Ceci est facultatif ; KPL fournit une valeur par défaut si aucun nom d'application n'est défini.

Vous pouvez également configurer le KPL pour ajouter des dimensions supplémentaires arbitraires aux métriques. Cela est utile si vous souhaitez intégrer des données plus précises à vos indicateurs. CloudWatch Par exemple, vous pouvez ajouter le nom d'hôte comme dimension pour identifier les répartitions de charge inégales dans votre flotte. Tous les paramètres de KPL configuration étant immuables, vous ne pouvez pas modifier ces dimensions supplémentaires une fois l'KPLinstance initialisée.

Niveau métrique et granularité

Il existe deux options pour contrôler le nombre de métriques téléchargées vers CloudWatch :

niveau de métrique

Le niveau de métrique sert à mesurer approximativement l'importance d'une métrique. Chaque métrique se voit attribuer un niveau. Lorsque vous définissez un niveau, les métriques dont les niveaux sont inférieurs ne sont pas envoyées à CloudWatch. Les niveaux sont : NONE, SUMMARY et DETAILED. Le paramètre par défaut est DETAILED ; c'est-à-dire, toutes les métriques. NONE signifie qu'il n'y a pas de métriques du tout, donc aucune métrique n'est réellement affectée à ce niveau.

granularité

La granularité contrôle si la même métrique est émise à des niveaux de granularité supplémentaires. Les niveaux sont : GLOBAL, STREAM et SHARD. La valeur par défaut est SHARD, qui contient les mesures les plus granulaires.

Lorsque SHARD est choisi, les métriques sont émises avec le nom du flux et l'ID de partition comme dimensions. En outre, la même métrique est également émise avec uniquement la dimension nom du flux et sans le nom du flux. Cela signifie que, pour une métrique donnée, deux flux contenant chacun deux partitions produiront sept CloudWatch métriques : une pour chaque partition, une pour chaque flux et une pour l'ensemble ; toutes décrivant les mêmes statistiques mais à des niveaux de granularité différents. Ces métriques sont illustrées dans le diagramme ci-dessous.

Les différents niveaux de granularité forment une hiérarchie et toutes les métriques du système forment des arborescences, partant des noms de métrique :

MetricName (GLOBAL):           Metric X                    Metric Y
                                  |                           |
                           -----------------             ------------
                           |               |             |          |
StreamName (STREAM):    Stream A        Stream B      Stream A   Stream B
                           |               |
                        --------        ---------
                        |      |        |       |
ShardID (SHARD):     Shard 0 Shard 1  Shard 0 Shard 1

Les métriques ne sont pas toutes disponibles au niveau de la partition. Certaines sont disponibles au niveau du flux ou globales par nature. Elles ne sont pas générées au niveau de la partition même si vous avez activé les métriques au niveau de la partition (Metric Y dans le diagramme précédent).

Lorsque vous spécifiez une dimension supplémentaire, vous devez fournir des valeurs pourtuple:<DimensionName, DimensionValue, Granularity>. La granularité sert à déterminer l'emplacement auquel la dimension personnalisée est insérée dans la hiérarchie : GLOBAL signifie que la dimension supplémentaire est ajoutée après le nom de la métrique, STREAM signifie qu'elle est insérée après le nom du flux, et SHARD signifie qu'elle est insérée après l'ID de partition. Si plusieurs dimensions supplémentaires sont indiquées par niveau de granularité, elles sont insérées dans l'ordre donné.

Accès local et CloudWatch téléchargement sur Amazon

Les métriques de l'KPLinstance actuelle sont disponibles localement en temps réel ; vous pouvez les interroger KPL à tout moment pour les obtenir. Le calcule KPL localement la somme, la moyenne, le minimum, le maximum et le nombre de chaque métrique, comme dans CloudWatch.

Vous pouvez obtenir des statistiques cumulatives du début du programme au moment présent, ou utiliser une fenêtre dynamique sur les dernières secondes N, où N est un nombre entier compris entre 1 et 60.

Toutes les statistiques peuvent être téléchargées vers CloudWatch. Cela est particulièrement utile pour regrouper les données figurant sur plusieurs hôtes, surveiller et produire des alarmes. Cette fonctionnalité n'est pas disponible localement.

Comme indiqué précédemment, vous pouvez sélectionner les métriques à charger avec les paramètres niveau de métrique et granularité. Les métriques qui ne sont pas chargées sont disponibles localement.

Le chargement individuel des points de données n'est pas acceptable, car il peut produire des millions de chargements par seconde, si le trafic est élevé. C'est pourquoi il KPL agrège les métriques localement dans des compartiments d'une minute et télécharge un objet de statistiques CloudWatch une fois par minute, par métrique activée.

Liste des métriques

Métrique	Description
UserRecordsReceived	Nombre d'enregistrements utilisateur logiques reçus par le KPL noyau pour les opérations de vente. Non disponible au niveau de la partition. Niveau de métrique : Detailed Unité : nombre
UserRecordsPending	Echantillon périodique indiquant le nombre d'enregistrements utilisateur actuellement en attente. Un enregistrement est en attente s'il est soit actuellement mis en mémoire tampon et en attente d'envoi, soit envoyé et envoyé en cours de transfert au service principal. Non disponible au niveau de la partition. KPLIl fournit une méthode dédiée pour récupérer cette métrique au niveau mondial afin que les clients puissent gérer leur taux de vente. Niveau de métrique : Detailed Unité : nombre
UserRecordsPut	Nombre d'enregistrements utilisateur logiques placés avec succès. Ne compte KPL pas les enregistrements ayant échoué pour cette métrique. Ainsi, la moyenne correspond au taux de réussite, le nombre correspond au nombre total de tentatives, et la différence entre le nombre et la somme correspond au nombre d'échecs. Niveau de métrique : Summary Unité : nombre
UserRecordsDataPut	Nombre d'octets des enregistrements utilisateur logique placés avec succès. Niveau de métrique : Detailed Unité : octets
KinesisRecordsPut	Nombre d'enregistrements Kinesis Data Streams placés avec succès (chaque enregistrement Kinesis Data Streams peut contenir plusieurs enregistrements utilisateur). La KPL sortie est un zéro pour les enregistrements ayant échoué. Ainsi, la moyenne correspond au taux de réussite, le nombre correspond au nombre total de tentatives, et la différence entre le nombre et la somme correspond au nombre d'échecs. Niveau de métrique : Summary Unité : nombre
KinesisRecordsDataPut	Octets au sein des enregistrements Kinesis Data Streams. Niveau de métrique : Detailed Unité : octets
ErrorsByCode	Nombre de chaque type de code d'erreur. C'est une autre dimension de ErrorCode, en plus des dimensions normales comme StreamName et ShardId. Les erreurs ne peuvent pas toutes être remontées dans une partition. Les erreurs qui ne peuvent pas être remontées ne sont émises qu'au niveau du flux ou au niveau général. Cette métrique capture les informations sur les éléments comme les limites, les modifications de mappage de partition, les défaillances internes, l'indisponibilité de service, les dépassements de délais; etc. Les erreurs Kinesis Data API Streams sont comptabilisées une fois par enregistrement Kinesis Data Streams. Les enregistrements utilisateur multiples dans un enregistrement Kinesis Data Streams ne génèrent pas de nombres multiples. Niveau de métrique : Summary Unité : nombre
AllErrors	Cette métrique est déclenchée par les mêmes erreurs que Errors by Code (Erreurs par code), mais ne fait pas la distinction entre les différents types. Elle est très utile pour la surveillance générale du taux d'erreurs sans nécessiter la somme manuelle des chiffres des différents types d'erreurs. Niveau de métrique : Summary Unité : nombre
RetriesPerRecord	Nombre de tentatives effectuées par enregistrement utilisateur. Zéro est la valeur émise pour les enregistrements qui ont réussi dès la première tentative. Les données sont émises au moment où un enregistrement utilisateur se termine (lorsqu'il a réussi ou qu'il ne peut plus être réessayé). Si l'enregistrement time-to-live est une valeur importante, cette métrique peut être retardée de manière significative. Niveau de métrique : Detailed Unité : nombre
BufferingTime	Le délai entre l'arrivée d'un enregistrement utilisateur KPL et son départ pour le backend. Ces informations sont renvoyées à l'utilisateur pour chaque enregistrement par, mais sont également disponibles sous forme de statistique groupée. Niveau de métrique : Summary Unité : millisecondes
Request Time	Délai nécessaire pour exécuter PutRecordsRequests. Niveau de métrique : Detailed Unité : millisecondes
User Records per Kinesis Record	Nombre d'enregistrements utilisateur logiques regroupés en un seul enregistrement Kinesis Data Streams. Niveau de métrique : Detailed Unité : nombre
Amazon Kinesis Records per PutRecordsRequest	Nombre d'enregistrements Kinesis Data Streams logiques regroupés en un seul PutRecordsRequest. Non disponible au niveau de la partition. Niveau de métrique : Detailed Unité : nombre
User Records per PutRecordsRequest	Nombre total d'enregistrements utilisateur contenus dans une PutRecordsRequest. Il équivaut à peu près au produit des deux métriques précédentes. Non disponible au niveau de la partition. Niveau de métrique : Detailed Unité : nombre