Surveillance du service Amazon Kinesis Data Streams avec Amazon CloudWatch

Amazon Kinesis Data Streams et Amazon CloudWatch sont intégrés ; vous pouvez ainsi collecter, afficher et analyser des métriques CloudWatch pour vos flux de données Kinesis. Par exemple, pour suivre l'utilisation de la partition, vous pouvez surveiller les métriques IncomingBytes et OutgoingBytes, et les comparer au nombre de partitions dans le flux.

Les métriques que vous configurez pour vos flux sont automatiquement collectées et envoyées à CloudWatch toutes les minutes. Les métriques sont archivées pendant deux semaines ; après cette période, les données sont supprimées.

Le tableau suivant décrit la surveillance de base au niveau des flux et la surveillance avancée au niveau des partitions pour les flux de données Kinesis.

Type	Description
Basique (au niveau du flux)	Les données au niveau des flux sont envoyées automatiquement et gratuitement toutes les minutes.
Avancée (au niveau des partitions)	Les données au niveau des flux sont envoyées toutes les minutes avec un coût additionnel. Pour obtenir ce niveau de données, vous devez l'activer spécifiquement pour le flux à l'aide de l'opération EnableEnhancedMonitoring. Pour de plus amples informations sur la tarification, consultez la page produit d'Amazon CloudWatch.

Métriques et dimensions d'Amazon Kinesis Data Streams

Kinesis Data Streams envoie des métriques à CloudWatch à deux niveaux : au niveau du flux et, éventuellement, au niveau de la partition. Les métriques de niveau flux sont destinées aux cas d'utilisation de surveillance les plus courants dans des conditions normales. Les métriques au niveau des partitions concernent des tâches de surveillance spécifiques généralement associées au dépannage des problèmes et sont activées à l'aide de l'opération EnableEnhancedMonitoring.

Pour comprendre les statistiques collectées à partir des métriques CloudWatch, consultez Statistiques CloudWatch dans le Guide de l'utilisateur Amazon CloudWatch.

Métriques de base au niveau des flux

L'espace de noms AWS/Kinesis inclut les métriques au niveau des flux suivantes.

Une fois par minute, Kinesis Data Streams envoie ces métriques au niveau des flux à CloudWatch. Ces métriques sont toujours disponibles.

Métrique	Description
GetRecords.Bytes	Nombre d'octets extraits du flux Kinesis mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets dans une même opération GetRecords pour le flux dans la période déterminée. Nom de la métrique au niveau des partitions : OutgoingBytes Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
GetRecords.IteratorAge	Cette métrique est obsolète. Utilisez GetRecords.IteratorAgeMilliseconds.
GetRecords.IteratorAgeMilliseconds	L'âge du dernier enregistrement parmi tous les appels GetRecords effectués sur un flux Kinesis, mesuré pendant la période spécifiée. L'âge est la différence entre l'heure actuelle et le moment où le dernier enregistrement de l'appel GetRecords a été écrit dans le flux. Les statistiques Minimum et Maximum peuvent être utilisées pour suivre l'avancement des applications consommateur Kinesis. Une valeur de zéro indique que les enregistrements en cours de lecture sont totalement absorbés par le flux. Nom de la métrique au niveau des partitions : IteratorAgeMilliseconds Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes
GetRecords.Latency	Délai nécessaire par opération GetRecords, mesurée pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes
GetRecords.Records	Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans une même opération GetRecords pour le flux dans la période déterminée. Nom de la métrique au niveau des partitions : OutgoingRecords Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
GetRecords.Success	Nombre d'opérations GetRecords réussies par flux mesurées pendant la période spécifiée. Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre
IncomingBytes	Nombre d'octets placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations PutRecord et PutRecords. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets dans une même opération put pour le flux dans la période déterminée. Nom de la métrique au niveau des partitions : IncomingBytes Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
IncomingRecords	Nombre d'enregistrements placés avec succès dans le flux Kinesis au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations PutRecord et PutRecords. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans une même opération put pour le flux dans la période déterminée. Nom de la métrique au niveau des partitions : IncomingRecords Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
PutRecord.Bytes	Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération PutRecord pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
PutRecord.Latency	Délai nécessaire par opération PutRecord, mesurée pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes
PutRecord.Success	Nombre d'opérations PutRecord réussies par flux Kinesis mesurées pendant la période spécifiée. La moyenne représente le pourcentage d'opérations d'écriture réussies dans un flux. Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre
PutRecords.Bytes	Nombre d'octets placés dans le flux Kinesis à l'aide de l'opération PutRecords pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
PutRecords.Latency	Délai nécessaire par opération PutRecords, mesurée pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, moyenne Unités : millisecondes
PutRecords.Records	Cette métrique est obsolète. Utilisez PutRecords.SuccessfulRecords. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
PutRecords.Success	Nombre d'opérations PutRecords où au moins un enregistrement a abouti, par flux Kinesis, mesurées pendant la période spécifiée. Dimensions : StreamName Statistiques : Moyenne, Somme, Exemples Unités : nombre
PutRecords.TotalRecords	Nombre total d'enregistrements envoyés à une opération PutRecords par flux de données Kinesis, mesuré sur la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
PutRecords.SuccessfulRecords	Nombre d'enregistrements réussis dans une opération PutRecords par flux de données Kinesis mesurés pendant la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
PutRecords.FailedRecords	Nombre d'enregistrements rejetés à cause de défaillances internes d'une opération PutRecords par flux de données Kinesis, mesuré sur la période spécifiée. Des défaillances internes occasionnelles peuvent survenir et doivent être réessayées. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
PutRecords.ThrottledRecords	Nombre d'enregistrements rejetés à cause de limitations dans une opération PutRecords par flux de données Kinesis, mesuré sur la période spécifiée. Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
ReadProvisionedThroughputExceeded	Nombre d'appels GetRecords limités pour le flux au cours de la période spécifiée. La statistique la plus couramment utilisée pour cette métrique est Moyenne. Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Nom de la métrique au niveau des partitions : ReadProvisionedThroughputExceeded Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
SubscribeToShard.RateExceeded	Cette métrique est émise lorsqu'une nouvelle tentative d'abonnement échoue, car il existe déjà un abonnement actif par le même consommateur ou car vous dépassez le nombre d'appels par seconde autorisés pour cette opération. Dimensions : StreamName, ConsumerName
SubscribeToShard.Success	Cette métrique enregistre si l'abonnement SubscribeToShard a été correctement établi. L'abonnement n'est actif que pendant 5 minutes maximum. Par conséquent, cette métrique est émise au moins une fois toutes les 5 minutes. Dimensions : StreamName, ConsumerName
SubscribeToShardEvent.Bytes	Nombre d'octets reçus de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les octets publiés dans un seul événement pour la période déterminée. Nom de la métrique au niveau des partitions : OutgoingBytes Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
SubscribeToShardEvent.MillisBehindLatest	Différence entre l'heure actuelle et le moment où le dernier enregistrement de l'appel à l'événement SubscribeToShard a été écrit dans le flux. Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes
SubscribeToShardEvent.Records	Nombre d'enregistrements reçus de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans un seul événement pour la période déterminée. Nom de la métrique au niveau des partitions : OutgoingRecords Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
SubscribeToShardEvent.Success	Cette métrique est émise chaque fois qu'un événement est publié avec succès. Elle est émise uniquement lorsqu'il existe un abonnement actif. Dimensions : StreamName, ConsumerName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
WriteProvisionedThroughputExceeded	Nombre d'enregistrements rejetés à cause de la limitation du flux au cours de la période spécifiée. Cette métrique inclut la limitation des opérations PutRecord et PutRecords. La statistique la plus couramment utilisée pour cette métrique est Moyenne. Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour le flux au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour le flux au cours de la période spécifiée. Nom de la métrique au niveau des partitions : WriteProvisionedThroughputExceeded Dimensions : StreamName Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre

Métriques avancées au niveau des partitions

L'espace de noms AWS/Kinesis inclut les métriques suivantes au niveau des partitions.

Kinesis envoie les métriques suivantes au niveau des partitions à CloudWatch toutes les minutes. Chaque dimension de métrique crée 1 métrique CloudWatch et effectue environ 43 200 appels d'API PutMetricData par mois. Ces métriques ne sont pas activées par défaut. Des frais sont associés aux métriques améliorées émises depuis Kinesis. Pour plus d'informations, consultez la Tarification Amazon CloudWatch sous l'en-tête Métriques personnalisées Amazon CloudWatch. Les frais sont fournis par partition par métrique par mois.

Métrique	Description
IncomingBytes	Nombre d'octets placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'octets des opérations PutRecord et PutRecords. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets dans une même opération put pour la partition dans la période déterminée. Nom de la métrique au niveau des flux : IncomingBytes Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
IncomingRecords	Nombre d'enregistrements placés avec succès dans la partition au cours de la période spécifiée. Cette métrique inclut le nombre d'enregistrements des opérations PutRecord et PutRecords. Les statistiques Minimum, Maximum et Moyenne représentent les enregistrements dans une même opération put pour la partition dans la période déterminée. Nom de la métrique au niveau des flux : IncomingRecords Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
IteratorAgeMilliseconds	Age du dernier enregistrement parmi tous les appels GetRecords effectués sur une partition, mesuré pendant la période spécifiée. L'âge est la différence entre l'heure actuelle et le moment où le dernier enregistrement de l'appel GetRecords a été écrit dans le flux. Les statistiques Minimum et Maximum peuvent être utilisées pour suivre l'avancement des applications consommateur Kinesis. Une valeur de 0 (zéro) indique que les enregistrements en cours de lecture sont totalement absorbés par le flux. Nom de la métrique au niveau des flux : GetRecords.IteratorAgeMilliseconds Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Exemples Unités : millisecondes
OutgoingBytes	Nombre d'octets extraits de la partition, mesuré pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'octets renvoyés dans une même opération GetRecords ou publiés dans un seul événement SubscribeToShard pour la partition dans la période déterminée. Nom de la métrique au niveau des flux : GetRecords.Bytes Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : octets
OutgoingRecords	Nombre d'enregistrements extraits de la partition, mesurés pendant la période spécifiée. Les statistiques Minimum, Maximum et Moyenne représentent le nombre d'enregistrements renvoyés dans une même opération GetRecords ou publiés dans un seul événement SubscribeToShard pour la partition dans la période déterminée. Nom de la métrique au niveau des flux : GetRecords.Records Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
ReadProvisionedThroughputExceeded	Nombre d'appels GetRecords limités pour la partition au cours de la période spécifiée. Ce nombre d'exceptions couvre toutes les dimensions des limites suivantes : 5 lectures par partition par seconde ou 2 Mo par seconde par partition. La statistique la plus couramment utilisée pour cette métrique est Moyenne. Lorsque la statistique Minimum a une valeur de 1, tous les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Nom de la métrique au niveau des flux : ReadProvisionedThroughputExceeded Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre
WriteProvisionedThroughputExceeded	Nombre d'enregistrements rejetés à cause de la limitation de la partition au cours de la période spécifiée. Cette métrique inclut la limitation des opérations PutRecord et PutRecords et couvre toutes les dimensions des limites suivantes : 1 000 enregistrements par seconde par partition ou 1 Mo par seconde par partition. La statistique la plus couramment utilisée pour cette métrique est Moyenne. Lorsque la statistique Minimum a une valeur différente de zéro, les enregistrements ont été limités pour la partition au cours de la période spécifiée. Lorsque la statistique Maximum a une valeur de 0 (zéro), aucun enregistrement n'a été limité pour la partition au cours de la période spécifiée. Nom de la métrique au niveau des flux : WriteProvisionedThroughputExceeded Dimensions : StreamName, ShardId Statistiques : Minimum, Maximum, Moyenne, Somme, Exemples Unités : nombre

Dimensions pour les métriques Amazon Kinesis Data Streams

Dimension	Description
StreamName	Nom du flux Kinesis. Toutes les statistiques disponibles sont filtrées par StreamName.

Métriques Amazon Kinesis Data Streams recommandées

Certains indicateurs Amazon Kinesis Data Streams peuvent particulièrement intéresser les clients de Kinesis Data Streams. La liste suivante contient les métriques recommandées et leurs utilisations.

Métrique	Notes d'utilisation
GetRecords.IteratorAgeMilliseconds	Suit la position de lecture sur toutes les partitions et applications consommateur du flux. Si l'ancienneté de l'itérateur dépasse 50 % de la période de conservation (par défaut 24 heures, configurable jusqu'à 7 jours), il y a un risque de perte de données suite à l'expiration des enregistrements. Nous vous recommandons d'utiliser les alarmes CloudWatch sur la statistique Maximale pour vous avertir avant que cette perte soit un risque. Pour obtenir un exemple de scénario qui utilise cette métrique, consultez la page Traitement des enregistrements consommateur en retard.
ReadProvisionedThroughputExceeded	Lorsque le traitement de votre enregistrement côté consommateur est en retard, il est parfois difficile de savoir où se situe le goulot d'étranglement. Utilisez cette métrique pour déterminer si vos lectures sont limitées suite au dépassement de vos limites de débit de lecture. La statistique la plus couramment utilisée pour cette métrique est Moyenne.
WriteProvisionedThroughputExceeded	Elle a le même objectif que la métrique ReadProvisionedThroughputExceeded mais du côté producteur (put) du flux. La statistique la plus couramment utilisée pour cette métrique est Moyenne.
PutRecord.Success, PutRecords.Success	Nous vous recommandons d'utiliser les alarmes CloudWatch sur la statistique Moyenne pour vous avertir lorsque les enregistrements ne parviennent pas dans le flux. Sélectionnez un type put ou les deux en fonction de ce que votre producteur utilise. Si vous utilisez la bibliothèque producteur Kinesis (KPL), utilisez PutRecords.Success.
GetRecords.Success	Nous vous recommandons d'utiliser les alarmes CloudWatch sur la statistique Moyenne pour vous avertir lorsque les enregistrements ne vous parviennent pas depuis le flux.

Accéder aux métriques Amazon CloudWatch pour Kinesis Data Streams

Vous pouvez surveiller les métriques pour Kinesis Data Streams à l'aide de la console CloudWatch, de la ligne de commande ou de l'API CloudWatch. Les procédures suivantes vous montrent comment accéder aux métriques à l'aide de ces différentes méthodes.

Accéder aux métriques à l'aide de la console CloudWatch

1. Ouvrez la console CloudWatch à l'adresse https://console.aws.amazon.com/ CloudWatch/.

2. Sélectionnez une région dans la barre de navigation.

3. Dans le panneau de navigation, sélectionnez ‎Métriques.

4. Dans le volet CloudWatch Metrics by Category (Métriques CloudWatch par catégorie), choisissez Kinesis Metrics (Métriques Kinesis).

5. Cliquez sur la ligne appropriée pour afficher les statistiques pour le MetricName et le StreamName spécifiés.

   Remarque : La plupart des noms de statistiques de la console correspondent aux noms de métrique CloudWatch répertoriés ci-dessus, à l'exception de Débit de lecture et Débit d'écriture. Ces statistiques sont calculées sur des intervalles de 5 minutes : Débit d'écriture surveille la métrique CloudWatch IncomingBytes, et Débit de lecture surveille GetRecords.Bytes.

6. (Facultatif) Dans le volet graphique, sélectionnez une statistique et une période de temps, puis créez une alarme CloudWatch grâce à ces paramètres.

Pour accéder aux métriques grâce à AWS CLI

Utilisez les commandes list-metrics et get-metric-statistics.

Pour accéder aux métriques à l'aide de l'interface de ligne de commande CloudWatch

Utilisez les commandes mon-list-metrics et mon-get-stats.

Pour accéder aux métriques à l'aide de l'API CloudWatch

Utilisez les opérations ListMetrics et GetMetricStatistics.