Métriques et dimensions dans le service géré pour Apache Flink

Lorsque votre service géré pour Apache Flink traite une source de données, le service géré pour Apache Flink communique les mesures et dimensions suivantes à Amazon. CloudWatch

Métriques d'application

Mesure	Unité	Description	Niveau	Notes d’utilisation
backPressuredTimeMsPerSecond*	Millisecondes	Durée (en millisecondes) pendant laquelle cette tâche ou cet opérateur subit une contre-pression par seconde.	Tâche, opérateur, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Ces mesures peuvent être utiles pour identifier les goulots d’étranglement d’une application.
busyTimeMsPerSecond*	Millisecondes	Durée (en millisecondes) pendant laquelle cette tâche ou cet opérateur est occupé (ni inactif ni en train de subir une contre-pression) par seconde. Peut être NaN, si la valeur n’a pas pu être calculée.	Tâche, opérateur, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Ces mesures peuvent être utiles pour identifier les goulots d’étranglement d’une application.
cpuUtilization	Pourcentage	Pourcentage global d’utilisation du processus dans les gestionnaires de tâches. Par exemple, s’il existe cinq gestionnaires de tâches, le service géré pour Apache Flink publie cinq échantillons de cette métrique par intervalle de reporting.	Application	Vous pouvez utiliser cette métrique pour surveiller l’utilisation minimale, moyenne et maximale du processeur dans votre application. La CPUUtilization métrique prend uniquement en compte l'utilisation du processeur par le processus TaskManager JVM exécuté dans le conteneur.
containerCPUUtilization	Pourcentage	Pourcentage global d’utilisation du processeur dans les conteneurs du gestionnaire de tâches du cluster d’applications Flink. Par exemple, s'il existe cinq gestionnaires de tâches, il y a donc cinq TaskManager conteneurs et Managed Service for Apache Flink publie 2* cinq échantillons de cette métrique par intervalle de rapport d'une minute.	Application	Calculé par conteneur comme suit : Temps CPU total (en secondes) consommé par le conteneur* 100/ Limite du processeur du conteneur (en CPUs /secondes) La CPUUtilization métrique prend uniquement en compte l'utilisation du processeur par le processus TaskManager JVM exécuté dans le conteneur. D’autres composants s’exécutent en dehors de JVM dans le même conteneur. La métrique containerCPUUtilization vous donne une image plus complète, y compris tous les processus en termes d’épuisement du processeur au niveau du conteneur et les échecs qui en résultent.
containerMemoryUtilization	Pourcentage	Pourcentage global d’utilisation de la mémoire dans les conteneurs du gestionnaire de tâches du cluster d’applications Flink. Par exemple, s'il existe cinq gestionnaires de tâches, il y a donc cinq TaskManager conteneurs et Managed Service for Apache Flink publie 2* cinq échantillons de cette métrique par intervalle de rapport d'une minute.	Application	Calculé par conteneur comme suit : Utilisation de la mémoire du conteneur (octets) x 100/limite de mémoire du conteneur selon les spécifications de déploiement du pod (en octets) Les ManagedMemoryUtilzations métriques HeapMemoryUtilization et ne prennent en compte que des mesures de mémoire spécifiques, telles que l'utilisation de la mémoire par segment de mémoire de la TaskManager JVM ou la mémoire gérée (utilisation de la mémoire en dehors de la JVM pour des processus natifs tels que RockSDB State Backend). La métrique containerMemoryUtilization vous donne une image plus complète en incluant la mémoire de travail, qui permet de mieux suivre l’épuisement total de la mémoire. Une fois épuisée, elle se retrouvera dans Out of Memory Error la TaskManager capsule.
containerDiskUtilization	Pourcentage	Pourcentage global d’utilisation du disque dans les conteneurs du gestionnaire de tâches du cluster d’applications Flink. Par exemple, s'il existe cinq gestionnaires de tâches, il y a donc cinq TaskManager conteneurs et Managed Service for Apache Flink publie 2* cinq échantillons de cette métrique par intervalle de rapport d'une minute.	Application	Calculé par conteneur comme suit : Utilisation du disque en octets* 100/limite de disque pour le conteneur en octets Pour les conteneurs, cela représente l’utilisation du système de fichiers sur lequel le volume racine du conteneur est configuré.
currentInputWatermark	Millisecondes	Le dernier filigrane que cela application/operator/task/thread a reçu	Application, opérateur, tâche, parallélisme	Cet enregistrement n’est émis que pour les dimensions à deux entrées. Il s’agit de la valeur minimale des derniers filigranes reçus.
currentOutputWatermark	Millisecondes	Le dernier filigrane que cela application/operator/task/thread a émis	Application, opérateur, tâche, parallélisme
downtime	Millisecondes	Pour les tâches actuellement en situation d’échec ou de récupération, le temps écoulé pendant cette panne.	Application	Cette métrique mesure le temps écoulé pendant l’échec ou la récupération d’une tâche. Cette métrique renvoie 0 pour les tâches en cours d’exécution et -1 pour les tâches terminées. Si cette métrique n’est pas égale à 0 ou -1, cela indique que la tâche Apache Flink de l’application n’a pas pu être exécuté.
fullRestarts	Nombre	Nombre total de fois que cette tâche a été complètement redémarrée depuis son envoi. Cette métrique ne mesure pas les redémarrages affinés.	Application	Vous pouvez utiliser cette métrique pour évaluer l’état général de l’application. Les redémarrages peuvent avoir lieu pendant la maintenance interne par le service géré pour Apache Flink. Un nombre de redémarrages plus élevé que d’habitude peut indiquer un problème lié à l’application.
heapMemoryUtilization	Pourcentage	Utilisation globale de la mémoire de tas dans les gestionnaires de tâches. Par exemple, s’il existe cinq gestionnaires de tâches, le service géré pour Apache Flink publie cinq échantillons de cette métrique par intervalle de reporting.	Application	Vous pouvez utiliser cette métrique pour surveiller l’utilisation minimale, moyenne et maximale de l’utilisation de la mémoire de tas dans votre application. Le HeapMemoryUtilization seul prend en compte des métriques de mémoire spécifiques, telles que l'utilisation de la mémoire par segment de mémoire de la TaskManager JVM.
idleTimeMsPerSecond*	Millisecondes	Durée (en millisecondes) pendant laquelle cette tâche ou cet opérateur est inactif (n’a aucune donnée à traiter) par seconde. Le temps d’inactivité exclut le temps de contre-pression. Ainsi, si la tâche est contre-pressée, elle n’est pas inactive.	Tâche, opérateur, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Ces mesures peuvent être utiles pour identifier les goulots d’étranglement d’une application.
lastCheckpointSize	Octets	La taille totale du dernier point de contrôle	Application	Vous pouvez utiliser cette métrique pour déterminer l’utilisation du stockage des applications en cours d’exécution. Si la valeur de cette métrique augmente, cela peut indiquer un problème lié à votre application, tel qu’une fuite de mémoire ou un goulot d’étranglement.
lastCheckpointDuration	Millisecondes	Le temps qu’il a fallu pour terminer le dernier point de contrôle	Application	Cette métrique mesure le temps nécessaire pour terminer le point de contrôle le plus récent. Si la valeur de cette métrique augmente, cela peut indiquer un problème lié à votre application, tel qu’une fuite de mémoire ou un goulot d’étranglement. Dans certains cas, vous pouvez résoudre ce problème en désactivant le point de contrôle.
managedMemoryUsed*	Octets	Quantité de mémoire gérée actuellement en cours d’utilisation.	Application, opérateur, tâche, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Cela concerne la mémoire gérée par Flink en dehors du tas de Java. Elle est utilisée pour le backend d’état RocksDB et est également disponible pour les applications.
managedMemoryTotal*	Octets	Quantité totale de mémoire gérée.	Application, opérateur, tâche, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Cela concerne la mémoire gérée par Flink en dehors du tas de Java. Elle est utilisée pour le backend d’état RocksDB et est également disponible pour les applications. La métrique ManagedMemoryUtilzations ne prend en compte que des mesures de mémoire spécifiques telles que la mémoire gérée (utilisation de la mémoire en dehors de JVM pour les processus natifs tels que RocksDB State Backend)
managedMemoryUtilization*	Pourcentage	Dérivé par managedMemoryUsed/managedMemoryTotal	Application, opérateur, tâche, parallélisme	*Disponible pour les applications de service géré pour Apache Flink exécutant la version 1.13 de Flink uniquement. Cela concerne la mémoire gérée par Flink en dehors du tas de Java. Elle est utilisée pour le backend d’état RocksDB et est également disponible pour les applications.
numberOfFailedCheckpoints	Nombre	Nombre de fois que le point de contrôle a échoué.	Application	Vous pouvez utiliser cette métrique pour surveiller l’état et la progression des applications. Les points de contrôle peuvent échouer en raison de problèmes d’application, tels que des problèmes de débit ou d’autorisation.
numRecordsIn*	Nombre	Nombre total d’enregistrements reçus par cette application, cet opérateur ou cette tâche.	Application, opérateur, tâche, parallélisme	*Pour appliquer la statistique SUM sur une période donnée (seconde/minute) : Sélectionnez la métrique au niveau approprié. Si vous suivez la métrique d’un opérateur, vous devez sélectionner les métriques d’opérateur correspondantes. Comme le service géré pour Apache Flink prend 4 instantanés de métrique par minute, les calculs métriques suivants doivent être utilisés : m1/4 où m1 est la statistique SUM sur une période (seconde/minute) Le niveau de la métrique indique si cette métrique mesure le nombre total d’enregistrements reçus par l’ensemble de l’application, un opérateur spécifique ou une tâche spécifique.
numRecordsInPerSecond*	Nombre/seconde	Nombre total d’enregistrements reçus par cette application, cet opérateur ou cette tâche par seconde.	Application, opérateur, tâche, parallélisme	*Pour appliquer la statistique SUM sur une période donnée (seconde/minute) : Sélectionnez la métrique au niveau approprié. Si vous suivez la métrique d’un opérateur, vous devez sélectionner les métriques d’opérateur correspondantes. Comme le service géré pour Apache Flink prend 4 instantanés de métrique par minute, les calculs métriques suivants doivent être utilisés : m1/4 où m1 est la statistique SUM sur une période (seconde/minute) Le niveau de la métrique indique si cette métrique mesure le nombre total d’enregistrements reçus par l’ensemble de l’application, un opérateur spécifique ou une tâche spécifique par seconde.
numRecordsOut*	Nombre	Nombre total d’enregistrements émis par cette application, cet opérateur ou cette tâche.	Application, opérateur, tâche, parallélisme	*Pour appliquer la statistique SUM sur une période donnée (seconde/minute) : Sélectionnez la métrique au niveau approprié. Si vous suivez la métrique d’un opérateur, vous devez sélectionner les métriques d’opérateur correspondantes. Comme le service géré pour Apache Flink prend 4 instantanés de métrique par minute, les calculs métriques suivants doivent être utilisés : m1/4 où m1 est la statistique SUM sur une période (seconde/minute) Le niveau de la métrique indique si cette métrique mesure le nombre total d’enregistrements émis par l’ensemble de l’application, un opérateur spécifique ou une tâche spécifique.
numLateRecordsDropped*	Nombre	Application, opérateur, tâche, parallélisme		*Pour appliquer la statistique SUM sur une période donnée (seconde/minute) : Sélectionnez la métrique au niveau approprié. Si vous suivez la métrique d’un opérateur, vous devez sélectionner les métriques d’opérateur correspondantes. Comme le service géré pour Apache Flink prend 4 instantanés de métrique par minute, les calculs métriques suivants doivent être utilisés : m1/4 où m1 est la statistique SUM sur une période (seconde/minute) Le nombre d’enregistrements que cet opérateur ou cette tâche a perdus en raison de son arrivée tardive.
numRecordsOutPerSecond*	Nombre/seconde	Nombre total d’enregistrements émis par cette application, cet opérateur ou cette tâche par seconde.	Application, opérateur, tâche, parallélisme	*Pour appliquer la statistique SUM sur une période donnée (seconde/minute) : Sélectionnez la métrique au niveau approprié. Si vous suivez la métrique d’un opérateur, vous devez sélectionner les métriques d’opérateur correspondantes. Comme le service géré pour Apache Flink prend 4 instantanés de métrique par minute, les calculs métriques suivants doivent être utilisés : m1/4 où m1 est la statistique SUM sur une période (seconde/minute) Le niveau de la métrique indique si cette métrique mesure le nombre total d’enregistrements émis par l’ensemble de l’application, un opérateur spécifique ou une tâche spécifique par seconde.
oldGenerationGCCount	Nombre	Le nombre total d’anciennes opérations de récupérateur de mémoire qui ont eu lieu dans tous les gestionnaires de tâches.	Application
oldGenerationGCTime	Millisecondes	Le temps total passé à effectuer d’anciennes opérations de récupérateur de mémoire.	Application	Vous pouvez utiliser cette métrique pour surveiller la durée totale, moyenne et maximale de récupérateur de mémoire.
threadCount	Nombre	Nombre total de threads actifs utilisés par l’application.	Application	Cette métrique mesure le nombre de threads utilisés par le code de l’application. Ce n’est pas la même chose que le parallélisme des applications.
uptime	Millisecondes	Durée pendant laquelle la tâche a été exécutée sans interruption.	Application	Vous pouvez utiliser cette métrique pour déterminer si une tâche s’exécute correctement. Cette métrique renvoie -1 pour les tâches terminées.
KPUs*	Nombre	Le nombre total de personnes KPUs utilisées par l'application.	Application	*Cette métrique reçoit un échantillon par période de facturation (une heure). Pour visualiser le nombre de KPUs prolongations, utilisez MAX ou AVG sur une période d'au moins une (1) heure. Le nombre de KPU inclut les orchestration KPU. Pour plus d'informations, consultez la section Tarification du service géré pour Apache Flink.

Métriques du connecteur Kinesis Data Streams

AWS émet tous les enregistrements pour Kinesis Data Streams, outre les suivants :

Mesure	Unité	Description	Niveau	Notes d’utilisation
millisbehindLatest	Millisecondes	Le nombre de millisecondes où le consommateur est en retard par rapport au début du flux, qui indique le retard que subit le consommateur.	Application (pour Stream), Parallélisme (pour) ShardId	Une valeur égale à 0 indique que le traitement des enregistrements est terminé et qu’il ne reste plus d’enregistrements à traiter pour le moment. La métrique d’une partition particulière peut être spécifiée par le nom du flux et l’identifiant de la partition. La valeur -1 indique que le service n’a pas encore indiqué de valeur pour la métrique.
bytesRequestedPerFetch	Octets	Les octets demandés lors d’un seul appel de getRecords.	Application (pour Stream), Parallélisme (pour) ShardId

Métriques du connecteur Amazon MSK

AWS émet tous les enregistrements pour Amazon MSK en plus des suivants :

Mesure	Unité	Description	Niveau	Notes d’utilisation
currentoffsets	N/A	Le décalage de lecture actuel du consommateur, pour chaque partition. La métrique d’une partition particulière peut être spécifiée par le nom de la rubrique et l’identifiant de la partition.	Application (pour le sujet), Parallélisme (pour) PartitionId
commitsFailed	N/A	Le nombre total d’échecs de validation de décalage pour Kafka, si la validation de décalage et le point de contrôle sont activés.	Application, opérateur, tâche, parallélisme	La réattribution des validations de décalage à Kafka n’est qu’un moyen de révéler les progrès réalisés par les consommateurs. Un échec de validation n’affecte donc pas l’intégrité des décalages de partition à points de contrôle de Flink.
commitsSucceeded	N/A	Le nombre total de validations de décalage réussies dans Kafka, si la validation de décalage et les points de contrôle sont activés.	Application, opérateur, tâche, parallélisme
committedoffsets	N/A	Le dernier décalage correctement validé dans Kafka, pour chaque partition. La métrique d’une partition particulière peut être spécifiée par le nom de la rubrique et l’identifiant de la partition.	Application (pour le sujet), Parallélisme (pour) PartitionId
records_lag_max	Nombre	Le décalage maximal en termes de nombre d’enregistrements pour chaque partition de cette fenêtre	Application, opérateur, tâche, parallélisme
bytes_consumed_rate	Octets	Nombre moyen d’octets consommés par seconde pour une rubrique	Application, opérateur, tâche, parallélisme

Métriques d'Apache Zeppelin

Pour les blocs-notes Studio, AWS émet les mesures suivantes au niveau de l'application :KPUs,cpuUtilization, heapMemoryUtilization oldGenerationGCTimeoldGenerationGCCount, et. threadCount En outre, il émet les métriques indiquées dans le tableau suivant, également au niveau de l’application.

Mesure	Unité	Description	Nom Prometheus
zeppelinCpuUtilization	Pourcentage	Pourcentage global d’utilisation du processeur sur le serveur Apache Zeppelin.	process_cpu_usage
zeppelinHeapMemoryUtilization	Pourcentage	Pourcentage global d’utilisation de la mémoire de tas pour le serveur Apache Zeppelin.	jvm_memory_used_bytes
zeppelinThreadCount	Nombre	Le nombre total de threads actifs utilisés par le serveur Apache Zeppelin.	jvm_threads_live_threads
zeppelinWaitingJobs	Nombre	Le nombre de tâches Apache Zeppelin en attente d’un thread.	jetty_threads_jobs
zeppelinServerUptime	Secondes	Durée totale pendant laquelle le serveur a été opérationnel.	process_uptime_seconds