Comprendre les métriques de dimensionnement géré dans Amazon EMR

Amazon EMR publie des métriques haute résolution avec des données à une granularité d'une minute lorsque la mise à l'échelle gérée est activé pour un cluster. Vous pouvez consulter les événements relatifs au lancement et à la fin de chaque redimensionnement, contrôlés par une mise à l'échelle gérée à l'aide de la console Amazon EMR ou de la console Amazon CloudWatch . CloudWatch les métriques sont essentielles au bon fonctionnement de la mise à l'échelle gérée par Amazon EMR. Nous vous recommandons de suivre de près CloudWatch les indicateurs pour vous assurer qu'il n'y a pas de données manquantes. Pour plus d'informations sur la façon dont vous pouvez configurer CloudWatch des alarmes pour détecter les métriques manquantes, consultez la section Utilisation CloudWatch des alarmes Amazon. Pour plus d'informations sur l'utilisation CloudWatch des événements avec Amazon EMR, consultez Surveiller les CloudWatch événements.

Les métriques suivantes indiquent les capacités actuelles ou cibles d'un cluster. Ces métriques sont disponibles uniquement lorsque le dimensionnement géré est activé. Pour les clusters composés de parcs d'instances, les métriques de capacité de cluster sont mesurées en Units. Pour les clusters composés de groupes d'instances, les métriques de capacité de cluster sont mesurées en Nodes ou en vCPU selon le type d'unité utilisé dans la politique de dimensionnement géré.

Métrique	Description
TotalUnitsRequested TotalNodesRequested TotalVCPURequested	Le nombre total cible de units/nodes /vCPU dans un cluster, tel que déterminé par la mise à l'échelle gérée. Unités : nombre
TotalUnitsRunning TotalNodesRunning TotalVCPURunning	Le nombre total actuel de units/nodes /vCPU disponibles dans un cluster en cours d'exécution. Lorsqu'un redimensionnement de cluster est demandé, cette métrique est mise à jour après l'ajout ou la suppression des nouvelles instances du cluster. Unités : nombre
CoreUnitsRequested CoreNodesRequested CoreVCPURequested	Le nombre cible de processeurs units/nodes CORE/vCPU dans un cluster, tel que déterminé par une mise à l'échelle gérée. Unités : nombre
CoreUnitsRunning CoreNodesRunning CoreVCPURunning	Le nombre actuel de processeurs units/nodes CORE/vCPU en cours d'exécution dans un cluster. Unités : nombre
TaskUnitsRequested TaskNodesRequested TaskVCPURequested	Le nombre cible de TASK units/nodes /vCPU dans un cluster, tel que déterminé par une mise à l'échelle gérée. Unités : nombre
TaskUnitsRunning TaskNodesRunning TaskVCPURunning	Le nombre actuel de TASK units/nodes /vCPU en cours d'exécution dans un cluster. Unités : nombre

Les métriques suivantes indiquent l'état d'utilisation du cluster et des applications. Ces mesures sont disponibles pour toutes les fonctionnalités d'Amazon EMR, mais sont publiées à une résolution plus élevée avec des données à une granularité d'une minute lorsque la mise à l'échelle gérée est activée pour un cluster. Vous pouvez mettre en corrélation les métriques suivantes avec les métriques de capacité de cluster du tableau précédent pour comprendre les décisions de dimensionnement géré.

Métrique	Description
AppsCompleted	Nombre de demandes soumises à YARN ayant été traitées. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
AppsPending	Nombre d'applications soumises à YARN qui se trouvent dans un état d'attente. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
AppsRunning	Nombre d'applications soumises à YARN qui sont en cours d'exécution. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
ContainerAllocated	Le nombre de conteneurs de ressources alloués par leResourceManager. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
ContainerPending	Nombre de conteneurs dans la file d'attente qui n'ont pas encore été alloués. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
ContainerPendingRatio	Le ratio entre les conteneurs en attente et les conteneurs alloués (ContainerPendingRatio = ContainerPending / ContainerAllocated). Si ContainerAllocated = 0, alors ContainerPendingRatio =ContainerPending. La valeur de ContainerPendingRatio représente un nombre et non un pourcentage. Cette valeur est utile pour dimensionner les ressources de cluster en fonction du comportement d'attribution des conteneurs. Unités : nombre
HDFSUtilization	Pourcentage de stockage HDFS actuellement utilisé. Cas d'utilisation : analyser les performances du cluster Unités : pourcentage
IsIdle	Indique qu'un cluster ne s'exécute plus, mais est encore en actif et génère des frais. Il est défini sur 1 si aucune tâche ni aucun travail n'est en cours d'exécution, et défini sur 0 dans le cas contraire. Cette valeur est vérifiée à intervalles de cinq minutes et une valeur de 1 indique uniquement que le cluster a été inactif lors de la vérification, et non pas qu'il a été inactif pendant les cinq minutes entières. Pour éviter les fausses erreurs, vous devez déclencher une alarme lorsque cette valeur est 1 pendant plusieurs contrôles consécutifs de 5 minutes. Par exemple, vous pouvez déclencher une alarme pour cette valeur si elle renvoie 1 pendant au moins 30 minutes. Cas d'utilisation : surveiller les performances du cluster Unités : booléennes
MemoryAvailableMB	Quantité de mémoire disponible à allouer. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
MRActiveNodes	Le nombre de nœuds exécutant actuellement MapReduce des tâches ou des jobs. Équivalent à la métrique YARN mapred.resourcemanager.NoOfActiveNodes. Cas d'utilisation : surveiller la progression du cluster Unités : nombre
YARNMemoryAvailablePercentage	Pourcentage de mémoire restante disponible pour YARN (YARNMemoryAvailablePercentage = MemoryAvailable MemoryTotal Mo/Mo). Cette valeur est utile pour dimensionner les ressources de cluster en fonction de l'utilisation de mémoire YARN. Unités : pourcentage

Les mesures suivantes fournissent des informations sur les ressources utilisées par les conteneurs et les nœuds YARN. Ces métriques du gestionnaire de ressources YARN fournissent des informations sur les ressources utilisées par les conteneurs et les nœuds exécutés dans le cluster. La comparaison de ces indicateurs avec les indicateurs de capacité des clusters du tableau précédent permet de se faire une idée plus précise de l'impact de la mise à l'échelle gérée :

Métrique	Versions associées	Description
YarnContainersUsedMemoryGBSeconds	Disponible pour le label de sortie 7.3.0 et supérieur	La mémoire du conteneur consommée en secondes pendant la période de publication. Unités : Go * secondes
YarnContainersTotalMemoryGBSeconds	Disponible pour le label de sortie 7.3.0 et supérieur	Le nombre total de secondes contenant de la laine pendant la période de publication. Unités : Go * secondes
YarnContainersUsedVCPUSeconds	Disponible pour le label de sortie 7.5.0 et supérieur	Le VCPU * secondes du conteneur consommé pendant la période de publication. Unités : VCPU * secondes
YarnContainersTotalVCPUSeconds	Disponible pour le label de sortie 7.5.0 et supérieur	Nombre total de secondes de VCPU du conteneur pendant la période de publication. Unités : VCPU * secondes
YarnNodesUsedMemoryGBSeconds	Disponible pour le label de sortie 7.5.0 et supérieur	La mémoire du nœud consommée * secondes pendant la période de publication. Unités : Go * secondes
YarnNodesTotalMemoryGBSeconds	Disponible pour le label de sortie 7.5.0 et supérieur	La mémoire totale du nœud en secondes pendant la période de publication. Unités : Go * secondes
YarnNodesUsedVCPUSeconds	Disponible pour le label de sortie 7.3.0 et supérieur	Le nœud VCPU * secondes consommé pendant la période de publication. Unités : VCPU * secondes
YarnNodesTotalVCPUSeconds	Disponible pour le label de sortie 7.3.0 et supérieur	Nombre total de secondes VCPU * du nœud pendant la période de publication. Unités : VCPU * secondes

Représentation graphique des métriques de mise à l'échelle gérée

Vous pouvez représenter graphiquement les métriques pour visualiser les modèles de charge de travail de votre cluster et les décisions de mise à l'échelle correspondantes prises par la mise à l'échelle gérée par Amazon EMR, comme le montrent les étapes suivantes.

Pour représenter graphiquement les mesures de dimensionnement gérées dans la CloudWatch console

1. Ouvrez la console CloudWatch.

2. Dans le volet de navigation, choisissez Amazon EMR. Vous pouvez rechercher par l'identifiant de cluster du cluster à surveiller.

3. Faites défiler jusqu'à la métrique que vous souhaitez représenter graphiquement. Ouvrez une métrique pour afficher le graphique.

4. Pour représenter graphiquement une ou plusieurs métriques, cochez la case en regard de chaque métrique.

L'exemple suivant illustre l'activité de mise à l'échelle gérée par Amazon EMR pour un cluster. Le graphique présente trois périodes de dimensionnement (diminution) automatique, qui permettent de réaliser des économies lorsque la charge de travail est moins active.

Toutes les métriques de capacité et d'utilisation du cluster sont publiées à intervalles d'une minute. Des informations statistiques supplémentaires sont également rattachées à chaque donnée d'une minute, ce qui vous permet de tracer diverses fonctions telles que Percentiles, Min, Max, Sum, Average, SampleCount.

Par exemple, le graphique suivant trace la même métrique YARNMemoryAvailablePercentage à différents percentiles, P10, P50, P90, P99, ainsi que Sum, Average, Min, SampleCount.