Métriques Hadoop et Spark dans Ganglia - Amazon EMR

Métriques Hadoop et Spark dans Ganglia

Ganglia fournit des rapports sur les métriques Hadoop pour chaque instance. Les différents types de métriques sont préfixés par la catégorie : système de fichiers distribué (dfs.*), machine virtuelle Java (jvm.*), MapReduce (mapred.*) et appels de procédure à distance (rpc.*).

Les métriques Ganglia basées sur YARN, telles que Spark et Hadoop, ne sont pas disponibles pour les versions EMR 4.4.0 et 4.5.0. Utilisez une version ultérieure pour employer ces métriques.

Les métriques de Ganglia pour Spark ont généralement des préfixes pour l'ID d'application YARN et Spark DAGScheduler. Ainsi, les préfixes suivent ce format :

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*