Hadoop- und Spark-Metriken in Ganglia
Ganglia meldet Hadoop-Metriken für jede Instance. Die verschiedenen Arten von Metriken erhalten Präfixe je nach Kategorie: Distributed File System (dfs.*), Java Virtual Machine (jvm.*), MapReduce (mapred.*) und Remote Procedure Calls (rpc.*).
Auf YARN basierende Ganglia-Metriken wie Spark und Hadoop sind für die EMR-Versionen 4.4.0 und 4.5.0 nicht verfügbar. Verwenden Sie eine höhere Version, um diese Metriken zu verwenden.
Ganglia-Metriken für Spark haben in der Regel Präfixe für YARN-Anwendungs-ID und Spark-DAGScheduler. Die Präfixe haben also folgende Form:
-
DAGScheduler.*
-
application_xxxxxxxxxx_xxxx.driver.*
-
application_xxxxxxxxxx_xxxx.executor.*