Hadoop- und Spark-Metriken in Ganglia - Amazon EMR

Hadoop- und Spark-Metriken in Ganglia

Ganglia meldet Hadoop-Metriken für jede Instance. Die verschiedenen Arten von Metriken erhalten Präfixe je nach Kategorie: Distributed File System (dfs.*), Java Virtual Machine (jvm.*), MapReduce (mapred.*) und Remote Procedure Calls (rpc.*).

Auf YARN basierende Ganglia-Metriken wie Spark und Hadoop sind für die EMR-Versionen 4.4.0 und 4.5.0 nicht verfügbar. Verwenden Sie eine höhere Version, um diese Metriken zu verwenden.

Ganglia-Metriken für Spark haben in der Regel Präfixe für YARN-Anwendungs-ID und Spark-DAGScheduler. Die Präfixe haben also folgende Form:

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*