Hadoop- und Spark-Metriken in Ganglia - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Hadoop- und Spark-Metriken in Ganglia

Anmerkung

Die letzte Version von Amazon EMR, die Ganglia enthielt, war Amazon EMR 6.15.0. Um Ihren Cluster zu überwachen, enthalten Versionen über 6.15.0 den CloudWatch Amazon-Agenten.

Ganglia meldet Hadoop-Metriken für jede Instance. Die verschiedenen Arten von Metriken sind nach Kategorien mit einem Präfix versehen: verteiltes Dateisystem (dfs.*), Java Virtual Machine (jvm.*), (mapred.*) und Remote Procedure Calls MapReduce (rpc.*).

Auf YARN basierende Ganglia-Metriken wie Spark und Hadoop sind für die EMR-Versionen 4.4.0 und 4.5.0 nicht verfügbar. Verwenden Sie eine höhere Version, um diese Metriken zu verwenden.

Ganglia-Metriken für Spark haben in der Regel Präfixe für YARN-Anwendungs-ID und Spark-DAGScheduler. Die Präfixe haben also folgende Form:

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*