Ganglia 中的 Hadoop 和 Spark 指标 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

Ganglia 中的 Hadoop 和 Spark 指标

注意

使用 Ganglia 的最后一个 Amazon EMR 版本为 Amazon EMR 6.15.0。为了监控您的集群，6.15.0 以上的版本中包含了 A ma CloudWatch zon 代理。

Ganglia 报告每个实例的 Hadoop 指标。各种类型的指标按类别开头：分布式文件系统 (dfs.*)、Java 虚拟机 (jvm.*)、(mapred.*) 和远程过程调用 MapReduce (rpc.*)。

基于 YARN 的 Ganglia 指标（如 Spark 和 Hadoop）对于 EMR 发行版 4.4.0 和 4.5.0 不可用。利用更高版本来使用这些指标。

Ganglia 中的 Spark 指标通常具有 YARN 应用程序 ID 和 Spark DAGScheduler 的前缀。前缀遵循以下形式：

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*