Ganglia 中的 Hadoop 和 Spark 指標 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Ganglia 中的 Hadoop 和 Spark 指標

注意

包含 Ganglia 的 Amazon EMR 的最新版本為 Amazon EMR 6.15.0。若要監控您的叢集，高於 6.15.0 的版本會包含 Amazon CloudWatch 代理程式。

Ganglia 會報告每個執行個體的 Hadoop 指標。各種類型的度量會以類別為前置詞：分散式檔案系統 (dfs.*)、Java 虛擬機器 (jvm.*)、(mapred.*) 和遠端程序呼叫 MapReduce (rpc.*)。

EMR 4.4.0 與 4.5.0 發行版本無法使用以 YARN 為基礎的 Ganglia 指標 (如 Spark 和 Hadoop)。若要使用這些指標，請遷移至更新版本。

適用 Spark 的 Ganglia 指標一般來說會對 YARN 應用程式 ID 和 Spark DAGScheduler 加上字首。因此字首採用的形式如下：

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*