Ganglia での Hadoop と Spark のメトリクス

Ganglia は、各インスタンスに対して Hadoop メトリクスをレポートします。さまざまなタイプのメトリクスの先頭には、カテゴリごとにプレフィックスが付いています。たとえば、分散ファイルシステムの場合は dfs.*、Java 仮想マシンの場合は jvm.*、MapReduce の場合は mapred.*、そしてリモートプロシージャコールの場合は rpc.* です。

Spark や Hadoop などの YARN ベースの Ganglia メトリクスは、EMR リリースバージョン 4.4.0 および 4.5.0 では使用できません。これらのメトリクスを使用するには、それ以降のバージョンを使用してください。

通常、Spark の Ganglia メトリクスには YARN アプリケーション ID および Spark DAGScheduler 用のプレフィックスがあります。したがって、プレフィックスは次の形式になります。

• DAGScheduler.*

• application_xxxxxxxxxx_xxxx.driver.*

• application_xxxxxxxxxx_xxxx.executor.*