Métricas de Hadoop y Spark en Ganglia

nota

La última versión de Amazon EMR que incluye Ganglia es Amazon EMR 6.15.0. Para monitorizar el clúster, las versiones posteriores a la 6.15.0 incluyen el agente de Amazon CloudWatch .

Ganglia notifica métricas de Hadoop para cada instancia. Los distintos tipos de métricas vienen prefijados por categoría: sistema de archivos distribuido (dfs.*), máquina virtual Java (jvm.*), (mapred.*) y llamadas a procedimientos remotos MapReduce (rpc.*).

Las métricas de Ganglia basadas en YARN como, por ejemplo, Spark y Hadoop no están disponibles para las versiones 4.4.0 y 4.5.0 de EMR. Utilice una versión posterior para usar estas métricas.

Las métricas de Ganglia para Spark generalmente tienen prefijos para el ID de aplicación de YARN y Spark DAGScheduler. Por lo tanto, los prefijos siguen este formato:

• DAGScheduler.*

• application_xxxxxxxxxx_xxxx.driver.*

• application_xxxxxxxxxx_xxxx.executor.*