Ganglia에서 Hadoop 및 Spark 지표

참고

Ganglia를 포함하는 Amazon EMR의 마지막 릴리스는 Amazon EMR 6.15.0이었습니다. 클러스터를 모니터링하기 위한 6.15.0 이상의 릴리스에는 Amazon CloudWatch 에이전트가 포함됩니다.

Ganglia는 각 인스턴스에 대한 Hadoop 지표를 보고합니다. 분산 파일 시스템 (dfs.*), Java 가상 머신 (jvm.*), (mapred.*), 원격 프로시저 호출 (rpc.*) 등 MapReduce 다양한 유형의 지표 앞에 범주가 붙습니다.

Spark 및 하둡과 같은 YARN 기반의 Ganglia 지표는 EMR 릴리스 버전 4.4.0 및 4.5.0에서 사용할 수 없습니다. 이러한 지표를 사용하려면 이후 버전을 사용하십시오.

Spark의 Ganglia 지표에는 일반적으로 YARN 애플리케이션 ID와 Spark DAGScheduler의 접두사가 있습니다. 따라서 접두어는 다음 형식을 따릅니다.

• DAGScheduler.*

• application_xxxxxxxxxx_xxxx.driver.*

• application_xxxxxxxxxx_xxxx.executor.*