Metrik Hadoop dan Spark di Ganglia

catatan

Rilis terakhir Amazon EMR yang menyertakan Ganglia adalah Amazon EMR 6.15.0. Untuk memantau klaster Anda, rilis yang lebih tinggi dari 6.15.0 menyertakan agen Amazon CloudWatch .

Ganglia melaporkan metrik Hadoop untuk setiap instans. Berbagai jenis metrik diawali berdasarkan kategori: sistem file terdistribusi (dfs.*), mesin virtual Java (jvm.*), (mapred.*), dan panggilan prosedur jarak jauh MapReduce (rpc.*).

Metrik Ganglia berbasis YARN seperti Spark dan Hadoop tidak tersedia untuk versi rilis EMR 4.4.0 dan 4.5.0. Gunakan versi yang lebih baru untuk menggunakan metrik ini.

Metrik Ganglia untuk Spark umumnya memiliki awalan untuk ID aplikasi YARN dan Spark DagScheduler. Jadi prefiks mengikuti formulir ini:

• DagScheduler.*

• aplikasi_xxxxxxxx_xxxx.driver.*

• aplikasi_xxxxxxxx_xxxx.executor.*