Parametri Hadoop e Spark in Ganglia - Amazon EMR

Parametri Hadoop e Spark in Ganglia

Ganglia riporta i parametri Hadoop per ogni istanza. Ai vari tipi di parametri sono aggiunti prefissi in base alla categoria: file system distribuito (dfs.*), macchina virtuale Java (jvm.*), MapReduce (mapred.*) e chiamate di procedura remota (rpc.*).

I parametri di Ganglia basati su YARN, quali Spark e Hadoop, non sono disponibili per EMR versione 4.4.0 e 4.5.0. Scegliere una versione successiva per utilizzare questi parametri.

I parametri di Ganglia per Spark generalmente hanno prefissi per l'ID applicazione YARN e DAGScheduler di Spark. I prefissi seguono quindi questa forma:

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*