Parametri Hadoop e Spark in Ganglia - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Parametri Hadoop e Spark in Ganglia

Nota

L'ultima versione di Amazon EMR a includere Ganglia è stata Amazon EMR 6.15.0. Per monitorare il cluster, le versioni successive alla 6.15.0 includono l'agente Amazon CloudWatch .

Ganglia riporta i parametri Hadoop per ogni istanza. I vari tipi di metriche sono preceduti da categorie: file system distribuito (dfs.*), macchina virtuale Java (jvm.*), (mapred.*) e chiamate di procedura remota MapReduce (rpc.*).

I parametri di Ganglia basati su YARN, quali Spark e Hadoop, non sono disponibili per EMR versione 4.4.0 e 4.5.0. Scegliere una versione successiva per utilizzare questi parametri.

I parametri di Ganglia per Spark generalmente hanno prefissi per l'ID applicazione YARN e DAGScheduler di Spark. I prefissi seguono quindi questa forma:

  • DAGScheduler.*

  • application_xxxxxxxxxx_xxxx.driver.*

  • application_xxxxxxxxxx_xxxx.executor.*