Errore EMR del cluster Amazon: nodi in elenco negato - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Errore EMR del cluster Amazon: nodi in elenco negato

Il NodeManager daemon è responsabile del lancio e della gestione dei container sui nodi core e task. I contenitori vengono allocati al NodeManager demone dal demone in esecuzione sul nodo ResourceManager master. ResourceManager Monitora il nodo tramite un battito cardiaco. NodeManager

Ci sono un paio di situazioni in cui il ResourceManager daemon deny elenca a NodeManager, rimuovendolo dal pool di nodi disponibili per elaborare le attività:

  • Se non NodeManager ha inviato un heartbeat al ResourceManager demone negli ultimi 10 minuti (600.000 millisecondi). Questo periodo di tempo può essere configurato utilizzando l'impostazione di configurazione yarn.nm.liveness-monitor.expiry-interval-ms. Per ulteriori informazioni sulla modifica delle impostazioni di configurazione di Yarn, consulta Configurazione delle applicazioni nella Amazon EMR Release Guide.

  • NodeManager verifica lo stato dei dischi determinato da e. yarn.nodemanager.local-dirs yarn.nodemanager.log-dirs I controlli includono le autorizzazioni e lo spazio libero su disco (< 90%). Se un disco non supera il controllo, NodeManager smette di utilizzare quel particolare disco ma riporta comunque lo stato del nodo come integro. Se più dischi non superano il controllo, il nodo viene segnalato come non integro ResourceManager e i nuovi contenitori non vengono assegnati al nodo.

Il master dell'applicazione può anche negare l'elenco di un NodeManager nodo se presenta più di tre attività non riuscite. Puoi modificare questa impostazione su un valore più alto utilizzando il parametro di configurazione mapreduce.job.maxtaskfailures.per.tracker. Altre impostazioni di configurazione che è possibile modificare sono il numero di tentativi di esecuzione di una task prima che venga contrassegnata come non riuscita: mapreduce.map.max.attempts per task di mappatura e mapreduce.reduce.maxattempts per task di riduzione. Per ulteriori informazioni sulla modifica delle impostazioni di configurazione, consulta Configurazione delle applicazioni nella Amazon EMR Release Guide.