Nodos incluidos en la lista de denegados

El NodeManager daemon es responsable de lanzar y gestionar los contenedores en los nodos principales y de tareas. El NodeManager daemon que se ejecuta en el nodo maestro asigna los contenedores al ResourceManager daemon. ResourceManager Supervisa el NodeManager nodo en un abrir y cerrar de ojos.

Hay un par de situaciones en las que el ResourceManager daemon deniega la lista a NodeManager y la elimina del grupo de nodos disponibles para procesar tareas:

• Si no NodeManager ha enviado ni un latido al ResourceManager daemon en los últimos 10 minutos (600.000 milisegundos). Este periodo de tiempo puede configurarse mediante la opción de configuración yarn.nm.liveness-monitor.expiry-interval-ms. Para obtener más información sobre cómo cambiar la configuración de Yarn, consulte Configuración de aplicaciones en la Guía de publicación de Amazon EMR.

• NodeManager comprueba el estado de los discos determinado por yarn.nodemanager.local-dirs y. yarn.nodemanager.log-dirs Las comprobaciones incluyen permisos y espacio libre en disco (< 90 %). Si un disco no supera la comprobación, NodeManager deja de utilizar ese disco en particular, pero sigue indicando que el estado del nodo es correcto. Si varios discos no pasan la comprobación, el nodo se considera en mal estado ResourceManager y no se asignan nuevos contenedores al nodo.

El maestro de la aplicación también puede denegar la inclusión de un NodeManager nodo en la lista si tiene más de tres tareas fallidas. Puede cambiar esto a un valor superior utilizando el parámetro de configuración mapreduce.job.maxtaskfailures.per.tracker. Otras opciones de configuración que podría cambiar controlan cuántas veces se intenta una tarea antes de marcarla como errónea: mapreduce.map.max.attempts para tareas de asignación y mapreduce.reduce.maxattempts para tareas de reducción. Para obtener más información sobre cómo cambiar la configuración, consulte Configuración de aplicaciones en la Guía de publicación de Amazon EMR.