Erro de EMR cluster da Amazon: negar nós listados

O NodeManager daemon é responsável por lançar e gerenciar contêineres nos nós principais e de tarefas. Os contêineres são alocados ao NodeManager daemon pelo ResourceManager daemon executado no nó principal. Ele ResourceManager monitora o NodeManager nó por meio de um batimento cardíaco.

Há algumas situações em que o ResourceManager daemon deny lista uma NodeManager, removendo-a do pool de nós disponíveis para processar tarefas:

• Se o não NodeManager tiver enviado uma pulsação ao ResourceManager daemon nos últimos 10 minutos (600.000 milissegundos). Esse intervalo de tempo pode ser configurado usando a definição da configuração yarn.nm.liveness-monitor.expiry-interval-ms. Para obter mais informações sobre como alterar as configurações do Yarn, consulte Como configurar aplicativos no Amazon EMR Release Guide.

• NodeManager verifica a integridade dos discos determinada por yarn.nodemanager.local-dirs e. yarn.nodemanager.log-dirs As verificações incluem permissões e espaço livre em disco (< 90%). Se um disco falhar na verificação, ele para de NodeManager usar esse disco específico, mas ainda informa o status do nó como íntegro. Se vários discos falharem na verificação, o nó será reportado como não íntegro ResourceManager e os novos contêineres não serão atribuídos ao nó.

O mestre do aplicativo também pode negar a lista de um NodeManager nó se ele tiver mais de três tarefas com falha. Você pode aumentar esse valor usando o parâmetro de configuração mapreduce.job.maxtaskfailures.per.tracker. Outras definições de configuração que você pode alterar controlam o número de tentativas para uma tarefa antes de marcá-la como falha: mapreduce.map.max.attempts para tarefas de mapeamento e mapreduce.reduce.maxattempts para tarefas de redução. Para obter mais informações sobre como alterar as configurações, consulte Como configurar aplicativos no Amazon EMR Release Guide.