File could only be replicated to 0 nodes instead of 1

Cuando se escribe un archivoHDFS, se replica en varios nodos principales. Si aparece este error, significa que el NameNode daemon no tiene ninguna DataNode instancia disponible en la que escribir datos. HDFS En otras palabras, la replicación de bloques no se está produciendo. Este error puede deberse a una serie de problemas:

• Es posible que el HDFS sistema de archivos se haya quedado sin espacio. Esta es la causa más probable.

• DataNode es posible que las instancias no estuvieran disponibles cuando se ejecutó el trabajo.

• DataNode Es posible que se haya bloqueado la comunicación de las instancias con el nodo maestro.

• Las instancias del grupo de instancias secundarias podrían no estar disponibles.

• Es posible que falten permisos. Por ejemplo, es posible que el JobTracker daemon no tenga permisos para crear información sobre el registro de tareas.

• La configuración de espacio reservado para una DataNode instancia puede ser insuficiente. Compruebe si este es el caso comprobando la opción de configuración dfs.datanode.du.reserved.

Para comprobar si este problema se debe a HDFS la falta de espacio en disco, consulta la HDFSUtilization métrica incluida en CloudWatch. Si este valor es demasiado alto, puede añadir nodos secundarios adicionales en el clúster. Si tiene un clúster y cree que podría quedarse sin espacio en HDFS disco, puede configurar una alarma CloudWatch para que le avise cuando el valor de HDFSUtilization supere un nivel determinado. Para obtener más información, consulte Cambie manualmente el tamaño de un clúster en ejecución y Monitorear EMR las métricas de Amazon con CloudWatch.

Si el problema no era HDFS quedarse sin espacio, compruebe los registros, los DataNode NameNode registros y la conectividad de la red para ver si hay otros problemas que pudieran haber impedido la replicación HDFS de los datos. Para obtener más información, consulte Ver archivos de registro de .