Il file può essere replicato solo su 0 nodi invece di 1

Quando un file viene scrittoHDFS, viene replicato su più nodi principali. Quando viene visualizzato questo errore, significa che il NameNode demone non dispone di DataNode istanze disponibili in cui scrivere dati. HDFS In altre parole, la replica dei blocchi non viene eseguita. Questo errore può essere causato da diversi problemi:

• È possibile che lo HDFS spazio nel file system sia esaurito. Questa è la causa più probabile.

• DataNode le istanze potrebbero non essere disponibili al momento dell'esecuzione del processo.

• DataNode le istanze potrebbero essere state bloccate dalla comunicazione con il nodo master.

• Istanze non disponibili nel gruppo di istanze principale.

• Possibile mancanza di autorizzazioni. Ad esempio, il JobTracker demone potrebbe non disporre delle autorizzazioni per creare informazioni sul job tracker.

• L'impostazione dello spazio riservato per un' DataNode istanza potrebbe essere insufficiente. Controlla se questo è il caso verificando l'impostazione di configurazione dfs.datanode.du.reserved.

Per verificare se questo problema è causato dall'HDFSesaurimento dello spazio su disco, guarda la HDFSUtilization metrica in CloudWatch. Se questo valore è troppo elevato, puoi aggiungere altri nodi principali al cluster. Se hai un cluster che pensi possa esaurire lo spazio HDFS su disco, puoi impostare un allarme CloudWatch per avvisarti quando il valore di HDFSUtilization supera un certo livello. Per ulteriori informazioni, consulta Ridimensiona manualmente un cluster in esecuzione e Monitoraggio delle EMR metriche di Amazon con CloudWatch.

Se il problema non era l'HDFSesaurimento dello spazio, controlla DataNode nei log, nei NameNode log e nella connettività di rete altri problemi che avrebbero potuto impedire HDFS la replica dei dati. Per ulteriori informazioni, consulta Visualizzare file di log di .