Il file può essere replicato solo su 0 nodi invece di 1 - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Il file può essere replicato solo su 0 nodi invece di 1

Un file scritto in HDFS viene replicato in più nodi principali. Quando viene visualizzato questo errore, significa cheNameNodeil demone non ne ha nessuno disponibileDataNodeistanze su cui scrivere dati in HDFS. In altre parole, la replica dei blocchi non viene eseguita. Questo errore può essere causato da diversi problemi:

  • Possibile mancanza di spazio libero per il filesystem HDFS. Questa è la causa più probabile.

  • DataNodele istanze potrebbero non essere disponibili quando il processo è stato eseguito.

  • DataNodele istanze potrebbero essere state bloccate dalla comunicazione con il nodo master.

  • Istanze non disponibili nel gruppo di istanze principale.

  • Possibile mancanza di autorizzazioni. Ad esempio,JobTrackeril demone potrebbe non disporre delle autorizzazioni per creare informazioni sul job tracker.

  • L'impostazione dello spazio riservato perDataNodel'istanza potrebbe essere insufficiente. Controlla se questo è il caso verificando l'impostazione di configurazione dfs.datanode.du.reserved.

Per verificare se il problema è causato dall'esaurimento dello spazio su disco per HDFS, esamina il parametro HDFSUtilization in CloudWatch. Se questo valore è troppo elevato, puoi aggiungere altri nodi principali al cluster. Se disponi di un cluster che pensi potrebbe esaurire lo spazio su disco HDFS, puoi impostare un allarme in CloudWatch per avvisare quando il valore di HDFSUtilization supera un livello specificato. Per ulteriori informazioni, consultare Ridimensionamento manuale di un cluster in esecuzione e Monitoraggio delle metriche di Amazon EMR conCloudWatch.

Se il problema non era l'esaurimento dello spazio di HDFS, controllaDataNoderegistri, ilNameNoderegistri e connettività di rete per altri problemi che avrebbero potuto impedire a HDFS di replicare i dati. Per ulteriori informazioni, consulta Visualizzare file di log di .