EMRAmazon-Clusterfehler: Datei konnte nur auf 0 Knoten repliziert werden statt auf 1 - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMRAmazon-Clusterfehler: Datei konnte nur auf 0 Knoten repliziert werden statt auf 1

Wenn in eine Datei geschrieben wirdHDFS, wird sie auf mehrere Kernknoten repliziert. Wenn Sie diesen Fehler sehen, bedeutet das, dass der NameNode Daemon keine verfügbaren DataNode Instanzen hat, in die er Daten schreiben kann. HDFS Mit anderen Worten, es findet keine Block-Replikation statt. Dieser Fehler kann durch eine Reihe von Problemen verursacht werden:

  • Dem HDFS Dateisystem ist möglicherweise der Speicherplatz ausgegangen. Dies ist die wahrscheinlichste Ursache.

  • DataNode Instanzen waren möglicherweise nicht verfügbar, als der Job ausgeführt wurde.

  • DataNode Instanzen wurden möglicherweise für die Kommunikation mit dem Master-Knoten gesperrt.

  • Instances in der Core-Instance-Gruppe sind möglicherweise nicht verfügbar.

  • Berechtigungen können fehlen. Beispielsweise ist der JobTracker Daemon möglicherweise nicht berechtigt, Job-Tracker-Informationen zu erstellen.

  • Die Einstellung für den reservierten Speicherplatz für eine DataNode Instanz ist möglicherweise unzureichend. Stellen Sie fest, ob dies der Fall ist, indem Sie die Konfigurationseinstellung dfs.datanode.du.reserved prüfen.

Um zu überprüfen, ob dieses Problem durch HDFS zu wenig Festplattenspeicher verursacht wird, schauen Sie sich die HDFSUtilization Metrik unter an CloudWatch. Wenn dieser Wert zu hoch ist, können Sie zusätzliche Core-Knoten zum Cluster hinzufügen. Wenn Sie einen Cluster haben, von dem Sie glauben, dass der HDFS Speicherplatz knapp wird, können Sie einen Alarm einrichten, der Sie benachrichtigt, wenn der Wert HDFSUtilization von einen bestimmten Wert überschreitet. CloudWatch Weitere Informationen erhalten Sie unter Manuelles Ändern der Größe eines laufenden Amazon-Clusters EMR und Überwachung von EMR Amazon-Metriken mit CloudWatch.

Wenn HDFS der Platzmangel nicht das Problem war, überprüfen Sie die Protokolle, die DataNode NameNode Protokolle und die Netzwerkkonnektivität auf andere Probleme, die die Datenreplikation hätten HDFS verhindern können. Weitere Informationen finden Sie unter EMRAmazon-Protokolldateien anzeigen.