檔案只能複製到 0 個節點，而不是 1 個 - Amazon EMR

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

檔案只能複製到 0 個節點，而不是 1 個

當一個文件被寫入HDFS，它被複製到多個核心節點。當您看到此錯誤時，表示 NameNode 協助程式沒有任何可用的 DataNode執行個體可將資料寫入中HDFS。意即並未發生區塊複寫。這錯誤可能是由於多個問題所致：

  • 檔HDFS案系統可能空間不足。這是最可能的原因。

  • DataNode 執行工作時，執行個體可能無法使用。

  • DataNode 執行個體可能已遭到封鎖，無法與主節點通訊。

  • 在核心執行個體群組中的執行個體可能無法使用。

  • 可能遺失權限。例如， JobTracker 協助程式可能沒有建立工作追蹤器資訊的權限。

  • 執行個體的保留空間設 DataNode 定可能不足。透過檢查 dfs.datanode.du.reserved 組態設定來檢查是否屬於這種情況。

若要檢查此問題是否因磁碟空間不足而造成，請查看中的HDFSUtilization度量 CloudWatch。HDFS若此數值過高，您可新增額外核心節點至該叢集。如果您認為可能會耗盡HDFS磁碟空間的叢集，您可以在中設定警示， CloudWatch 以在值上HDFSUtilization升超過特定層級時提醒您。如需詳細資訊，請參閱 手動調整執行中叢集大小 和 使用監控 Amazon EMR 指標 CloudWatch。

如果HDFS空間不足不是問題，請檢查 DataNode 記錄檔、記錄 NameNode檔和網路連線是否有其他可能無法複寫資料HDFS的問題。如需詳細資訊，請參閱檢視 日誌檔。