Amazon EMR 叢集錯誤：HDFS 空間不足錯誤

如果您嘗試移除核心節點，但 Amazon EMR 因為 HDFS 中剩餘的空間不足而無法安全地完成操作，則可能會發生 Hadoop 分散式檔案系統 (HDFS) 空間不足錯誤。在 Amazon EMR 移除核心節點之前，節點上的所有 HDFS 資料都必須傳輸至其他核心節點，以確保資料備援。不過，如果其他核心節點上沒有足夠的複寫空間，Amazon EMR 就無法正常解除委任節點。

可能原因

如需 HDFS 空間不足錯誤可能原因的清單，請參閱下列內容：

• 如果您在縮減之前剩餘節點上沒有足夠的 HDFS 空間進行資料複寫時，手動縮減核心執行個體群組或執行個體機群。

• 當沒有足夠的 HDFS 空間進行資料複寫時，受管擴展或自動擴展會縮減核心執行個體群組或執行個體機群。

• Amazon EMR 會嘗試取代運作狀態不佳的核心節點，但由於 HDFS 空間不足而無法安全地取代節點。

解決方案和最佳實務

如需解決方案和最佳實務，請參閱下列內容：

• 擴展 Amazon EMR 叢集中核心節點的數量。如果您使用受管擴展或自動擴展，請增加核心節點的最小容量。

• 當您建立 EMR 叢集時，請為您的核心節點使用較大的 EBS 磁碟區。

• 刪除 EMR 叢集中不需要的 HDFS 資料。我們建議您設定 CloudWatch HDFSUtilization 警示來監控叢集中的指標，以了解 EMR 叢集的空間是否不足。