HDFS スペース不足エラー

Hadoop Distributed File System (HDFS) のスペース不足エラーは、コアノードを削除しようとしても、Amazon EMR が に残っているスペースが不足しているため、オペレーションを安全に完了できない場合に発生する可能性がありますHDFS。Amazon がコアノードEMRを削除する前に、ノード上のすべてのHDFSデータを他のコアノードに転送して、データの冗長性を確保する必要があります。ただし、他のコアノードにレプリケーション用の十分なスペースがない場合、Amazon EMRはノードを正常に廃止できません。

考えられる原因

スペースHDFS不足エラーの考えられる原因のリストについては、以下を参照してください。

• スケールダウン前に残りのノードにデータレプリケーション用の十分なHDFSスペースがない場合に、コアインスタンスグループまたはインスタンスフリートを手動でスケールダウンする場合。

• マネージドスケーリングまたは自動スケーリングは、データレプリケーションに十分なHDFSスペースがない場合に、コアインスタンスグループまたはインスタンスフリートをスケールダウンします。

• Amazon は異常なコアノードを置き換えEMRようとしますが、HDFSスペースが不足しているため、ノードを安全に置き換えることができません。

ソリューションとベストプラクティス

ソリューションとベストプラクティスについては、以下を参照してください。

• Amazon EMRクラスター内のコアノードの数をスケールアップします。マネージドスケーリングまたは自動スケーリングを使用する場合は、コアノードの最小容量を増やします。

• EMR クラスターを作成するときは、コアノードにより大きなEBSボリュームを使用します。

• EMR クラスター内の不要なHDFSデータを削除します。クラスターの HDFSUtilization メトリクスをモニタリングして、EMRクラスターのスペースが不足していないかどうかを確認するように CloudWatch アラームを設定することをお勧めします。