File could only be replicated to 0 nodes instead of 1 (ファイルは 1 ノードではなく 0 ノードにのみレプリケートできる)

ファイルが HDFS に書き込まれるとき、複数のコアノードに複製されます。このエラーが発生すると、 NameNode デーモンに HDFS にデータを書き込むための DataNode インスタンスがありません。言い換えれば、ブロックレプリケーションが行われていません。このエラーは次のようなさまざまな問題から発生する場合があります。

• HDFS ファイルシステムに容量不足が発生している可能性があります。これが最も一般的な原因です。

• ジョブの実行時に DataNode インスタンスを利用できなかった可能性があります。

• DataNode インスタンスとマスターノードとの通信がブロックされた可能性があります。

• コアインスタンスグループのインスタンスが利用できない可能性があります。

• 権限が不足している可能性があります。たとえば、 JobTracker デーモンにジョブトラッカー情報を作成する権限がない可能性があります。

• の予約容量設定 DataNode インスタンスが不十分である可能性があります。これに該当するかどうかは、dfs.datanode.du.reserved 設定で確認します。

この問題が HDFS のディスク容量不足により引き起こされているかどうかを確認するには、CloudWatch の HDFSUtilization メトリクスを調べます。この値が高すぎる場合、クラスターにコアノードを追加できます。HDFS ディスク容量が不足していると考えられるクラスターがある場合、にアラームを設定できます。 CloudWatch の価値がいつ警告するかHDFSUtilization一定のレベルを上回る。詳細については、実行中のクラスターのサイズを手動で変更する および CloudWatch によるメトリクスのモニタリング を参照してください。

HDFS の空き容量不足が問題でなかった場合は、 DataNode HDFS のデータ複製を阻害している問題が他にないかについて、ログ、NameNode ログ、ネットワーク接続を行います。詳細については、「 ログファイルを表示する」を参照してください。