Kesalahan EMR cluster Amazon: File hanya dapat direplikasi ke 0 node, bukan 1

Ketika sebuah file ditulisHDFS, itu direplikasi ke beberapa node inti. Ketika Anda melihat kesalahan ini, itu berarti bahwa NameNode daemon tidak memiliki DataNode instance yang tersedia untuk menulis data ke dalam. HDFS Dengan kata lain, tidak terjadi replikasi blok. Kesalahan ini dapat disebabkan oleh sejumlah masalah:

• Sistem HDFS file mungkin kehabisan ruang. Ini adalah penyebab yang paling mungkin.

• DataNode Contoh mungkin tidak tersedia saat pekerjaan dijalankan.

• DataNode instance mungkin telah diblokir dari komunikasi dengan master node.

• Instans dalam grup instans inti mungkin tidak tersedia.

• Izin mungkin hilang. Misalnya, JobTracker daemon mungkin tidak memiliki izin untuk membuat informasi pelacak pekerjaan.

• Pengaturan ruang cadangan untuk sebuah DataNode instans mungkin tidak cukup. Periksa apakah hal ini yang terjadi dengan memeriksa pengaturan konfigurasi dfs.datanode.du.reserved.

Untuk memeriksa apakah masalah ini disebabkan oleh HDFS kehabisan ruang disk, lihat HDFSUtilization metrik di CloudWatch. Jika nilai ini terlalu tinggi, Anda dapat menambahkan simpul inti tambahan untuk klaster tersebut. Jika Anda memiliki cluster yang menurut Anda mungkin kehabisan ruang HDFS disk, Anda dapat mengatur alarm CloudWatch untuk mengingatkan Anda ketika nilai HDFSUtilization naik di atas tingkat tertentu. Untuk informasi selengkapnya, silakan lihat Mengubah ukuran cluster Amazon EMR yang sedang berjalan secara manual dan Memantau EMR metrik Amazon dengan CloudWatch.

Jika HDFS kehabisan ruang bukan masalahnya, periksa log, DataNode log, dan konektivitas jaringan untuk masalah lain yang dapat HDFS mencegah mereplikasi data. NameNode Untuk informasi selengkapnya, lihat Lihat file EMR log Amazon.