HDFSkesalahan ruang tidak cukup

Kesalahan ruang yang tidak mencukupi Sistem File Terdistribusi Hadoop (HDFS) dapat terjadi jika Anda mencoba menghapus node inti, tetapi Amazon tidak EMR dapat menyelesaikan operasi dengan aman karena ruang yang tidak memadai yang tersisa di. HDFS Sebelum Amazon EMR menghapus node inti, semua HDFS data pada node harus ditransfer ke node inti lainnya untuk memastikan redundansi data. Namun, jika tidak ada cukup ruang pada node inti lainnya untuk replikasi, Amazon tidak EMR dapat menonaktifkan node dengan anggun.

Kemungkinan penyebab

Lihat berikut ini untuk daftar kemungkinan penyebab kesalahan ruang yang HDFS tidak mencukupi:

• Jika Anda secara manual menurunkan grup instans inti atau armada instance ketika tidak ada cukup HDFS ruang pada node yang tersisa untuk replikasi data sebelum skala turun.

• Penskalaan terkelola atau penskalaan otomatis menurunkan grup instans inti atau armada instans ketika tidak ada cukup HDFS ruang untuk replikasi data.

• Amazon EMR mencoba mengganti node inti yang tidak sehat tetapi tidak dapat mengganti node dengan aman karena HDFS ruang yang tidak mencukupi.

Solusi dan praktik terbaik

Lihat berikut ini untuk solusi dan praktik terbaik:

• Tingkatkan jumlah node inti di EMR cluster Amazon Anda. Jika Anda menggunakan penskalaan terkelola atau penskalaan otomatis, tingkatkan kapasitas minimum node inti Anda.

• Gunakan EBS volume yang lebih besar untuk node inti Anda saat Anda membuat EMR cluster Anda.

• Hapus HDFS data yang tidak dibutuhkan di EMR klaster Anda. Kami menyarankan Anda mengatur CloudWatch alarm untuk memantau HDFSUtilization metrik di klaster Anda untuk mengetahui apakah ruang EMR klaster Anda kekurangan ruang.