Menangani kerugian Instans Spot di Presto

Dengan Instans Spot di Amazon EMR, Anda dapat menjalankan beban kerja big data pada kapasitas Amazon EC2 cadangan dengan biaya yang lebih murah. Sebagai imbalan atas biaya yang lebih rendah, Amazon EC2 dapat mengganggu Instans Spot dengan pemberitahuan dua menit. Ketika Anda mengakhiri sebuah node, Presto dapat memakan waktu hingga 10 menit sebelum mengembalikan kesalahan. Hal ini menyebabkan penundaan yang tidak perlu dalam laporan kesalahan dan kemungkinan percobaan ulang. Pengakhiran cepat adalah fitur yang memberi Anda kontrol atas cara Presto menangani node yang dihentikan.

Tugas koordinator Presto adalah melacak semua node pekerja dengan jajak pendapat reguler status mereka. Tanpa penghentian cepat, koordinator tidak berkonsultasi dengan YARN NodeManager untuk status setiap node. Ini dapat menghasilkan loop coba lagi yang panjang sebelum kueri gagal. Dengan penghentian cepat, koordinator Presto berkonsultasi dengan status node di NodeManager segera setelah jajak pendapat gagal mencapai tuan rumah. Jika NodeManager menunjukkan bahwa node tidak aktif, Presto meninggalkan percobaan ulang lebih lanjut, gagal kueri, dan mengembalikanNODE_DECOMMISSIONEDkesalahan.

Kumpulan parameter konfigurasi berikut memungkinkan Anda untuk mengontrol dan menyesuaikan perilaku Presto jika terjadi penghentian node.

Konfigurasi presto untuk penanganan kegagalan node
Pengaturan	Deskripsi	Default
query.remote-task.max-backoff-duration	Durasi waktu koordinator melanjutkan upaya untuk mengambil status tugas jarak jauh dari node pekerja.	10 menit
query.remote-task.quick-terminate-node-failure	Mengaktifkan kegagalan node cepat jika koordinator tidak dapat mencapai node atau tidak dapat terhubung ke pekerja yang berjalan pada node itu. Nilai dariquery.remote-task.terminate-on-connect-exceptionmenentukan apakah koordinator harus mencapai node atau terhubung ke pekerja. Node gagal dalam kueri dan Amazon EMR menghapus node dari daftar pekerja yang tersedia. Ketika ini terjadi, Anda tidak dapat menggunakan node untuk menjadwalkan kueri baru. Saat Anda menetapkan nilai ini kefalse, Presto kembali ke perilaku sebelumnya di mana koordinator Presto kembali mencoba mencapai node (untukquery.remote-task.max-backoff-duration) sebelum menandai node sebagai tidak tersedia dan gagal kueri yang sedang berlangsung pada node.	true
query.remote-task.terminate-on-connect-exception	Menentukan apakah Amazon EMR harus menjadi node jika host dapat dijangkau tetapi koordinator gagal terhubung ke proses pekerja host. Saat Anda menetapkan nilai ini ketrue, Anda mengaktifkan kegagalan kueri cepat jika host tidak dapat dijangkau.	false