Menangani kehilangan Instans Spot di Presto - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menangani kehilangan Instans Spot di Presto

Dengan Instans Spot di Amazon EMR, Anda dapat menjalankan beban kerja big data pada kapasitas Amazon EC2 cadangan dengan biaya yang lebih rendah. Dengan imbalan biaya yang lebih rendah, Amazon EC2 dapat mengganggu Instans Spot dengan notifikasi dua menit. Ketika Anda mengakhiri node, Presto dapat memakan waktu hingga 10 menit sebelum mengembalikan kesalahan. Hal ini menyebabkan keterlambatan yang tidak perlu dalam laporan kesalahan dan kemungkinan percobaan ulang. terminasi cepat adalah fitur yang memberikan Anda kontrol atas cara Presto menangani node diakhiri.

Tugas koordinator Presto adalah untuk melacak semua node pekerja dengan jajak pendapat reguler status mereka. Tanpa terminasi cepat, koordinator tidak berkonsultasi dengan YARN NodeManager untuk status setiap node. Hal ini dapat mengakibatkan percobaan ulang loop panjang sebelum query gagal. Dengan penghentian cepat, koordinator Presto berkonsultasi status simpul di NodeManager segera setelah jajak pendapat gagal mencapai tuan rumah. Jika NodeManager menunjukkan bahwa node tidak aktif, Presto meninggalkan percobaan lebih lanjut, gagal query, dan mengembalikanNODE_DECOMMISSIONED kesalahan.

Set berikut parameter konfigurasi memungkinkan Anda untuk mengontrol dan menyesuaikan perilaku Presto dalam hal node terminasi.

Konfigurasi presto untuk penanganan kegagalan node
Pengaturan Deskripsi Default
query.remote-task.max-backoff-duration Durasi waktu koordinator terus mencoba untuk mengambil status tugas jarak jauh dari node pekerja. 10 menit
query.remote-task.quick-terminate-node-failure

Mengaktifkan kegagalan node cepat jika koordinator tidak dapat mencapai node atau tidak dapat terhubung ke pekerja yang berjalan pada node itu. Nilaiquery.remote-task.terminate-on-connect-exception menentukan apakah koordinator harus mencapai node atau terhubung ke pekerja.

Node gagal kueri dan Amazon EMR menghapus node dari daftar pekerja yang tersedia. Ketika ini terjadi, Anda tidak dapat menggunakan node untuk menjadwalkan query baru.

Ketika Anda menetapkan nilai inifalse, Presto kembali ke perilaku sebelumnya di mana koordinator Presto lagi mencoba untuk mencapai node (untukquery.remote-task.max-backoff-duration) sebelum menandai node sebagai tidak tersedia dan gagal query yang sedang berlangsung pada node.

true
query.remote-task.terminate-on-connect-exception Menentukan apakah Amazon EMR harus sebuah node jika host dapat dijangkau tetapi koordinator gagal terhubung ke proses pekerja host. Saat Anda menetapkan nilai initrue, Anda mengaktifkan kegagalan kueri cepat jika host tidak dapat dijangkau. false