Menggunakan penskalaan otomatis Presto dengan Graceful Decommission - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Menggunakan penskalaan otomatis Presto dengan Graceful Decommission

Rilis Amazon EMR versi 5.30.0 dan kemudian menyertakan fitur yang dapat Anda gunakan untuk menetapkan masa tenggang untuk tindakan penskalaan tertentu. Masa tenggang memungkinkan tugas Presto untuk terus berjalan sebelum node berakhir karena tindakan skala-in mengubah ukuran atau permintaan kebijakan skala otomatis. Untuk informasi selengkapnya tentang aturan penskalaan, lihat Memahami aturan skala otomatis dalam Amazon EMR. Presto autoscaling dengan anggun Dekommission mencegah tugas-tugas baru dari yang dijadwalkan pada node yang menonaktifkan, sementara pada saat yang sama memungkinkan tugas-tugas yang sudah berjalan untuk menyelesaikan sebelum mematikan timeout tercapai. Query yang berjalan akan menyelesaikan eksekusi sebelum node dinonaktifkan. Autoscaling tidak didukung pada armada misalnya.

Anda dapat mengontrol berapa banyak waktu untuk memungkinkan tugas Presto untuk menyelesaikan setelah autoscale mematikan permintaan diterima. Secara default, menutup batas waktu untuk Amazon EMR adalah 0 menit, yang berarti bahwa Amazon EMR segera berakhir node dan setiap tugas Presto berjalan di atasnya, jika diperlukan oleh permintaan skala-in. Untuk mengatur timeout lebih lama untuk tugas Presto di Amazon EMR untuk memungkinkan menjalankan query untuk menyelesaikan sebelum skala ke bawah cluster, gunakan presto-config klasifikasi konfigurasi untuk mengatur graceful-shutdown-timeout parameter untuk nilai dalam detik atau menit lebih besar dari nol. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.

Sebagai contoh, meningkatkan graceful-shutdown-timeout Nilai untuk "30m" menentukan jangka waktu habis 30 menit. Setelah menutup batas waktu berakhir, node ditandai untuk menonaktifkan paksa dihentikan jika menunggu permintaan tugas untuk menyelesaikan, dan permintaan gagal. Jika tugas query selesai dalam lima menit, node ditandai untuk dekomisioning berakhir pada lima menit, asalkan aplikasi YARN lainnya telah menyelesaikan eksekusi.

contoh Contoh konfigurasi Presto autoscale dengan anggun Decommission

Ganti graceful-shutdown-timeout nilai dengan jumlah menit yang sesuai untuk setup Anda. Tidak ada nilai maksimum. Contoh di bawah ini menetapkan nilai timeout 1800 detik (30 menit).

[ { "classification": "presto-config", "properties": { "graceful-shutdown-timeout": "1800s" } } ]

Keterbatasan

PrestoDB anggun dekommission tidak bekerja pada cluster EMR di mana konektivitas HTTP dinonaktifkan, seperti ketika http-server.http.enabled diatur ke false. Trino tidak mendukung Dekomusi Anggun sama sekali, terlepas darihttp-server.http.enabled pengaturan.