Menggunakan penskalaan otomatis Presto dengan Graceful Decommission

Amazon EMR merilis versi 5.30.0 dan yang lebih baru menyertakan fitur yang dapat Anda gunakan untuk menetapkan masa tenggang untuk tindakan penskalaan tertentu. Masa tenggang memungkinkan tugas Presto untuk terus berjalan sebelum node berakhir karena tindakan skala-in mengubah ukuran atau permintaan kebijakan skala otomatis. Untuk informasi selengkapnya tentang aturan penskalaan, lihat Memahami aturan penskalaan otomatis di Panduan EMRManajemen Amazon. Presto autoscaling dengan anggun Dekommission mencegah tugas-tugas baru dari yang dijadwalkan pada node yang menonaktifkan, sementara pada saat yang sama memungkinkan tugas-tugas yang sudah berjalan untuk menyelesaikan sebelum mematikan timeout tercapai. Query yang berjalan akan menyelesaikan eksekusi sebelum node dinonaktifkan. Autoscaling tidak didukung pada armada misalnya.

Anda dapat mengontrol berapa banyak waktu untuk memungkinkan tugas Presto untuk menyelesaikan setelah autoscale mematikan permintaan diterima. Secara default, batas waktu penutupan untuk Amazon EMR adalah 0 menit, yang berarti Amazon EMR segera menghentikan node dan tugas Presto apa pun yang berjalan di dalamnya, jika diperlukan oleh permintaan scale-in. Untuk menetapkan batas waktu yang lebih lama untuk tugas Presto di Amazon EMR agar kueri yang berjalan selesai sebelum memperkecil klaster, gunakan klasifikasi presto-config konfigurasi untuk menyetel graceful-shutdown-timeout parameter ke nilai dalam hitungan detik atau menit lebih besar dari nol. Untuk informasi selengkapnya, lihat Konfigurasikan aplikasi.

Sebagai contoh, meningkatkan graceful-shutdown-timeout Nilai untuk "30m" menentukan jangka waktu habis 30 menit. Setelah menutup batas waktu berakhir, node ditandai untuk menonaktifkan paksa dihentikan jika menunggu permintaan tugas untuk menyelesaikan, dan permintaan gagal. Jika tugas kueri selesai dalam lima menit, node yang ditandai untuk penonaktifan berakhir pada lima menit, asalkan YARN aplikasi lain telah menyelesaikan eksekusi.

contoh Contoh konfigurasi Presto autoscale dengan anggun Decommission

Ganti graceful-shutdown-timeout nilai dengan jumlah menit yang sesuai untuk setup Anda. Tidak ada nilai maksimum. Contoh di bawah ini menetapkan nilai timeout 1800 detik (30 menit).

[
    {
        "classification": "presto-config",
        "properties": {
            "graceful-shutdown-timeout": "1800s"
        }
    }
]
            

Batasan

PrestoDB Graceful Decommission tidak bekerja EMR pada cluster di HTTP mana konektivitas dinonaktifkan, seperti ketika diatur ke. http-server.http.enabled false Trino sama sekali tidak mendukung Graceful Decommission, terlepas dari pengaturannya. http-server.http.enabled