Penggunaan Adaptive Query Execution - AWS Panduan Preskriptif

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Penggunaan Adaptive Query Execution

Spark 3.0 dan yang lebih baru mencakup lapisan optimasi tambahan yang disebut Adaptive Query Execution (AQE). Ini mengoptimalkan kueri berdasarkan metrik yang dikumpulkan selama runtime kueri. Ini menggunakan statistik runtime untuk memilih rencana eksekusi yang paling efisien. Fitur ini diaktifkan secara default di Apache Spark versi 3.2.0 dan yang lebih baru. Anda dapat mematikannya dengan mengatur Spark konfigurasi kespark.sql.adaptive.enabled=false. AQE memiliki tiga fitur utama: menggabungkan partisi pasca-shuffle, mengonversi gabungan sort-merge menjadi gabungan siaran, dan mengoptimalkan gabungan miring.