Utilizzo Adaptive Query Execution

Spark 3.0 e versioni successive includono un ulteriore livello di ottimizzazione denominato Adaptive Query Execution (AQE). Ottimizza le query in base alle metriche raccolte durante l'esecuzione delle query. Utilizza le statistiche di runtime per scegliere il piano di esecuzione più efficiente. Questa funzionalità è abilitata per impostazione predefinita in Apache Spark versione 3.2.0 e successive. È possibile disattivarlo impostando il Spark configurazione suspark.sql.adaptive.enabled=false. AQE ha tre caratteristiche principali: la fusione delle partizioni post-shuffle, la conversione degli sort-merge join in broadcast join e l'ottimizzazione degli skew join.