Utilización Adaptive Query Execution

Spark La versión 3.0 y las versiones posteriores incluyen una capa adicional de optimización que se denomina Adaptive Query Execution (AQE). Optimiza las consultas en función de las métricas que se recopilan durante el tiempo de ejecución de la consulta. Utiliza las estadísticas de tiempo de ejecución para elegir el plan de ejecución más eficiente. Esta función está habilitada de forma predeterminada en Apache Spark versión 3.2.0 y posteriores. Puede desactivarlo configurando el Spark configuración paraspark.sql.adaptive.enabled=false. AQE tiene tres características principales: unir particiones después de la mezcla, convertir las uniones de clasificación y fusión en uniones de transmisión y optimizar las uniones sesgadas.