使用 Adaptive Query Execution

Spark 3.0 及更高版本包括一个额外的优化层，名为 Adaptive Query Execution (AQE)。 它根据查询运行时收集的指标来优化查询。它使用运行时统计数据来选择最高效的执行计划。默认情况下，此功能在中处于启用状态 Apache Spark 版本 3.2.0 及更高版本。你可以通过设置将其关闭 Spark 配置为spark.sql.adaptive.enabled=false。AQE 有三个主要功能：合并洗牌后的分区、将排序合并联接转换为广播联接以及优化倾斜联接。