Adaptive Query Execution を使用する

Spark3.0 以降には、 と呼ばれる追加の最適化レイヤーが含まれていますAdaptive Query Execution (AQE)。クエリの実行中に収集されたメトリクスに基づいてクエリを最適化します。ランタイム統計を使用して、最も効率的な実行計画を選択します。この機能は、Apache Sparkバージョン 3.2.0 以降ではデフォルトで有効になっています。Spark 設定を に設定することでオフにできますspark.sql.adaptive.enabled=false。AQE には、シャッフル後のパーティションの結合、ソートマージ結合のブロードキャスト結合への変換、スキュー結合の最適化の 3 つの主な機能があります。