Utilisation Adaptive Query Execution

Spark La version 3.0 et les versions ultérieures incluent une couche d'optimisation supplémentaire appelée Adaptive Query Execution (AQE). Il optimise les requêtes en fonction des métriques collectées lors de l'exécution des requêtes. Il utilise les statistiques d'exécution pour sélectionner le plan d'exécution le plus efficace. Cette fonctionnalité est activée par défaut dans Apache Spark version 3.2.0 et versions ultérieures. Vous pouvez le désactiver en réglant le Spark configuration pourspark.sql.adaptive.enabled=false. L'AQE possède trois fonctionnalités principales : la fusion de partitions post-shuffle, la conversion des jointures par triage en jointures de diffusion et l'optimisation des jointures asymétriques.