O uso do Adaptive Query Execution - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O uso do Adaptive Query Execution

Spark 3.0 e versões posteriores incluem uma camada adicional de otimização chamada Adaptive Query Execution (AQE). Ele otimiza as consultas com base nas métricas coletadas durante o tempo de execução da consulta. Ele usa as estatísticas de tempo de execução para escolher o plano de execução mais eficiente. Esse recurso é ativado por padrão no Apache Spark versão 3.2.0 e posterior. Você pode desligá-lo definindo o Spark configuração paraspark.sql.adaptive.enabled=false. O AQE tem três recursos principais: coalescência de partições pós-aleatório, conversão de junções de classificação e mesclagem em junções de transmissão e otimização de junções inclinadas.