Adaptive Query Execution 사용하기 - AWS 권장 가이드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Adaptive Query Execution 사용하기

Spark3.0 이상에는 라고 하는 추가 최적화 계층이 포함되어 있습니다Adaptive Query Execution (AQE). 쿼리 런타임 중에 수집된 지표를 기반으로 쿼리를 최적화합니다. 런타임 통계를 사용하여 가장 효율적인 실행 계획을 선택합니다. 이 기능은 Apache Spark 버전 3.2.0 이상에서 기본적으로 활성화됩니다. Spark 구성을 로 설정하여 끌 수 있습니다spark.sql.adaptive.enabled=false. AQE에는 셔플 후 파티션 병합, 정렬 병합 조인을 브로드캐스트 조인으로 변환, 스큐 조인 최적화라는 세 가지 주요 기능이 있습니다.