Die Verwendung von Adaptive Query Execution - AWS Präskriptive Leitlinien

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die Verwendung von Adaptive Query Execution

Spark 3.0 und höher beinhalten eine zusätzliche Optimierungsebene, die Adaptive Query Execution (AQE). Es optimiert Abfragen auf der Grundlage der Metriken, die während der Laufzeit der Abfrage erfasst werden. Es verwendet die Laufzeitstatistiken, um den effizientesten Ausführungsplan auszuwählen. Diese Funktion ist standardmäßig aktiviert in Apache Spark Version 3.2.0 und höher. Sie können es ausschalten, indem Sie den Spark Konfiguration aufspark.sql.adaptive.enabled=false. AQE hat drei Hauptfunktionen: das Zusammenführen von Partitionen nach dem Zufügen von Partitionen, das Konvertieren von Sort-Merge-Joins in Broadcast-Joins und das Optimieren von Skew-Joins.