Verwenden von SQL-Fensterfunktionen anstelle von Join und GroupBy

Fensterfunktionen (Spark Dokumentation) führt eine Berechnung über eine Gruppe von Zeilen durch, die als Fenster bezeichnet werden und sich irgendwie auf den aktuellen Datensatz beziehen. Sie können sich beispielsweise in derselben Partition oder demselben Frame wie die aktuelle Zeile befinden. Fensterfunktionen sind in Spark integriert und ähneln Aggregatfunktionen. Aggregatfunktionen wie SUM oder MAX arbeiten mit einer Gruppe von Zeilen und berechnen für jede Gruppe einen einzelnen Rückgabewert. Fensterfunktionen sind nützlich für die Verarbeitung von Aufgaben wie die Berechnung eines gleitenden Durchschnitts oder für den Zugriff auf den Wert von Zeilen auf der Grundlage der relativen Position der aktuellen Zeile.

Das Tool Spark groupByDie Funktion sammelt Daten in Gruppen und führt Aggregatfunktionen für die gruppierten Daten aus. Wenn Sie verwendengroupBy, Spark aggregiert die Daten zunächst teilweise und mischt dann den reduzierten Datensatz. Wenn Sie Fensterfunktionen verwenden, wird der gesamte Datensatz gemischt. Fensterfunktionen können für schnellere Laufzeiten sorgen.

Bei sehr großen Datensätzen werden Fensterfunktionen empfohlen, wenn die Kardinalität der Spalte groß ist. Wenn die Kardinalität der Spalte jedoch klein ist, ist die Datenaggregation gering, und das aggregierte Ergebnis kann in der Verknüpfung übertragen werden.