Verbessern der Spark Leistung mit Amazon S3

Amazon EMR bietet Features, mit denen die Leistung optimiert werden kann, wenn Spark für Abfragen und Lese- bzw. Schreiboperationen über Daten in Amazon S3 verwendet wird.

S3 Select kann in einigen Anwendungen die Abfrageleistung bei CSV- und JSON-Dateien verbessern, indem die Verarbeitung an Amazon S3 ausgelagert wird.

Der EMRFS S3-optimierte Committer ist eine Alternative zu der OutputCommitterKlasse, die die Funktion für mehrteilige Uploads von EMRFS verwendet, um die Leistung beim Schreiben von Parquet-Dateien auf Amazon S3 mithilfe von Spark SQL, und Datasets zu verbessern. DataFrames

Themen

• S3 Select mit Spark zur Verbesserung der Leistung bei Abfragen verwenden
• EMRFS-S3-optimierte Committer verwenden
• Verwenden Sie das EMRFS-S3-optimierte Commit-Protokoll
• Amazon-S3-Anforderungen mit EMRFS wiederholen