Migliorare le prestazioni di Spark con Amazon S3

Amazon EMR offre funzionalità che aiutano a ottimizzare le prestazioni quando si utilizza Spark per interrogare, leggere e scrivere dati salvati in Amazon S3.

S3 Select può migliorare le prestazioni delle query CSV e JSON dei file in alcune applicazioni «trasferendo» l'elaborazione ad Amazon S3.

Il committer EMRFS ottimizzato per S3 è un'alternativa alla OutputCommitterclasse, che utilizza la funzionalità di caricamento multiparte di EMRFS per migliorare le prestazioni durante la scrittura di file Parquet su Amazon S3 utilizzando Spark e Datasets. SQL DataFrames

Argomenti

• Usare S3 Select con Spark per migliorare le prestazioni delle query
• Usa il committer ottimizzato per S3 EMRFS
• Usa il protocollo di commit ottimizzato per S3 EMRFS
• Riprova le richieste Amazon S3 con EMRFS