Améliorer les performances de Spark avec Amazon S3

Amazon EMR propose des fonctionnalités pour aider à optimiser la performance lors de l'utilisation de Spark pour demander, lire et écrire des données enregistrées dans Amazon S3.

S3 Select peut améliorer la performance de requête pour les fichiers CSV et JSON dans certaines applications en « poussant vers le bas » le traitement à Amazon S3.

Le committer optimisé pour EMRFS S3 est une alternative à la OutputCommitterclasse, qui utilise la fonctionnalité de téléchargement en plusieurs parties d'EMRFS pour améliorer les performances lors de l'écriture de fichiers Parquet sur Amazon S3 à l'aide de Spark SQL et de Datasets. DataFrames

Rubriques

• Utilisation de S3 Select avec Spark pour améliorer les performances des requêtes
• Utilisation d'un valideur EMRFS optimisé pour S3
• Utiliser le protocole de validation optimisé pour EMRFS S3
• Réessayer de demander Amazon S3 avec EMRFS