Mejora del rendimiento de Spark con Amazon S3

Amazon EMR ofrece funciones que ayudan a optimizar el rendimiento al utilizar Spark para consultar, leer y escribir datos guardados en Amazon S3.

S3 Select puede mejorar el rendimiento de las consultas CSV y JSON los archivos en algunas aplicaciones al «reducir» el procesamiento a Amazon S3.

El EMRFS compilador optimizado para S3 es una alternativa a la OutputCommitterclase, que utiliza la función de cargas multiparte EMRFS para mejorar el rendimiento al escribir archivos de Parquet en Amazon S3 mediante Spark y Datasets. DataFrames

Temas

• Uso de S3 Select con Spark para mejorar el rendimiento de las consultas
• Utilice el compilador EMRFS optimizado para S3
• Usa el protocolo de confirmación optimizado para S3 EMRFS
• Vuelva a intentar las solicitudes de Amazon S3 con EMRFS