Melhorar a performance do Spark com Amazon S3

O Amazon EMR oferece atributos para ajudar na otimização da performance ao usar o Spark para consultar, ler e gravar dados salvos no Amazon S3.

O S3 Select pode melhorar a performance de consultas para arquivos CSV e JSON em algumas aplicações ao enviar o processamento para o Amazon S3.

O committer otimizado para EMRFS S3 é uma alternativa à OutputCommitterclasse, que usa o recurso de uploads de várias partes do EMRFS para melhorar o desempenho ao gravar arquivos Parquet no Amazon S3 usando Spark, SQL e conjuntos de dados. DataFrames

Tópicos

• Usar o S3 Select com Spark para melhorar a performance das consultas
• Usar o confirmador otimizado para EMRFS S3
• Use o protocolo de confirmação otimizada para EMRFS S3
• Tentar novamente solicitações do Amazon S3 com EMRFS