Converter em formatos colunares
A performance da consulta do Amazon Athena melhora quando os dados são convertidos em formatos colunares de código aberto, como Apache Parquet
As opções para converter facilmente dados de origem, como JSON ou CSV, em um formato colunar, incluem o uso de consultas CREATE TABLE AS ou a execução de trabalhos no AWS Glue.
-
Você pode usar consultas (CTAS)
CREATE TABLE AS
para converter dados em Parquet ou ORC em uma única etapa. Para ver um exemplo, consulte Exemplo: gravar resultados da consulta em um formato diferente na página Exemplos de consultas CTAS. -
Para obter informações sobre como executar um trabalho do AWS Glue para transformar dados CSV em Parquet, consulte a seção “Transformar dados CSV em formato Parquet” na publicação Construir a fundação de um data lake com o AWS Glue e o Amazon S3
no blog sobre big data da AWS. O AWS Glue oferece suporte à mesma técnica para converter dados CSV em ORC ou dados JSON em Parquet ou ORC.