Usar um SerDe

Um SerDe (serializador/desserializador) é uma maneira na qual o Athena interage com os dados em vários formatos.

É o SerDe especificado por você, e não a DDL, que define o esquema de tabela. Em outras palavras, o SerDe pode substituir a configuração de DDL que você especifica no Athena ao criar a tabela.

Para usar um SerDe em consultas

Para usar um SerDe ao criar uma tabela no Athena, siga um destes métodos:

• Especifique ROW FORMAT DELIMITED e use as instruções DDL para determinar os delimitadores de campo, como no exemplo a seguir. Quando você especifica ROW FORMAT DELIMITED, por padrão, o Athena usa o LazySimpleSerDe.

  ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','
  ESCAPED BY '\\'
  COLLECTION ITEMS TERMINATED BY '|'
  MAP KEYS TERMINATED BY ':'

  Para ver exemplos de ROW FORMAT DELIMITED, consulte os seguintes tópicos:

  LazySimpleSerDe para arquivos CSV, TSV e com delimitação personalizada

  Consultar os logs do Amazon CloudFront

  Consultar os logs do Amazon EMR

  Consultar os logs de fluxo do Amazon VPC

  Usar CTAS e INSERT INTO para ETL e análise de dados

• Use ROW FORMAT SERDE para especificar claramente o tipo de SerDe que o Athena deve usar ao ler e gravar dados na tabela. O exemplo a seguir especifica o LazySimpleSerDe. Para especificar os delimitadores, use WITH SERDEPROPERTIES. As propriedades especificadas por WITH SERDEPROPERTIES correspondem às instruções separadas (como FIELDS TERMINATED BY) no exemplo de ROW FORMAT DELIMITED.

  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
  WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ',',
  'collection.delim' = '|',
  'mapkey.delim' = ':',
  'escape.delim' = '\\'
  )

  Para ver exemplos de ROW FORMAT SERDE, consulte os seguintes tópicos:

  Avro SerDe

  Grok SerDe

  Bibliotecas SerDe JSON

  OpenCSVSerDe para processar CSV

  Regex SerDe