SerDe 引用

Athena 支持多个 SerDe（序列化器/反序列化器）库，这些库可以解析 CSV、JSON、Parquet 和 ORC 等不同数据格式的数据。在 Athena 中创建表时，可以指定与数据格式对应的 SerDe。Athena 不支持自定义 SerDes。

使用 SerDe 创建表

要在 Athena 中创建表时使用 SerDe，请使用以下方法之一：

• 指定 ROW FORMAT DELIMITED，然后使用 DDL 语句指定字段分隔符，如下例所示。当您指定 ROW FORMAT DELIMITED，Athena 在预设情况下使用 LazySimpleSerDe。

  ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY ','
  ESCAPED BY '\\'
  COLLECTION ITEMS TERMINATED BY '|'
  MAP KEYS TERMINATED BY ':'

  对于示例 ROW FORMAT DELIMITED，请参阅以下主题：

  用于 CSV、TSV 和自定义分隔文件的 LazySimpleSerDe

  查询 Amazon CloudFront 日志

  查询 Amazon EMR 日志

  查询 Amazon VPC 流日志

  将 CTAS 和 INSERT INTO 用于 ETL 和数据分析

• 使用 ROW FORMAT SERDE 显式在向表中读取和写入数据时 Athena 应使用的 SerDe 类型。以下示例指定 LazySimpleSerDe。要指定分隔符，请使用 WITH SERDEPROPERTIES。WITH SERDEPROPERTIES 指定的属性对应于 ROW FORMAT DELIMITED 示例中的单独的语句（如 FIELDS TERMINATED BY）。

  ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
  WITH SERDEPROPERTIES (
  'serialization.format' = ',',
  'field.delim' = ',',
  'collection.delim' = '|',
  'mapkey.delim' = ':',
  'escape.delim' = '\\'
  )

  对于示例 ROW FORMAT SERDE，请参阅以下主题：

  Avro SerDe

  Grok SerDe

  JSON SerDe 库

  用于处理 CSV 的 OpenCSVSerDe

  Regex SerDe

主题

• 支持的 SerDes 和数据格式