Amazon Athena
ユーザーガイド

JSON SerDe ライブラリ

Athena では、以下の 2 つの SerDe ライブラリを使用して JSON のデータを処理できます。

SerDe 名

Hive-JsonSerDe

Openx-JsonSerDe

ライブラリ名

以下のいずれかを使用します。

org.apache.hive.hcatalog.data.JsonSerDe

org.openx.data.jsonserde.JsonSerDe

Hive JSON SerDe

Hive JSON SerDe では、JSON データを代表的なイベントとして処理します。これらのイベントは、改行で区切られた JSON エンコード形式のテキストブロックとして表現されます。

Hive JSON SerDe では、より複雑なネスト構造の JSON エンコード形式のデータを解析することもできます。ただし、これには複雑なデータ型に対応する DDL が必要です。「例 : ネスト JSON の逆シリアル化」を参照してください。

注記

Athena を実行するリージョン以外のリージョンのデータをクエリすることができます。Athena の標準料金に加えて、Amazon S3 の標準のリージョン間データ転送料金が適用されます。データ転送料金を削減するには、s3://athena-examples-myregion/path/to/data/myregion を、たとえば、s3://athena-examples-us-east-1/path/to/data/ のように Athena を実行するリージョン識別子に置き換えます。

次の DDL ステートメントでは Hive JSON SerDe を使用しています。

CREATE EXTERNAL TABLE impressions ( requestbegintime string, adid string, impressionid string, referrer string, useragent string, usercookie string, ip string, number string, processid string, browsercookie string, requestendtime string, timers struct < modellookup:string, requesttime:string >, threadid string, hostname string, sessionid string ) PARTITIONED BY (dt string) ROW FORMAT serde 'org.apache.hive.hcatalog.data.JsonSerDe' with serdeproperties ( 'paths'='requestbegintime, adid, impressionid, referrer, useragent, usercookie, ip' ) LOCATION 's3://myregion.elasticmapreduce/samples/hive-ads/tables/impressions';

OpenX JSON SerDe

この SerDe には以下の便利なプロパティがあります。これらを Athena でテーブルを作成するときに指定し、データの不整合に対処できます。

  • 'ignore.malformed.json'TRUE に設定すると、不正な形式の JSON 構文を無視できます。

次の DDL ステートメントでは OpenX JSON SerDe を使用しています。

CREATE EXTERNAL TABLE impressions ( requestbegintime string, adid string, impressionId string, referrer string, useragent string, usercookie string, ip string, number string, processid string, browsercokie string, requestendtime string, timers struct< modellookup:string, requesttime:string>, threadid string, hostname string, sessionid string ) PARTITIONED BY (dt string) ROW FORMAT serde 'org.openx.data.jsonserde.JsonSerDe' with serdeproperties ( 'paths'='requestbegintime, adid, impressionid, referrer, useragent, usercookie, ip' ) LOCATION 's3://myregion.elasticmapreduce/samples/hive-ads/tables/impressions';

例 : ネスト JSON の逆シリアル化

Athena でテーブルを作成するときに、JSON データの逆シリアル化が問題になることがあります。

複雑なネスト JSON の処理に伴う一般的な問題と言えます。これらの問題とトラブルシューティング対策の詳細については、AWS Knowledge Center の記事「Amazon Athena で JSON データを読み取ろうとするとエラーになる」を参照してください。

一般的なシナリオの詳細とクエリのヒントについては、「Amazon Athena で JSONSerDe を使用してネスト JSON とマッピングからテーブルを作成する」を参照してください。

次の例では、JSON のネスト構造のデータから Athena テーブルを作成するシンプルな方法を示します。Athena で JSON エンコード形式のデータを解析するには、各 JSON ドキュメントが 1 行で入力され、新しい行で区切られている必要があります。

この例で、JSON エンコード形式のデータの構造は次のとおりとします。

{ "DocId": "AWS", "User": { "Id": 1234, "Username": "bob1234", "Name": "Bob", "ShippingAddress": { "Address1": "123 Main St.", "Address2": null, "City": "Seattle", "State": "WA" }, "Orders": [ { "ItemId": 6789, "OrderDate": "11/11/2017" }, { "ItemId": 4352, "OrderDate": "12/12/2017" } ] } }

次の CREATE TABLE コマンドでは、Openx-JsonSerDestructarray などのコレクションデータ型を使用してオブジェクトのグループを構築します。各 JSON ドキュメントは個別の行にリストされ、新しい行で区切られます。

CREATE external TABLE complex_json ( docid string, `user` struct< id:INT, username:string, name:string, shippingaddress:struct< address1:string, address2:string, city:string, state:string >, orders:array< struct< itemid:INT, orderdate:string > > > ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://mybucket/myjsondata/';