Iceberg テーブルの使用
Athena では、Apache Iceberg テーブルに対して読み取り、タイムトラベル、書き込み、DDL の各クエリがサポートされています。Apache Iceberg テーブルでは、データに Apache Parquet 形式が使用され、メタストアに AWS Glue カタログが使用されています。
Apache Iceberg
Apache Iceberg の詳細については、https://iceberg.apache.org/
考慮事項と制約事項
Athena での Iceberg テーブルのサポートには、次の制限があります。
-
AWS Glue カタログのテーブルのみ – オープンソースの Glue カタログの実装
で定義されている仕様に基づく AWS Glue カタログに対して作成された Iceberg テーブルのみが Athena でサポートされています。 -
AWS Glue によるテーブルロックのサポートのみ – オープンソースの Glue カタログ実装はプラグインのカスタムロックをサポートしますが、Athena は AWS Glue オプティミスティックロックのみをサポートします。Athena を使用して他のロックが実装されている Iceberg テーブルを変更すると、データが失われ、トランザクションが中断する可能性があります。
-
サポートされているファイル形式 - 次の表に示すように、Athena での Iceberg ファイル形式のサポートは、Athena エンジンのバージョンによって異なります。
Athena エンジンバージョン Parquet ORC Avro 2 はい いいえ いいえ 3 はい はい はい -
Iceberg v2 テーブル – Athena は、Iceberg v2 テーブルを作成し、操作します。v1 テーブルと v2 テーブルの違いについては、Apache Iceberg ドキュメントの形式バージョンの変更
を参照してください。 -
タイムゾーンのない時刻型の表示 – タイムゾーンのない時刻型とタイムスタンプ型は UTC で表示されます。時刻の列のフィルター式でタイムゾーンが指定されていない場合は、UTC が使用されます。
-
タイムスタンプ関連のデータの精度 – Iceberg はタイムスタンプデータ型のマイクロ秒精度をサポートしていますが、Athena は読み取りと書き込みの両方でタイムスタンプに対してミリ秒の精度しかサポートしません。Athena は、手動圧縮オペレーション中に書き換えられるデータについて、時間関連の列でミリ秒の精度しか保持しません。
-
サポートされていないオペレーション - Iceberg テーブルに対して次の Athena オペレーションはサポートされていません。
-
ビュー - ビューの使用 で説明されているように Athena ビューを作成する場合に
CREATE VIEW
を使用します。Iceberg ビュー仕様を使用してビューを作成することに興味がある場合は、athena-feedback@amazon.com までご連絡ください。
Athena でサポートしてほしい機能につきましては、athena-feedback@amazon.com
トピック