Hive テーブル圧縮を使用する
Athena の Hive テーブルの圧縮オプションは、エンジンバージョンとファイル形式によって異なります。
Athena エンジンバージョン 3 での Hive 圧縮サポート
次の表に、Apache Hive 内のストレージファイル形式に対して Athena エンジンバージョン 3 でサポートされる、圧縮形式の概要を示します。テキストファイル形式には、TSV、CSV、JSON、およびテキスト用のカスタム SerDes が含まれます。セル内の「はい」または「いいえ」は、特に記載がない限り、読み込みオペレーションと書き込みオペレーションに等しく適用されます。このテーブルでは、CREATE TABLE、CTAS、INSERT INTO は書き込みオペレーションとみなされます。Athena での ZSTD 圧縮レベルの使用の詳細については、「ZSTD 圧縮レベルを使用する」を参照してください。
Avro | Ion | ORC | Parquet | テキストファイル | |
---|---|---|---|---|---|
BZIP2 | あり | はい | いいえ | いいえ | あり |
DEFLATE | あり | いいえ | いいえ | いいえ | なし |
GZIP | なし | はい | いいえ | はい | あり |
LZ4 | なし | はい | あり |
書き込む - いいえ 読み込む - はい |
あり |
LZO | なし |
書き込む - いいえ 読み込む - はい |
なし |
書き込む - いいえ 読み込む - はい |
書き込む - いいえ 読み込む - はい |
SNAPPY | あり | はい | はい | はい | あり |
ZLIB | なし | いいえ | はい | いいえ | なし |
ZSTD | あり | はい | はい | はい | あり |
なし | あり | はい | はい | はい | あり |
Athena エンジンバージョン 2 での Hive 圧縮サポート
次の表に、Apache Hive 向け Athena エンジンバージョン 2 でサポートされる、圧縮形式の概要を示します。テキストファイル形式には、TSV、CSV、JSON、およびテキスト用のカスタム SerDes が含まれます。セル内の「はい」または「いいえ」は、特に記載がない限り、読み込みオペレーションと書き込みオペレーションに等しく適用されます。このテーブルでは、CREATE TABLE、CTAS、INSERT INTO は書き込みオペレーションとみなされます。
Avro | Ion | ORC | Parquet | テキストファイル | |
---|---|---|---|---|---|
BZIP2 | あり | はい | いいえ | いいえ | あり |
DEFLATE | あり | いいえ | いいえ | いいえ | なし |
GZIP | なし | はい | いいえ | はい | あり |
LZ4 | なし | いいえ | あり |
書き込む - はい 読み込む - いいえ |
書き込む - いいえ 読み込む - はい |
LZO | なし |
書き込む - いいえ 読み込む - はい |
なし | あり |
書き込む - いいえ 読み込む - はい |
SNAPPY | あり | はい | はい | はい | あり |
ZLIB | なし | いいえ | はい | いいえ | なし |
ZSTD | なし | はい | はい | はい | あり |
なし | あり | はい | はい | はい | あり |