Athena におけるパーティション化とバケット化
クエリを実行する際に Athena がスキャンする必要があるデータ量を減らすための 2 つの方法として、パーティション化とバケット化があります。パーティション化とバケット化は補完的な機能で、併用できます。スキャンするデータ量を減らすことは、パフォーマンスの向上とコストの削減につながります。Athena クエリのパフォーマンスに関する一般的なガイドラインについては、「Amazon Athena のパフォーマンスチューニング Tips トップ 10
パーティション化とは
パーティション化とは、データの特定のプロパティに基づいて Amazon S3 上にあるディレクトリ (または「プレフィックス」) にデータを整理することを意味します。このようなプロパティはパーティションキーと呼ばれます。一般的なパーティションキーは、日付またはその他の時間単位 (年や月など) です。ただし、データセットは複数のキーでパーティション化できます。たとえば、製品の売上に関するデータは、日付、製品カテゴリ、市場ごとにパーティション化できます。
パーティション化する方法の決定
パーティションキーに適しているのは、クエリで常にまたは頻繁に使用され、カーディナリティが低いプロパティです。パーティションの数が多すぎる/少なすぎることについては、それぞれの欠点があります。パーティションが多すぎると、ファイル数が増えるとオーバーヘッドが発生します。また、パーティション自体をフィルタリングすることによるオーバーヘッドもあります。パーティションが少なすぎると、クエリがより多くのデータをスキャンする必要性が多発します。
パーティションテーブルの作成
データセットをパーティション化すると、Athena でパーティションテーブルを作成できます。パーティションテーブルは、パーティションキーを含むテーブルです。CREATE
TABLE
を使用すると、テーブルにパーティションを追加します。CREATE TABLE
AS
を使用すると、Amazon S3 上で作成されたパーティションがテーブルに自動で追加されます。
CREATE TABLE
ステートメントでは、PARTITIONED BY (
句にパーティションキーを指定します。column_name
data_type
)CREATE TABLE
AS
ステートメントでは、WITH
(partitioned_by = ARRAY['
句に、または Iceberg テーブルの partition_key
'])WITH (partitioning =
ARRAY['
にパーティションキーを指定します。パフォーマンス上の理由から、パーティションキーは常に partition_key
'])STRING
タイプにする必要があります。詳細については、「パーティションキーのデータ型として文字列を使用」を参照してください。
その他の CREATE TABLE
および CREATE TABLE AS
構文の詳細については、「CREATE TABLE」と「CTAS テーブルのプロパティ」を参照してください。
パーティションテーブルのクエリ
パーティションテーブルをクエリすると、Athena はクエリ内の述語を使用してパーティションのリストをフィルタリングします。次に、一致するパーティションの場所を使用して、見つかったファイルを処理します。単純に、クエリ述語と一致しないパーティションのデータを読み取らないようにすることで、Athena がスキャンするデータ量を効率的に減らせます。
例
テーブルを sales_date
と product_category
でパーティション化していて、特定のカテゴリにおける 1 週間の総収益を知りたいとします。次の例のように、Athena がスキャンするデータ量が最小限になるように、sales_date
列と product_category
列に述語を含めます。
SELECT SUM(amount) AS total_revenue FROM sales WHERE sales_date BETWEEN '2023-02-27' AND '2023-03-05' AND product_category = 'Toys'
日付別にパーティション化されているが詳細なタイムスタンプも含むデータセットがあるとします。
Iceberg テーブルではパーティションキーを宣言して列に関係を構築できますが、Hive テーブルではクエリエンジンは列とパーティションキーの関係に関するデータを持っていません。。このため、クエリが必要以上に多くのデータをスキャンしないように、クエリにある列とパーティションキーの両方に述語を含める必要があります。
たとえば、前の例における sales
テーブルにも TIMESTAMP
データ型の sold_at
列があるとします。特定の時間範囲の収益のみを求める場合は、クエリを次のように記述します:
SELECT SUM(amount) AS total_revenue FROM sales WHERE sales_date = '2023-02-28' AND sold_at BETWEEN TIMESTAMP '2023-02-28 10:00:00' AND TIMESTAMP '2023-02-28 12:00:00' AND product_category = 'Toys'
Hive テーブルと Iceberg テーブルのクエリの違いに関する詳細については、「同じく時間分割されているタイムスタンプフィールドのクエリを作成する方法」を参照してください。
バケット化とは
バケット化は、データセットのレコードをバケットと呼ばれるカテゴリに整理する方法です。
この意味におけるバケットとバケット化は Amazon S3 バケットとは異なるため、混同しないでください。データバケットでは、プロパティと同じ値を含むレコードが同じバケットに入ります。レコードはバケット間で可能な限り均等に分散されるため、各バケットにはほぼ同じ量のデータが含まれます。
実際には、バケットはファイルであり、ハッシュ関数がレコードが入るバケットを決定します。バケット化されたデータセットには、パーティション/バケットごとに 1 つ以上のファイルがあります。ファイルが属するバケットはファイル名でエンコードされます。
バケット化のメリット
バケット化は、データセットが特定のプロパティによってバケット化されており、そのプロパティに特定の値があるレコードを取得する際に役立ちます。データはバケット化されているので、Athena は検索するファイルを決定する値を使用できます。たとえば、データセットが customer_id
別にバケット化されていて、特定の顧客に関するすべてのレコードを検索したいとします。Athena はそれらのレコードを含むバケットを特定し、そのバケット内にあるファイルのみを読み取ります。
高基数 (つまり異なる値が多い) 列が均一に分散していて特定の値を頻繁にクエリする列がある際に、バケット化に適している対象が見つかります。
注記
Athena は、INSERT INTO
を使用してバケットテーブルに新しいレコードを追加する機能はサポートしていません。
バケット化された列でのフィルタリングでサポートされるデータ型
特定のデータ型を持つバケット列にフィルターを追加できます。Athena は、次のデータ型を持つバケット化された列に対してフィルタリングをサポートしています:
-
BOOLEAN
-
BYTE
-
DATE
-
DOUBLE
-
FLOAT
-
INT
-
LONG
-
SHORT
-
STRING
-
VARCHAR
Hive と Spark のサポート
Athena エンジンバージョン 2 は Hive バケットアルゴリズムを使用するバケット化されたデータセットをサポートし、Athena エンジンバージョン 3 は Apache Spark バケットアルゴリズムもサポートしています。Hive バケット化はデフォルトです。データセットが Spark アルゴリズムを使用してバケット化されている場合は、TBLPROPERTIES
句を使用して bucketing_format
プロパティの値を spark
に設定します。
注記
Athena エンジンバージョン 2 では、CREATE TABLE AS SELECT
(CTAS) クエリでのパーティション数は 100 個に制限されています。同様に、INSERT INTO ステートメントを使用すると、宛先テーブルに最大 100 個のパーティションのみを追加できます。Athena エンジンバージョン 2 のこの 100 個という制限は、テーブルのバケット化とパーティション化の両方が行われている場合にのみ適用されます。
この制限を超えると、HIVE_TOO_MANY_OPEN_PARTITIONS: Exceeded limit of 100 open writers for partitions/buckets
(HIVE_TOO_MANY_OPEN_PARTITIONS: パーティション/バケットのオープンライターの制限である 100 を超えました) エラーメッセージが表示されることがあります。Athena エンジンバージョン 2 のこの制限を回避するには、CTAS ステートメントと、それぞれ最大 100 個のパーティションを作成または挿入する一連の INSERT INTO
ステートメントを使用できます。詳細については、「CTAS および INSERT INTO を使用して 100 パーティションの制限を回避する」を参照してください。
CREATE TABLE のバケット化に関する例
既存のバケット化されたデータセット用のテーブルを作成するには、CLUSTERED BY
(
句の後に column
)
INTO
句を続けて使用します。N
BUCKETSINTO
句は、データをバケット化する先のバケットの数を指定します。N
BUCKETS
次の CREATE TABLE
の例では、sales
データセットは customer_id
別に、Spark アルゴリズムを使用して 8 つのバケットにバケット化されています。この CREATE TABLE
ステートメントでは、CLUSTERED BY
句と TBLPROPERTIES
句を使用してプロパティをそれぞれ設定します。
CREATE EXTERNAL TABLE sales (...) ... CLUSTERED BY (`customer_id`) INTO 8 BUCKETS ... TBLPROPERTIES ( 'bucketing_format' = 'spark' )
CREATE TABLE AS (CTAS) のバケット化に関する例
CREATE TABLE AS
のバケット化を指定するには、bucketed_by
パラメータと bucket_count
パラメータを次の例のように使用します。
CREATE TABLE sales WITH ( ... bucketed_by = ARRAY['customer_id'], bucket_count = 8 ) AS SELECT ...
クエリのバケット化に関する例
次のクエリ例では、特定の顧客が 1 週間を通じて購入した製品の名前を検索します。
SELECT DISTINCT product_name FROM sales WHERE sales_date BETWEEN '2023-02-27' AND '2023-03-05' AND customer_id = 'c123'
このテーブルを sales_date
別にパーティション化して customer_id
別にバケット化すると、Athena は顧客レコードが入っているバケットを計算できます。Athena が読み込めるのは 1 パーティションにつき 1 ファイルまでです。
以下も参照してください。
バケット化されたテーブルとパーティション化されたテーブルの両方を作成する CREATE TABLE AS
の例については、「例: バケット化およびパーティションされたテーブルを作成する」を参照してください。