メタデータテーブルのクエリパフォーマンスの最適化

S3 メタデータは Apache Iceberg テーブル形式に基づいているため、特定の時間範囲を使用することで、メタデータテーブルクエリのパフォーマンスとコストを最適化できます。

例えば、次の SQL クエリは、S3 汎用バケット内の新しいオブジェクトの機密レベルを提供します。

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

このクエリはメタデータテーブル全体をスキャンするため、実行に時間がかかる場合があります。パフォーマンスを向上させるには、特定の時間範囲に焦点を絞る record_timestamp 列を含めることができます。以下は、過去 1 か月の新しいオブジェクトを調べる、以前のクエリが更新されたバージョンです。

SELECT key, object_tags['SensitivityLevel'] 
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']