由于 S3 元数据基于 Apache Iceberg 表格式,因此您可以使用特定的时间范围来优化元数据表查询的性能和成本。
例如,以下 SQL 查询提供了 S3 通用存储桶中新对象的敏感级别:
SELECT key, object_tags['SensitivityLevel']
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']
此查询将扫描整个元数据表,运行可能需要很长时间。要提高性能,您可以包括 record_timestamp
列以专注于特定的时间范围。以下是上一个查询的更新版本,它查看了过去一个月的新对象:
SELECT key, object_tags['SensitivityLevel']
FROM aws_s3_metadata.my_metadata_table
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']