메타데이터 테이블 쿼리 성능 최적화

S3 Metadata는 Apache Iceberg 테이블 형식을 기반으로 하므로 특정 시간 범위를 사용하여 저널 테이블 쿼리의 성능과 비용을 최적화할 수 있습니다.

예를 들어 다음 SQL 쿼리는 S3 범용 버킷에 있는 새 객체의 민감도 수준을 제공합니다.

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

이 쿼리는 전체 저널 테이블을 스캔하므로 실행하는 데 시간이 오래 걸릴 수 있습니다. 성능을 개선하기 위해 record_timestamp 열을 포함하여 특정 시간 범위에 집중할 수 있습니다. 또한 Amazon S3 콘솔에서 범용 버킷에 대한 메타데이터 탭의 메타데이터 구성 세부 정보 페이지에 있는 정규화된 테이블 이름을 사용하는 것이 좋습니다. 다음은 지난 달의 새 객체를 살펴보는 이전 쿼리의 업데이트된 버전입니다.

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

인벤토리 테이블에 대한 쿼리 성능을 개선하려면 필요한 최소 열에서만 쿼리해야 합니다.