카탈로그 수준 테이블 옵티마이저
일회성 카탈로그 구성을 사용하면 AWS Glue Data Catalog에서 모든 신규 및 업데이트된 Apache Iceberg 테이블에 대해 압축, 스냅샷 보존, 분리된 파일 삭제 등의 자동 옵티마이저를 설정할 수 있습니다. 카탈로그 수준 옵티마이저 구성을 사용하면 카탈로그 내의 모든 테이블에 일관된 옵티마이저 설정을 적용할 수 있으므로, 각 테이블마다 옵티마이저를 개별적으로 구성할 필요가 없습니다.
데이터 레이크 관리자는 Lake Formation 콘솔에서 기본 카탈로그를 선택하고 Table optimization 옵션으로 옵티마이저를 활성화하여 테이블 옵티마이저를 구성할 수 있습니다. Data Catalog에서 새 테이블을 생성하거나 기존 테이블을 업데이트하면, Data Catalog는 테이블 최적화를 자동으로 실행하여 운영 부담을 줄입니다.
테이블 수준에서 최적화를 구성했거나 이전에 테이블의 테이블 최적화 설정을 삭제한 경우 이러한 테이블별 설정이 테이블 최적화에 대한 기본 카탈로그 설정보다 우선합니다. 구성 파라미터가 테이블 또는 카탈로그 수준에서 정의되지 않은 경우 Iceberg 테이블 속성 값이 적용됩니다. 이 설정은 스냅샷 보존 및 분리된 파일 삭제 옵티마이저에 적용됩니다.
카탈로그 수준 옵티마이저를 활성화할 경우 다음 사항을 고려하세요.
-
카탈로그 생성 시 최적화 설정을 구성한 다음 카탈로그 업데이트 요청을 통해 최적화를 비활성화하면 작업이 카탈로그 내의 모든 테이블에 캐스케이드됩니다.
-
지정된 테이블에 대해 옵티마이저를 이미 구성한 경우 카탈로그 수준에서 작업을 비활성화해도 이 테이블에는 영향을 미치지 않습니다.
-
카탈로그 수준에서 옵티마이저를 비활성화하면 기존 옵티마이저 구성이 있는 테이블은 기존 설정을 유지하며 카탈로그 수준 변경의 영향을 받지 않습니다. 하지만 자체 옵티마이저 구성이 없는 테이블은 카탈로그 수준에서 비활성화된 상태를 상속합니다.
-
스냅샷 보존 및 분리된 파일 삭제 옵티마이저는 일정에 따라 실행될 수 있으므로, 업데이트할 경우 일정의 시작 시점이 무작위로 지연됩니다. 이 경우 각 옵티마이저가 조금씩 다른 시간에 시작되어 로드가 분산되고, 서비스 한도를 초과할 가능성이 줄어듭니다.
