目录级表优化器
使用一次性目录配置,可以为 AWS Glue Data Catalog 中所有新增和更新后的 Apache Iceberg 表设置自动优化器,例如压缩、快照保留和孤立文件删除等优化器。使用目录级优化器配置,可以在目录的所有表中应用一致的优化器设置,无需为每个表单独配置优化器。
数据湖管理员可以在 Lake Formation 控制台中选择默认目录,并使用 Table optimization
选项启用优化器,从而配置表优化器。在 Data Catalog 中创建新表或更新现有表时,Data Catalog 会自动运行表优化来减轻运维负担。
如果已在表级别配置优化,或曾删除某表的优化设置,这些表级特定设置将优先于表优化的默认目录设置。若未在表或目录级别定义配置参数,则将应用 Iceberg 表属性值。该设置适用于快照保留和孤立文件删除优化器。
启用目录级优化器时,需注意以下事项:
-
在创建目录时配置优化设置,随后通过“更新目录”请求禁用优化时,该操作将级联到目录中的所有表。
-
若已为某表配置优化器,则目录级别的禁用操作不会影响该表。
-
在目录级别禁用优化器后,具有现有优化器配置的表将保持其特定设置,并且不受目录级更改的影响。不过,没有专属优化器配置的表会继承目录级别的禁用状态。
-
由于快照保留和孤立文件删除优化器支持基于调度的运行模式,配置更新将为其调度起始时间引入随机延迟。这使得每个优化器的启动时间各有不同,从而分散系统负载并降低超出服务限制的可能性。