目录级表优化器 - AWS Glue

目录级表优化器

使用一次性目录配置,可以为 AWS Glue Data Catalog 中所有新增和更新后的 Apache Iceberg 表设置自动优化器,例如压缩、快照保留和孤立文件删除等优化器。使用目录级优化器配置,可以在目录的所有表中应用一致的优化器设置,无需为每个表单独配置优化器。

数据湖管理员可以在 Lake Formation 控制台中选择默认目录,并使用 Table optimization 选项启用优化器,从而配置表优化器。在 Data Catalog 中创建新表或更新现有表时,Data Catalog 会自动运行表优化来减轻运维负担。

如果已在表级别配置优化,或曾删除某表的优化设置,这些表级特定设置将优先于表优化的默认目录设置。若未在表或目录级别定义配置参数,则将应用 Iceberg 表属性值。该设置适用于快照保留和孤立文件删除优化器。

启用目录级优化器时,需注意以下事项:

  • 在创建目录时配置优化设置,随后通过“更新目录”请求禁用优化时,该操作将级联到目录中的所有表。

  • 若已为某表配置优化器,则目录级别的禁用操作不会影响该表。

  • 在目录级别禁用优化器后,具有现有优化器配置的表将保持其特定设置,并且不受目录级更改的影响。不过,没有专属优化器配置的表会继承目录级别的禁用状态。

  • 由于快照保留和孤立文件删除优化器支持基于调度的运行模式,配置更新将为其调度起始时间引入随机延迟。这使得每个优化器的启动时间各有不同,从而分散系统负载并降低超出服务限制的可能性。