安排爬网程序以保持 AWS Glue Data Catalog 和 Amazon S3 同步 - Amazon Athena

安排爬网程序以保持 AWS Glue Data Catalog 和 Amazon S3 同步

AWS Glue 爬网程序可以设置为按计划或按需运行。有关更多信息,请参阅《AWS Glue 开发人员指南》中的基于时间的任务和爬网程序安排

如果您的数据在固定时间到达分区表,则可以设置 AWS Glue 爬网程序按计划运行以检测和更新表分区。这样就不需要运行耗时长且昂贵的 MSCK REPAIR 命令或手动运行 ALTER TABLE ADD PARTITION 命令。有关更多信息,请参阅《AWS Glue 开发人员指南》中的表分区