本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
为 Delta Lake 数据存储指定配置选项
在为 Delta Lake 数据存储配置网络爬取程序时,可以指定以下配置参数:
- Connection
-
可以选择或添加要用于此 Amazon S3 目标的网络连接。有关连接的信息,请参阅 连接到数据。
- 创建用于查询的表
-
选择要如何创建 Delta Lake 表:
创建原生表:允许与支持直接查询 Delta 事务日志的查询引擎集成。
创建符号链接表:根据指定的配置参数,使用由由分区键分区的清单文件创建符号链接清单文件夹。
- 启用写入清单(仅限您选择为 Delta Lake 源创建符号链接表时才可配置)
-
选择是否检测 Delta Lake 事务处理日志中的表元数据或 Schema 更改;它会重新生成清单文件。如果已经使用 Delta Lake
SET TBLPROPERTIES
配置了自动清单更新,则不应选择此选项。 - 包含 Delta Lake 表路径
-
将一个或多个 Amazon S3 增量表路径指定为 s3://
bucket
/prefix
/object
.