通过从 Amazon S3 持续摄取文件来加载表(预览版) - Amazon Redshift

通过从 Amazon S3 持续摄取文件来加载表(预览版)

这是面向预览版中的自动复制(SQL COPY JOB)的预发行文档。文档和特征都可能会更改。我们建议您仅在测试环境中使用此特征,不要在生产环境中使用。公开预览版将于 2024 年 10 月 31 日结束。在预览结束两周后,将自动删除预览集群。有关预览条款和条件,请参阅 AWS 服务条款中的测试版和预览
注意

您可以在预览版中创建 Amazon Redshift 集群,以便测试 Amazon Redshift 的新功能。您无法在生产环境中使用这些功能,也无法将预览版集群移动到生产集群或另一个跟踪上的集群。有关预览条款和条件,请参阅 AWS 服务条款中的测试版和预览

预览版中创建集群
  1. 登录 AWS Management Console,然后通过以下网址打开 Amazon Redshift 控制台:https://console.aws.amazon.com/redshiftv2/

  2. 在导航菜单上,选择预置集群控制面板,然后选择集群。列出您的账户在当前 AWS 区域 区域中的集群。列表中的各个列中显示了每个集群的一部分属性。

  3. 集群列表页面上会显示一个横幅,其中介绍了预览版。选择创建预览版集群按钮以打开创建集群页面。

  4. 输入集群的属性。选择包含要测试的功能的预览版跟踪。我们建议输入的集群名称指明要对该集群进行预览版跟踪。为您的集群选择选项,包括标记为 -preview 的选项,用于要测试的功能。有关创建集群的一般信息,请参阅《Amazon Redshift 管理指南》中的创建集群

  5. 选择创建集群以在预览模式下创建集群。

  6. 当您的预览集群可用时,使用 SQL 客户端加载和查询数据。

您的集群必须使用名为 preview_2023 的预览跟踪来创建。使用新集群进行测试,不支持将集群还原到此跟踪。自动复制功能不适用于 Amazon Redshift Serverless 工作组。

在以下 AWS 区域 中提供此预览:

  • 美国东部(俄亥俄州)区域 (us-east-2)

  • 美国东部(弗吉尼亚州北部)区域 (us-east-1)

  • 美国西部(俄勒冈州)区域 (us-west-2)

  • 亚太地区(东京)区域 (ap-northeast-1)

  • 欧洲地区(斯德哥尔摩)区域 (eu-north-1)

  • 欧洲地区(爱尔兰)区域 (eu-west-1)

您可以使用 COPY JOB 将数据从存储在 Amazon S3 中的文件加载到您的 Amazon Redshift 表中。Amazon Redshift 会检测新的 Amazon S3 文件何时添加到 COPY 命令中指定的路径。然后,无需创建外部数据摄取管道,即可自动运行 COPY 命令。Amazon Redshift 会跟踪已加载哪些文件。Amazon Redshift 确定每个 COPY 命令一起进行批处理的文件数。您可以在系统视图中看到生成的 COPY 命令。

COPY JOB 只需定义一次。未来运行使用相同的参数。

您可以使用 CREATE、LIST、SHOW、DROP、ALTER 和 RUN 作业的选项来管理加载操作。有关更多信息,请参阅 COPY JOB(预览版)

您可以查询系统视图以查看 COPY JOB 状态和进度。提供的视图如下:

要获取 COPY JOB 所加载文件的列表,请运行以下示例,替换 <job_id>

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime FROM sys_copy_job copyjob JOIN stl_load_commits loadcommit ON copyjob.job_id = loadcommit.copy_job_id WHERE job_id = <job_id>;