创建 BigQuery 目标节点 - AWS 连接词

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建 BigQuery 目标节点

所需的先决条件

  • BigQuery 类型 AWS Glue Data Catalog 连接

  • 您的 Google BigQuery 凭证的 AWS Secrets Manager 密钥,供连接使用。

  • 对您的作业具有读取连接使用的密钥的相应权限。

  • 您要写入到的表和相应的 Google Cloud 项目的名称和数据集。

添加 BigQuery 数据目标

要添加数据目标 – BigQuery 节点,请执行以下操作:
  1. 为您的 BigQuery 数据目标选择连接。由于您已经创建了它,它应该提供在下拉列表中。如果需要创建连接,请选择创建 BigQuery 连接。有关更多信息,请参阅 Overview of using connectors and connections

    选择连接后,您可以通过单击查看属性来查看连接属性。

  2. 确定您要写入的 BigQuery 表,然后选择写入方法

    • 直接 – 使用 BigQuery 存储写入 API 直接写入 BigQuery。

    • 间接 – 写入 Google Cloud Storage,然后复制到 BigQuery。

    如果您想间接写入,请使用临时 GCS 存储桶提供目标 GCS 位置。您需要在 AWS Glue 连接中提供其他配置。有关更多信息,请参阅在 Google BigQuery 中使用间接写入

  3. 描述您想要读取的数据

    (必填)父项目设置为包含您的表的项目,或计费父项目(如果相关)。

    如果您选择单个表,则请按以下格式将设置为 Google BigQuery 表的名称:[dataset].[table]