建立 BigQuery 目標節點 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立 BigQuery 目標節點

必要先決條件

  • BigQuery 類型 AWS Glue Data Catalog 連線

  • 您的 Google BigQuery 憑證的 AWS Secrets Manager 秘密,由連線使用。

  • 針對您任務的適當許可,以讀取連線所使用的秘密。

  • 您要寫入的資料表名稱和資料集,以及對應的 Google Cloud 專案。

新增 BigQuery 資料目標

新增資料目標 – BigQuery 節點:
  1. 選擇您 BigQuery 資料目標的連線。由於您已建立連線,其應可用於下拉式清單中。如果您需要建立連線,請選擇建立 BigQuery 連線。如需詳細資訊,請參閱 Overview of using connectors and connections

    選擇連線之後,您可以按一下檢視屬性來檢視連線屬性。

  2. 識別您要寫入的 BigQuery 資料表,然後選擇一個寫入方法

    • 直接 – 使用 BigQuery Storage Write API 直接寫入 BigQuery。

    • 間接 – 寫入 Google Cloud Storage,然後複製至 BigQuery。

    若您要間接寫入,請提供具有暫時 GCS 儲存貯體的目的地 GCS 位置。您將需在 AWS Glue 連線中提供其他配置。如需詳細資訊,請參閱 Using indirect write with Google BigQuery

  3. 描述您要讀取的資料

    (必要)父系專案設定為包含資料表的專案,或設定為計費父系專案 (若相關)。

    若您選擇單一資料表,請以下列格式將資料表設定為 Google BigQuery 資料表的名稱:[dataset].[table]