Membuat BigQuery koneksi

Untuk terhubung ke Google BigQuery dariAWS Glue, Anda harus membuat dan menyimpan kredensi Google Cloud Platform Anda secara AWS Secrets Manager rahasia, lalu mengaitkan rahasia itu dengan koneksi Google BigQuery AWS Glue.

Untuk mengkonfigurasi koneksi ke BigQuery:

1. Di Google Cloud Platform, buat dan identifikasi sumber daya yang relevan:

   • Buat atau identifikasi proyek GCP yang berisi BigQuery tabel yang ingin Anda sambungkan.

   • Aktifkan BigQuery API. Untuk informasi selengkapnya, lihat Menggunakan BigQuery Storage Read API untuk membaca data tabel.

2. Di Google Cloud Platform, buat dan ekspor kredensional akun layanan:

   Anda dapat menggunakan panduan BigQuery kredensial untuk mempercepat langkah ini: Buat kredensial.

   Untuk membuat akun layanan di GCP, ikuti tutorial yang tersedia di Buat akun layanan.

   • Saat memilih proyek, pilih proyek yang berisi BigQuery tabel Anda.

   • Saat memilih peran IAM GCP untuk akun layanan Anda, tambahkan atau buat peran yang akan memberikan izin yang sesuai untuk menjalankan BigQuery pekerjaan untuk membaca, menulis, atau membuat tabel. BigQuery

   Untuk membuat kredensi untuk akun layanan Anda, ikuti tutorial yang tersedia di Buat kunci akun layanan.

   • Saat memilih jenis kunci, pilih JSON.

   Anda seharusnya sudah mengunduh file JSON dengan kredensi untuk akun layanan Anda. Itu terlihat serupa dengan yang berikut ini:

   {
     "type": "service_account",
     "project_id": "*****",
     "private_key_id": "*****",
     "private_key": "*****",
     "client_email": "*****",
     "client_id": "*****",
     "auth_uri": "https://accounts.google.com/o/oauth2/auth",
     "token_uri": "https://oauth2.googleapis.com/token",
     "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
     "client_x509_cert_url": "*****",
     "universe_domain": "googleapis.com"
   }

3. base64 menyandikan file kredensi yang Anda unduh. Pada AWS CloudShell sesi atau serupa, Anda dapat melakukan ini dari baris perintah dengan menjalankancat credentialsFile.json | base64 -w 0. Pertahankan output dari perintah ini, CredentialString.

4. DiAWS Secrets Manager, buat rahasia menggunakan kredensi Google Cloud Platform Anda. Untuk membuat rahasia di Secrets Manager, ikuti tutorial yang tersedia di Buat AWS Secrets Manager rahasia dalam AWS Secrets Manager dokumentasi. Setelah membuat rahasia, simpan nama Rahasia, secretName untuk langkah selanjutnya.

   • Saat memilih pasangan kunci/nilai, buat pasangan untuk kunci credentials dengan nilai CredentialString.

5. Di Katalog AWS Glue Data, buat koneksi dengan mengikuti langkah-langkah dihttps://docs.aws.amazon.com/glue/latest/dg/console-connections.html. Setelah membuat koneksi, simpan nama koneksi, connectionName, untuk langkah selanjutnya.

   • Saat memilih jenis Koneksi, pilih Google BigQuery.

   • Saat memilih AWSSecret, berikan secretName.

6. Berikan peran IAM yang terkait dengan izin AWS Glue pekerjaan Anda untuk membaca secretName.

7. Dalam konfigurasi AWS Glue pekerjaan Anda, berikan ConnectionName sebagai koneksi jaringan tambahan.