Menghubungkan ke Google BigQuery dengan AWS Schema Conversion Tool

Anda dapat menggunakan AWS SCT untuk mengonversi skema, objek kode, dan kode aplikasi dari Amazon BigQuery Redshift.

Hak istimewa untuk BigQuery sebagai sumber

Untuk menggunakan gudang BigQuery data sebagai sumber AWS SCT, buat akun layanan. Di Google Cloud, aplikasi menggunakan akun layanan untuk melakukan API panggilan resmi. Akun layanan berbeda dari akun pengguna. Untuk informasi selengkapnya, lihat Akun layanan di dokumentasi Google Cloud Identity and Access Management.

Pastikan Anda memberikan peran berikut ke akun layanan Anda:

• BigQuery Admin

• Storage Admin

BigQuery AdminPeran tersebut memberikan izin untuk mengelola semua sumber daya dalam proyek. AWS SCT menggunakan peran ini untuk memuat BigQuery metadata Anda dalam proyek migrasi.

Storage AdminPeran tersebut memberikan kontrol penuh atas objek data dan ember. Anda dapat menemukan peran ini di bawahCloud Storage. AWS SCT menggunakan peran ini untuk mengekstrak data Anda BigQuery dan kemudian memuatnya ke Amazon Redshift.

Untuk membuat file kunci akun layanan

1. Masuk ke konsol manajemen Google Cloud di https://console.cloud.google.com/.

2. Pada BigQuery APIhalaman, pilih Aktifkan. Lewati langkah ini jika Anda melihat APIDiaktifkan.

3. Pada halaman Akun layanan, pilih proyek Anda, lalu pilih Buat akun layanan.

4. Pada halaman detail akun Layanan, masukkan nilai deskriptif untuk nama akun Layanan. Pilih Buat dan lanjutkan. Berikan akses akun layanan ini ke halaman proyek terbuka.

5. Untuk Pilih peran, pilih BigQuery, lalu pilih BigQuery Admin.

6. Pilih Tambahkan peran lain. Untuk Memilih peran, pilih Cloud Storage, lalu pilih Admin Penyimpanan.

7. Pilih Lanjutkan, lalu pilih Selesai.

8. Pada halaman Akun layanan, pilih akun layanan yang Anda buat.

9. Pilih Keys, lalu pilih Create new key for Add key.

10. Pilih JSON, lalu pilih Buat. Pilih folder untuk menyimpan kunci pribadi Anda atau pilih folder default untuk diunduh di browser Anda.

Untuk mengekstrak data dari gudang BigQuery data, AWS SCT gunakan folder bucket Google Cloud Storage. Buat bucket ini sebelum Anda memulai migrasi data. Masukkan path ke folder bucket Google Cloud Storage Anda di kotak dialog Create Local task. Untuk informasi selengkapnya, lihat Membuat, menjalankan, dan memantau AWS SCT tugas.

Menghubungkan ke BigQuery sebagai sumber

Gunakan prosedur berikut untuk terhubung ke BigQuery proyek sumber Anda dengan AWS Schema Conversion Tool.

Untuk terhubung ke gudang data BigQuery sumber

1. Di dalam AWS Schema Conversion Tool, pilih Tambahkan sumber.

2. Pilih BigQuery, lalu pilih Berikutnya.

   Kotak dialog Tambah sumber muncul.

3. Untuk nama Koneksi, masukkan nama untuk BigQuery proyek Anda. AWS SCT menampilkan nama ini di pohon di panel kiri.

4. Untuk jalur Kunci, masukkan jalur ke file kunci akun layanan. Untuk informasi selengkapnya tentang membuat file ini, lihatHak istimewa untuk BigQuery sebagai sumber.

5. Pilih Uji Koneksi untuk memverifikasi bahwa AWS SCT dapat terhubung ke BigQuery proyek sumber Anda.

6. Pilih Connect untuk terhubung ke BigQuery proyek sumber Anda.

Keterbatasan penggunaan BigQuery sebagai sumber untuk AWS SCT

Batasan berikut berlaku saat menggunakan BigQuery sebagai sumber untuk AWS SCT:

• AWS SCT tidak mendukung konversi subkueri dalam fungsi analitik.

• Anda tidak dapat menggunakan AWS SCT untuk mengonversi BigQuery SELECT AS STRUCT dan SELECT AS VALUE pernyataan.

• AWS SCT tidak mendukung konversi jenis fungsi berikut:

  • Perkiraan agregat

  • Bit

  • Debugging

  • Kueri federasi

  • Geografi

  • Hash

  • Matematika

  • Bersih

  • Agregat statistik

  • UUID

• AWS SCT menyediakan dukungan terbatas untuk konversi fungsi string.

• AWS SCT tidak mendukung konversi UNNEST operator.

• Anda tidak dapat mengonversi operasi gabungan yang berkorelasi di AWS SCT.

• AWS SCT tidak mendukung konversiQUALIFY,, WINDOWLIMIT, dan OFFSET klausa.

• Anda tidak dapat menggunakan AWS SCT untuk mengonversi ekspresi tabel umum rekursif.

• AWS SCT tidak mendukung konversi INSERT pernyataan dengan subkueri di dalam VALUES klausa.

• AWS SCT tidak mendukung konversi UPDATE pernyataan untuk bidang bersarang dan catatan berulang.

• Anda tidak dapat menggunakan AWS SCT untuk mengkonversi STRUCT dan tipe ARRAY data.

BigQuery ke pengaturan konversi Amazon Redshift

Untuk mengedit BigQuery ke pengaturan konversi Amazon Redshift, pilih Pengaturan di AWS SCT, lalu pilih Pengaturan konversi. Dari daftar atas, pilih Google BigQuery, lalu pilih Google BigQuery — Amazon Redshift. AWS SCT menampilkan semua pengaturan yang tersedia BigQuery untuk konversi Amazon Redshift.

BigQuery ke setelan konversi Amazon Redshift di AWS SCT menyertakan opsi untuk hal berikut:

• Untuk membatasi jumlah komentar dengan item tindakan dalam kode yang dikonversi.

  Untuk Tambahkan komentar di kode yang dikonversi untuk item tindakan dengan tingkat keparahan yang dipilih dan lebih tinggi, pilih tingkat keparahan item tindakan. AWS SCT menambahkan komentar dalam kode yang dikonversi untuk item tindakan dengan tingkat keparahan yang dipilih dan lebih tinggi.

  Misalnya, untuk meminimalkan jumlah komentar dalam kode yang dikonversi, pilih Error only. Untuk menyertakan komentar untuk semua item tindakan dalam kode yang dikonversi, pilih Semua pesan.

• Untuk mengatur jumlah maksimum tabel yang AWS SCT dapat diterapkan ke cluster Amazon Redshift target Anda.

  Untuk Jumlah maksimum tabel untuk klaster Amazon Redshift target, pilih jumlah tabel yang AWS SCT dapat diterapkan ke cluster Amazon Redshift Anda.

  Amazon Redshift memiliki kuota yang membatasi tabel penggunaan untuk jenis node cluster yang berbeda. Jika Anda memilih Otomatis, AWS SCT tentukan jumlah tabel yang akan diterapkan ke klaster Amazon Redshift target Anda tergantung pada jenis node. Secara opsional, pilih nilai secara manual. Untuk informasi selengkapnya, lihat Kuota dan batasan di Amazon Redshift dalam Panduan Manajemen Amazon Redshift.

  AWS SCT mengonversi semua tabel sumber Anda, meskipun ini lebih dari yang dapat disimpan oleh cluster Amazon Redshift Anda. AWS SCT menyimpan kode yang dikonversi dalam proyek Anda dan tidak menerapkannya ke database target. Jika Anda mencapai kuota klaster Amazon Redshift untuk tabel saat Anda menerapkan kode yang dikonversi, maka akan AWS SCT menampilkan pesan peringatan. Selain itu, AWS SCT terapkan tabel ke cluster Amazon Redshift target Anda hingga jumlah tabel mencapai batas.

• Untuk menerapkan kompresi ke kolom tabel Amazon Redshift. Untuk melakukannya, pilih Gunakan pengkodean kompresi.

  AWS SCT menetapkan pengkodean kompresi ke kolom secara otomatis menggunakan algoritme Amazon Redshift default. Untuk informasi selengkapnya, lihat Pengkodean kompresi di Panduan Pengembang Database Amazon Redshift.

  Secara default, Amazon Redshift tidak menerapkan kompresi ke kolom yang didefinisikan sebagai kunci pengurutan dan distribusi. Anda dapat mengubah perilaku ini dan menerapkan kompresi ke kolom ini. Untuk melakukannya, pilih Gunakan pengkodean kompresi untuk KEY kolom. Anda dapat memilih opsi ini hanya ketika Anda memilih opsi Gunakan pengkodean kompresi.

BigQuery ke pengaturan pengoptimalan konversi Amazon Redshift

Untuk mengedit BigQuery ke pengaturan pengoptimalan konversi Amazon Redshift, pilih Pengaturan di AWS SCT, lalu pilih Pengaturan konversi. Dari daftar atas, pilih Google BigQuery, lalu pilih Google BigQuery — Amazon Redshift. Di panel kiri, pilih Strategi optimasi. AWS SCT menampilkan pengaturan pengoptimalan konversi BigQuery untuk konversi Amazon Redshift.

BigQuery ke setelan pengoptimalan konversi Amazon Redshift di AWS SCT menyertakan opsi untuk hal berikut:

• Untuk bekerja dengan optimasi tabel otomatis. Untuk melakukannya, pilih Gunakan penyetelan tabel otomatis Amazon Redshift.

  Optimalisasi tabel otomatis adalah proses self-tuning di Amazon Redshift yang secara otomatis mengoptimalkan desain tabel. Untuk informasi selengkapnya, lihat Bekerja dengan pengoptimalan tabel otomatis di Panduan Pengembang Database Amazon Redshift.

  Untuk hanya mengandalkan optimasi tabel otomatis, pilih None for Initial key selection strategy.

• Untuk memilih kunci sortir dan distribusi menggunakan strategi Anda.

  Anda dapat memilih kunci sortir dan distribusi menggunakan metadata Amazon Redshift, informasi statistik, atau kedua opsi ini. Untuk strategi pemilihan kunci awal pada tab Strategi optimasi, pilih salah satu opsi berikut:

  • Gunakan metadata, abaikan informasi statistik

  • Abaikan metadata, gunakan informasi statistik

  • Gunakan metadata dan informasi statistik

  Bergantung pada opsi yang Anda pilih, Anda dapat memilih strategi pengoptimalan. Kemudian, untuk setiap strategi, masukkan nilainya (0-100). Nilai-nilai ini menentukan bobot setiap strategi. Dengan menggunakan nilai bobot ini, AWS SCT mendefinisikan bagaimana setiap aturan mempengaruhi pilihan distribusi dan kunci pengurutan. Nilai default didasarkan pada praktik terbaik AWS migrasi.

  Anda dapat menentukan ukuran tabel kecil untuk strategi Temukan tabel kecil. Untuk jumlah baris tabel Min dan jumlah baris tabel Maks, masukkan jumlah baris minimum dan maksimum dalam tabel untuk mendefinisikannya sebagai tabel kecil. AWS SCT menerapkan gaya ALL distribusi ke tabel kecil. Dalam hal ini, salinan seluruh tabel didistribusikan ke setiap node.

• Untuk mengkonfigurasi detail strategi.

  Selain menentukan bobot untuk setiap strategi pengoptimalan, Anda dapat mengonfigurasi pengaturan pengoptimalan. Untuk melakukannya, pilih Optimasi konversi.

  • Untuk Batas kolom kunci Urutkan, masukkan jumlah kolom maksimum di tombol sortir.

  • Untuk nilai ambang miring, masukkan persentase (0-100) dari nilai miring untuk kolom. AWS SCT mengecualikan kolom dengan nilai miring lebih besar dari ambang batas dari daftar kandidat untuk kunci distribusi. AWS SCT mendefinisikan nilai miring untuk kolom sebagai rasio persentase dari jumlah kemunculan nilai yang paling umum dengan jumlah total catatan.

  • Untuk kueri N Teratas dari tabel riwayat kueri, masukkan nomor (1-100) kueri yang paling sering digunakan untuk dianalisis.

  • Untuk Pilih pengguna statistik, pilih pengguna database yang ingin Anda analisis statistik kueri.

  Juga, pada tab Strategi optimasi, Anda dapat menentukan ukuran tabel kecil untuk strategi Temukan tabel kecil. Untuk jumlah baris tabel Min dan Jumlah baris tabel maks, masukkan jumlah baris minimum dan maksimum dalam tabel untuk menganggapnya sebagai tabel kecil. AWS SCT menerapkan gaya ALL distribusi ke tabel kecil. Dalam hal ini, salinan seluruh tabel didistribusikan ke setiap node.