Koneksi Azure SQL

Anda dapat menggunakan AWS Glue for Spark untuk membaca dan menulis ke tabel di Azure SQL Managed Instances di AWS Glue 4.0 dan versi yang lebih baru. Anda dapat menentukan apa yang harus dibaca dari Azure SQL dengan query SQL. Anda terhubung ke Azure SQL menggunakan kredensyal pengguna dan kata sandi yang disimpan melalui AWS Secrets Manager koneksi Glue. AWS

Untuk informasi lebih lanjut tentang Azure SQL, lihat dokumentasi Azure SQL.

Mengkonfigurasi koneksi Azure SQL

Untuk terhubung ke Azure SQL dari AWS Glue, Anda harus membuat dan menyimpan kredensyal Azure SQL Anda secara AWS Secrets Manager rahasia, lalu mengaitkan rahasia itu dengan koneksi Azure SQL Glue. AWS

Untuk mengkonfigurasi koneksi ke Azure SQL:

1. DiAWS Secrets Manager, buat rahasia menggunakan kredensyal Azure SQL Anda. Untuk membuat rahasia di Secrets Manager, ikuti tutorial yang tersedia di Buat AWS Secrets Manager rahasia dalam AWS Secrets Manager dokumentasi. Setelah membuat rahasia, simpan nama Rahasia, secretName untuk langkah selanjutnya.

   • Saat memilih pasangan kunci/nilai, buat pasangan untuk kunci user dengan nilai AzuresQLUsername.

   • Saat memilih pasangan kunci/nilai, buat pasangan untuk kunci password dengan nilai AzuresQLPassword.

2. Di konsol AWS Glue, buat koneksi dengan mengikuti langkah-langkah diMenambahkan AWS Glue koneksi. Setelah membuat koneksi, simpan nama koneksi, connectionName, untuk penggunaan masa depan di GlueAWS.

   • Saat memilih jenis Koneksi, pilih Azure SQL.

   • Saat menyediakan URL Azure SQL, berikan URL endpoint JDBC.

     URL harus dalam format: jdbc:sqlserver://databaseServerName:databasePort;databaseName=azuresqlDBname;

     AWSGlue membutuhkan properti URL berikut:

     • databaseName— Database default di Azure SQL untuk terhubung ke.

     Untuk informasi selengkapnya tentang URL JDBC untuk Instans Terkelola Azure SQL, lihat dokumentasi Microsoft.

   • Saat memilih AWSSecret, berikan secretName.

Setelah membuat koneksi AWS Glue Azure SQL, Anda harus melakukan langkah-langkah berikut sebelum menjalankan pekerjaan AWS Glue Anda:

• Berikan peran IAM yang terkait dengan izin pekerjaan AWS Glue Anda untuk membaca secretName.

• Dalam konfigurasi pekerjaan AWS Glue Anda, berikan ConnectionName sebagai koneksi jaringan Tambahan.

Membaca dari tabel Azure SQL

Prasyarat:

• Tabel Azure SQL yang ingin Anda baca. Anda akan memerlukan informasi identifikasi untuk tabel, DatabaseName dan TableIdentifier.

  Tabel Azure SQL diidentifikasi oleh database, skema, dan nama tabelnya. Anda harus memberikan nama database dan nama tabel saat menghubungkan ke Azure SQL. Anda juga harus memberikan skema jika bukan default, “publik”. Database disediakan melalui properti URL di connectionName, skema dan nama tabel melalui. dbtable

• Koneksi AWS Glue Azure SQL yang dikonfigurasi untuk memberikan informasi autentikasi. Selesaikan langkah-langkah dalam prosedur sebelumnya, Untuk mengkonfigurasi koneksi ke Azure SQL untuk mengkonfigurasi informasi autentikasi Anda. Anda akan memerlukan nama koneksi AWS Glue, ConnectionName.

Misalnya:

azuresql_read_table = glueContext.create_dynamic_frame.from_options(
    connection_type="azuresql",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableIdentifier"
    }
)

Anda juga dapat memberikan kueri SELECT SQL, untuk memfilter hasil yang dikembalikan ke Anda DynamicFrame. Anda perlu mengkonfigurasiquery.

Misalnya:

azuresql_read_query = glueContext.create_dynamic_frame.from_options(
    connection_type="azuresql",
    connection_options={
        "connectionName": "connectionName",
        "query": "query"
    }
)

Menulis ke tabel Azure SQL

Contoh ini menulis informasi dari DynamicFrame yang sudah ada DynamicFrame ke Azure SQL. Jika tabel sudah memiliki informasi, AWS Glue akan menambahkan data dari Anda DynamicFrame.

Prasyarat:

• Tabel Azure SQL yang ingin Anda tulis. Anda akan memerlukan informasi identifikasi untuk tabel, DatabaseName dan TableIdentifier.

  Tabel Azure SQL diidentifikasi oleh database, skema, dan nama tabelnya. Anda harus memberikan nama database dan nama tabel saat menghubungkan ke Azure SQL. Anda juga harus memberikan skema jika bukan default, “publik”. Database disediakan melalui properti URL di connectionName, skema dan nama tabel melalui. dbtable

• Informasi autentikasi Azure SQL. Selesaikan langkah-langkah dalam prosedur sebelumnya, Untuk mengkonfigurasi koneksi ke Azure SQL untuk mengkonfigurasi informasi autentikasi Anda. Anda akan memerlukan nama koneksi AWS Glue, ConnectionName.

Misalnya:

azuresql_write = glueContext.write_dynamic_frame.from_options(
    connection_type="azuresql",
    connection_options={
        "connectionName": "connectionName",
        "dbtable": "tableIdentifier"
    }
)

Referensi opsi koneksi Azure SQL

• connectionName — Diperlukan. Digunakan untuk Baca/tulis. Nama koneksi AWS Glue Azure SQL dikonfigurasi untuk memberikan informasi autentikasi ke metode koneksi Anda.

• databaseName— Digunakan untuk Membaca/Menulis. Nilai yang Valid: Nama database Azure SQL. Nama basis data di Azure SQL untuk terhubung.

• dbtable— Diperlukan untuk menulis, diperlukan untuk membaca kecuali query disediakan. Digunakan untuk Baca/tulis. Nilai Valid: Nama tabel Azure SQL, atau kombinasi nama skema/tabel yang dipisahkan periode. Digunakan untuk menentukan tabel dan skema yang mengidentifikasi tabel untuk terhubung ke. Skema default adalah “public”. Jika tabel Anda berada dalam skema non-default, berikan informasi ini dalam formulir. schemaName.tableName

• query— Digunakan untuk Baca. Sebuah query Transact-SQL SELECT mendefinisikan apa yang harus diambil ketika membaca dari Azure SQL. Untuk informasi selengkapnya, lihat dokumentasi Microsoft.