Konektor Amazon Athena Azure Synapse

Konektor Amazon Athena untuk analitik Azure Synapse memungkinkan Amazon Athena menjalankan kueri SQL pada database Azure Synapse Anda menggunakan JDBC.

Prasyarat

• Menyebarkan konektor ke Anda Akun AWS menggunakan konsol Athena atau. AWS Serverless Application Repository Untuk informasi selengkapnya, lihat Menyebarkan konektor sumber data atau MenggunakanAWS Serverless Application Repositoryuntuk menyebarkan konektor sumber data.

Batasan

• Menulis operasi DDL tidak didukung.

• Dalam pengaturan multiplexer, bucket tumpahan dan awalan dibagikan di semua instance database.

• Batas Lambda yang relevan. Untuk informasi selengkapnya, lihat Kuota Lambda dalam Panduan Pengembang AWS Lambda .

• Dalam kondisi filter, Anda harus mentransmisikan tipe Date dan Timestamp data ke tipe data yang sesuai.

• Untuk mencari nilai negatif dari jenis Real danFloat, gunakan >= operator <= atau.

• Tipe rowversion data binary varbinaryimage,, dan tidak didukung.

Ketentuan

Istilah-istilah berikut berhubungan dengan konektor Synapse.

• Instans database — Instance apa pun dari database yang digunakan di tempat, di Amazon EC2, atau di Amazon RDS.

• Handler - Handler Lambda yang mengakses instance database Anda. Handler bisa untuk metadata atau untuk catatan data.

• Metadata handler — Penangan Lambda yang mengambil metadata dari instance database Anda.

• Record handler - Handler Lambda yang mengambil catatan data dari instance database Anda.

• Composite handler — Handler Lambda yang mengambil data metadata dan data dari instance database Anda.

• Properti atau parameter - Properti database yang digunakan oleh penangan untuk mengekstrak informasi database. Anda mengonfigurasi properti ini sebagai variabel lingkungan Lambda.

• Connection String — Sebuah string teks yang digunakan untuk membuat koneksi ke instance database.

• Katalog —AWS Glue Non-katalog yang terdaftar di Athena yang merupakan awalan yang diperlukan untuk properti. connection_string

• Multiplexing handler - Handler Lambda yang dapat menerima dan menggunakan beberapa koneksi database.

Parameter

Gunakan variabel lingkungan Lambda di bagian ini untuk mengkonfigurasi konektor Synapse.

String koneksi

Gunakan string koneksi JDBC dalam format berikut untuk terhubung ke instance database.

synapse://${jdbc_connection_string}

Menggunakan handler multiplexing

Anda dapat menggunakan multiplexer untuk terhubung ke beberapa instance database dengan satu fungsi Lambda. Permintaan dirutekan dengan nama katalog. Gunakan kelas-kelas berikut di Lambda.

Handler	Kelas
Handler komposit	SynapseMuxCompositeHandler
Penangan metadata	SynapseMuxMetadataHandler
Rekam handler	SynapseMuxRecordHandler

Parameter handler multiplexing

Parameter	Deskripsi
$catalog_connection_string	Wajib. Sebuah string koneksi instance database. Awalan variabel lingkungan dengan nama katalog yang digunakan di Athena. Misalnya, jika katalog terdaftar di Athena adalahmysynapsecatalog, maka nama variabel lingkungan adalah. mysynapsecatalog_connection_string
default	Wajib. String koneksi default. String ini digunakan ketika katalog adalah lambda:${ }AWS_LAMBDA_FUNCTION_NAME.

Contoh properti berikut adalah untuk fungsi Synapse MUX Lambda yang mendukung dua instance databasesynapse1: (default), dan. synapse2

Properti	Nilai
default	synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}
synapse_catalog1_connection_string	synapse://jdbc:synapse://synapse1.hostname:port;databaseName=<database_name>;${secret1_name}
synapse_catalog2_connection_string	synapse://jdbc:synapse://synapse2.hostname:port;databaseName=<database_name>;${secret2_name}

Memberikan kredensi

Untuk memberikan nama pengguna dan kata sandi untuk database Anda dalam string koneksi JDBC Anda, Anda dapat menggunakan properti string koneksi atau. AWS Secrets Manager

• Connection String - Nama pengguna dan kata sandi dapat ditentukan sebagai properti dalam string koneksi JDBC.

  penting

  Sebagai praktik keamanan terbaik, jangan gunakan kredensyal hardcode dalam variabel lingkungan atau string koneksi Anda. Untuk informasi tentang memindahkan rahasia hardcode Anda AWS Secrets Manager, lihat Memindahkan rahasia hardcode ke AWS Secrets Manager dalam Panduan Pengguna.AWS Secrets Manager

• AWS Secrets Manager— Untuk menggunakan fitur Query Federasi Athena dengan, VPC AWS Secrets Manager yang terhubung ke fungsi Lambda Anda harus memiliki akses internet atau titik akhir VPC untuk terhubung ke Secrets Manager.

  Anda dapat memasukkan nama rahasia ke AWS Secrets Manager dalam string koneksi JDBC Anda. Konektor menggantikan nama rahasia dengan password nilai username dan dari Secrets Manager.

  Untuk instans database Amazon RDS, dukungan ini terintegrasi dengan erat. Jika Anda menggunakan Amazon RDS, kami sangat menyarankan penggunaan AWS Secrets Manager dan rotasi kredensyal. Jika database Anda tidak menggunakan Amazon RDS, simpan kredensialnya sebagai JSON dalam format berikut:

  {"username": "${username}", "password": "${password}"}

Contoh string koneksi dengan nama rahasia

String berikut memiliki nama rahasia $ {secret_name}.

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;${secret_name}

Konektor menggunakan nama rahasia untuk mengambil rahasia dan memberikan nama pengguna dan kata sandi, seperti pada contoh berikut.

synapse://jdbc:synapse://hostname:port;databaseName=<database_name>;user=<user>;password=<password>

Menggunakan handler koneksi tunggal

Anda dapat menggunakan metadata koneksi tunggal berikut dan penangan rekaman untuk terhubung ke satu instance Synapse.

Jenis handler	Kelas
Handler komposit	SynapseCompositeHandler
Penangan metadata	SynapseMetadataHandler
Rekam handler	SynapseRecordHandler

Parameter handler koneksi tunggal

Parameter	Deskripsi
default	Wajib. String koneksi default.

Penangan koneksi tunggal mendukung satu instance database dan harus menyediakan parameter string default koneksi. Semua string koneksi lainnya diabaikan.

Properti contoh berikut adalah untuk instance Synapse tunggal yang didukung oleh fungsi Lambda.

Properti	Nilai
default	synapse://jdbc:sqlserver://hostname:port;databaseName=<database_name>;${secret_name}

Mengkonfigurasi otentikasi Direktori Aktif

Konektor Amazon Athena Azure Synapse mendukung Otentikasi Direktori Aktif Microsoft. Sebelum Anda mulai, Anda harus mengkonfigurasi pengguna administratif di portal Microsoft Azure dan kemudian gunakan AWS Secrets Manager untuk membuat rahasia.

Untuk mengatur pengguna administratif Direktori Aktif

1. Menggunakan akun yang memiliki hak administratif, masuk ke portal Microsoft Azure di https://portal.azure.com/.

2. Di kotak pencarian, masukkan Azure Synapse Analytics, lalu pilih Azure Synapse Analytics.

   

3. Buka menu di sebelah kiri.

   

4. Di panel navigasi, pilih Azure Active Directory.

5. Pada tab Set admin, atur admin Active Directory ke pengguna baru atau yang sudah ada.

   

6. Di AWS Secrets Manager, simpan nama pengguna admin dan kredensyal kata sandi. Untuk informasi tentang cara membuat rahasia di Secrets Manager, lihat Membuat AWS Secrets Manager rahasia.

Untuk melihat rahasia Anda di Secrets Manager

1. Buka konsol Secrets Manager di https://console.aws.amazon.com/secretsmanager/.

2. Di panel navigasi, pilih Rahasia.

3. Pada halaman Rahasia, pilih tautan ke rahasia Anda.

4. Pada halaman detail untuk rahasia Anda, pilih Ambil nilai rahasia.

   

Memodifikasi string koneksi

Untuk mengaktifkan Otentikasi Direktori Aktif untuk konektor, ubah string koneksi menggunakan sintaks berikut:

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryPassword;{secret_name}

Menggunakan ActiveDirectoryServicePrincipal

Konektor Amazon Athena Azure Synapse juga mendukung. ActiveDirectoryServicePrincipal Untuk mengaktifkan ini, ubah string koneksi sebagai berikut.

synapse://jdbc:synapse://hostname:port;databaseName=database_name;authentication=ActiveDirectoryServicePrincipal;{secret_name}

Untuksecret_name, tentukan aplikasi atau ID klien sebagai nama pengguna dan rahasia identitas utama layanan dalam kata sandi.

Parameter tumpahan

Lambda SDK dapat menumpahkan data ke Amazon S3. Semua instance database yang diakses oleh fungsi Lambda yang sama tumpah ke lokasi yang sama.

Parameter	Deskripsi
spill_bucket	Wajib. Nama ember tumpahan.
spill_prefix	Wajib. Tumpahkan key prefix bucket.
spill_put_request_headers	(Opsional) Peta header permintaan dan nilai yang disandikan JSON untuk permintaan Amazon S3 yang digunakan untuk menumpahkan (misalnya,). putObject {"x-amz-server-side-encryption" : "AES256"} Untuk kemungkinan header lainnya, lihat PutObjectdi Referensi API Amazon Simple Storage Service.

Dukungan tipe data

Tabel berikut menunjukkan tipe data yang sesuai untuk Synapse dan Apache Arrow.

Sinaps	Panah
bit	TINYINT
tinyint	SMALLINT
smallint	SMALLINT
int	INT
bigint	BIGINT
desimal	DECIMAL
numerik	FLOAT8
uang kecil	FLOAT8
money	DECIMAL
mengapung [24]	FLOAT4
mengapung [53]	FLOAT8
real	FLOAT4
datetime	Tanggal (MILLISECOND)
tanggal2	Tanggal (MILLISECOND)
smalldatetime	Tanggal (MILLISECOND)
date	Tanggal (HARI)
Waktu	VARCHAR
datetimeoffset	Tanggal (MILLISECOND)
arang [n]	VARCHAR
varchar [n/maks]	VARCHAR
nchar [n]	VARCHAR
nvarchar [n/max]	VARCHAR

Partisi dan perpecahan

Partisi diwakili oleh kolom partisi tunggal tipevarchar. Synapse mendukung partisi rentang, sehingga partisi diimplementasikan dengan mengekstrak kolom partisi dan rentang partisi dari tabel metadata Synapse. Nilai rentang ini digunakan untuk membuat split.

Kinerja

Memilih subset kolom secara signifikan memperlambat runtime kueri. Konektor menunjukkan pelambatan yang signifikan karena konkurensi.

Konektor Athena Synapse melakukan pushdown predikat untuk mengurangi data yang dipindai oleh kueri. Predikat sederhana dan ekspresi kompleks didorong ke konektor untuk mengurangi jumlah data yang dipindai dan mengurangi waktu eksekusi kueri.

Predikat

Predikat adalah ekspresi dalam WHERE klausa kueri SQL yang mengevaluasi nilai Boolean dan menyaring baris berdasarkan beberapa kondisi. Konektor Athena Synapse dapat menggabungkan ekspresi ini dan mendorongnya langsung ke Synapse untuk meningkatkan fungsionalitas dan untuk mengurangi jumlah data yang dipindai.

Operator konektor Athena Synapse berikut mendukung pushdown predikat:

• Boolean: DAN, ATAU, TIDAK

• KESETARAAN: SAMA, NOT_EQUAL, LESS_THAN, LESS_THAN_OR_EQUAL, GREATER_THAN, GREATER_THAN_OR_EQUAL, NULL_IF, IS_NULL

• Aritmatika: TAMBAHKAN, KURANGI, KALIKAN, BAGI, MODULUS, MENIADAKAN

• Lainnya: LIKE_PATTERN, IN

Contoh pushdown gabungan

Untuk kemampuan kueri yang ditingkatkan, gabungkan jenis pushdown, seperti pada contoh berikut:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%');

Kueri passthrough

Konektor Synapse mendukung kueri passthrough. Kueri passthrough menggunakan fungsi tabel untuk mendorong kueri lengkap Anda ke sumber data untuk dieksekusi.

Untuk menggunakan kueri passthrough dengan Synapse, Anda dapat menggunakan sintaks berikut:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

Contoh query berikut mendorong ke bawah query ke sumber data di Synapse. Kueri memilih semua kolom dalam customer tabel, membatasi hasilnya menjadi 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informasi lisensi

Dengan menggunakan konektor ini, Anda mengakui penyertaan komponen pihak ketiga, daftar yang dapat ditemukan dalam file pom.xml untuk konektor ini, dan menyetujui persyaratan dalam masing-masing lisensi pihak ketiga yang disediakan dalam file LICENSE.txt di .com. GitHub

Sumber daya tambahan

• Untuk artikel yang menunjukkan cara menggunakan Kueri Federasi Amazon QuickSight dan Amazon Athena untuk membuat dasbor dan visualisasi pada data yang disimpan dalam database Microsoft Azure Synapse, lihat Melakukan analitik multi-cloud menggunakan Amazon, QuickSight Amazon Athena Federated Query, dan Microsoft Azure Synapse di Blog Big Data.AWS

• Untuk informasi versi driver JDBC terbaru, lihat file pom.xml untuk konektor Synapse di.com. GitHub

• Untuk informasi tambahan tentang konektor ini, kunjungi situs terkait GitHub di.com.