Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
AWS Glueproperti koneksi
Topik ini mencakup informasi tentang properti untuk AWS Glue koneksi.
Topik
- Properti koneksi yang diperlukan
- AWS GlueProperti koneksi JDBC
- AWS GlueProperti koneksi MongoDB dan MongoDB Atlas
- Properti koneksi Salesforce
- Koneksi kepingan salju
- Koneksi Vertica
- Koneksi SAP HANA
- Koneksi Azure SQL
- Koneksi Teradata Vantage
- OpenSearch Koneksi layanan
- Koneksi Azure Cosmos
- AWS GlueProperti koneksi SSL
- Properti koneksi Apache Kafka untuk otentikasi klien
- BigQuery Koneksi Google
- Koneksi Vertica
Properti koneksi yang diperlukan
Ketika Anda menentukan sebuah koneksi pada konsol AWS Glue, Anda harus memberikan nilai untuk properti-properti berikut:
- Nama koneksi
-
Masukkan nama unik untuk koneksi Anda.
- Tipe koneksi
-
Pilih JDBC atau salah satu jenis koneksi tertentu.
Untuk detail tentang jenis koneksi JDBC, lihat AWS GlueProperti koneksi JDBC
Pilih Jaringan untuk connect ke sumber data di lingkungan Amazon Virtual Private Cloud (Amazon VPC)).
Tergantung pada jenis yang Anda pilih, konsol AWS Glue menampilkan bidang lain yang diperlukan. Misalnya, jika Anda memilih Amazon RDS, maka Anda kemudian harus memilih mesin basis data.
- Wajib koneksi SSL
-
Bila Anda memilih opsi ini, AWS Glue harus memverifikasi bahwa koneksi ke penyimpanan data terhubung melalui Lapisan Soket Aman (SSL) yang terpercaya.
Untuk informasi selengkapnya, termasuk opsi tambahan yang tersedia bila Anda memilih opsi ini, lihat AWS GlueProperti koneksi SSL.
- Pilih klaster MSK (Amazon Managed Streaming for Apache Kafka (MSK) saja)
-
Menentukan cluster MSK dari akun lain AWS .
- URL server bootstrap Kafka (Kafka saja)
-
Menentukan daftar dipisahkan koma dari URL server bootstrap. Termasuk nomor port. Sebagai contoh: b-1.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-2.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094, b-3.vpc-test-2.o4q88o.c6.kafka.us-east-1.amazonaws.com:9094
AWS GlueProperti koneksi JDBC
AWS Glue dapat connect ke penyimpanan data berikut melalui koneksi JDBC:
-
Amazon Redshift
-
Amazon Aurora
-
Microsoft SQL Server
-
MySQL
-
Oracle
-
PostgreSQL
-
Snowflake, saat menggunakan AWS Glue crawler.
-
Aurora (didukung jika driver JDBC asli sedang digunakan. Tidak semua fitur driver dapat dimanfaatkan)
-
Amazon RDS for MariaDB
penting
Saat ini, sebuah tugas ETL dapat menggunakan koneksi JDBC hanya dalam satu subnet saja. Jika Anda memiliki beberapa penyimpanan data dalam suatu pekerjaan, mereka harus berada di subnet yang sama, atau dapat diakses dari subnet.
Jika Anda memilih untuk membawa versi driver JDBC Anda sendiri untuk AWS Glue crawler, crawler Anda akan menggunakan sumber daya dalam pekerjaan dan AWS Glue Amazon S3 untuk memastikan driver yang Anda berikan dijalankan di lingkungan Anda. Penggunaan sumber daya tambahan akan tercermin di akun Anda. Selain itu, menyediakan driver JDBC Anda sendiri tidak berarti bahwa crawler dapat memanfaatkan semua fitur pengemudi. Driver terbatas pada properti yang dijelaskan dalam Mendefinisikan koneksi di Katalog Data.
Berikut ini adalah properti tambahan untuk jenis koneksi JDBC.
- URL JDBC
-
Masukkan URL untuk penyimpanan data JDBC Anda. Untuk kebanyakan mesin basis data, bidang ini adalah dalam format berikut. Dalam format ini, ganti
protokol
,host
,port
, dandb_name
dengan informasi Anda sendiri.jdbc:
protocol
://host
:port
/db_name
Tergantung pada mesin basis data, format URL JDBC yang berbeda mungkin diperlukan. Format ini dapat memiliki penggunaan yang sedikit berbeda untuk penggunaan titik dua (:) dan garis miring (/) atau kata kunci yang berbeda untuk menentukan basis data.
Untuk JDBC yang akan connect ke penyimpanan data, diperlukan sebuah
db_name
di penyimpanan data.db_name
digunakan untuk membuat koneksi jaringan denganusername
danpassword
. Saat terhubung, AWS Glue dapat mengakses basis data lain di penyimpanan data untuk menjalankan sebuah crawler atau menjalankan tugas ETL.Contoh URL JDBC berikut menunjukkan sintaksis untuk beberapa mesin basis data.
-
Untuk connect ke penyimpanan data klaster Amazon Redshift dengan basis data
dev
:jdbc:redshift://xxx.us-east-1.redshift.amazonaws.com:8192/dev
-
Untuk connect ke penyimpanan data Amazon RDS for MySQL dengan basis data
employee
:jdbc:mysql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:3306/employee
-
Untuk connect ke penyimpanan data Amazon RDS for PostgreSQL dengan basis data
employee
:jdbc:postgresql://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:5432/employee
-
Untuk connect ke penyimpanan data Amazon RDS for Oracle data store dengan nama layanan
employee
:jdbc:oracle:thin://@xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1521/employee
Sintaksis untuk Amazon RDS for Oracle dapat mengikuti pola berikut. Dalam pola ini, ganti
host
,port
,service_name
, danSID
dengan informasi Anda sendiri.-
jdbc:oracle:thin://@
host
:port
/service_name
-
jdbc:oracle:thin://@
host
:port
:SID
-
-
Untuk connect ke penyimpanan data Amazon RDS for Microsoft SQL Server dengan basis data
employee
:jdbc:sqlserver://xxx-cluster.cluster-xxx.us-east-1.rds.amazonaws.com:1433;databaseName=employee
Sintaksis untuk Amazon RDS for SQL Server dapat mengikuti pola berikut. Dalam pola ini, ganti
server_name
,port
, dandb_name
dengan informasi Anda sendiri.-
jdbc:sqlserver://
server_name
:port
;database=db_name
-
jdbc:sqlserver://
server_name
:port
;databaseName=db_name
-
-
Untuk terhubung ke Amazon Aurora PostgreSQL instance
employee
database, tentukan titik akhir untuk instance database, port, dan nama database:jdbc:postgresql://employee_instance_1.
xxxxxxxxxxxx
.us-east-2.rds.amazonaws.com:5432/employee -
Untuk terhubung ke penyimpanan Amazon RDS for MariaDB data dengan
employee
database, tentukan titik akhir untuk instance database, port, dan nama database:jdbc:mysql://
xxx
-cluster.cluster-xxx
.aws-region
.rds.amazonaws.com:3306/employee -
Awas
Koneksi Snowflake JDBC hanya didukung oleh crawler. AWS Glue Saat menggunakan konektor Snowflake dalam AWS Glue pekerjaan, gunakan jenis koneksi Snowflake.
Untuk terhubung ke instance Snowflake dari
sample
database, tentukan titik akhir untuk instance snowflake, pengguna, nama database, dan nama peran. Anda dapat menambahkanwarehouse
parameter secara opsional.jdbc:snowflake://
account_name
.snowflakecomputing.com/?user=user_name
&db=sample&role=role_name
&warehouse=warehouse_name
penting
Untuk koneksi Snowflake melalui JDBC, urutan parameter dalam URL diberlakukan dan harus diurutkan sebagai
user
,,, dan.db
role_name
warehouse
-
Untuk terhubung ke instance Snowflake dari
sample
database dengan tautan AWS pribadi, tentukan URL Snowflake JDBC sebagai berikut:jdbc:snowflake://
account_name
.region
.privatelink.snowflakecomputing.com/?user=user_name
&db=sample&role=role_name
&warehouse=warehouse_name
-
- nama pengguna
-
catatan
Kami menyarankan Anda menggunakan AWS rahasia untuk menyimpan kredensyal koneksi alih-alih memasok nama pengguna dan kata sandi Anda secara langsung. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.
Berikan nama pengguna yang memiliki izin untuk mengakses penyimpanan data JDBC.
- Kata sandi
-
Masukkan kata sandi untuk nama pengguna yang memiliki izin akses ke penyimpanan data JDBC.
- Port
-
Masukkan port yang digunakan dalam URL JDBC untuk terhubung ke instans Amazon RDS Oracle. Bidang ini hanya ditampilkan ketika Wajib koneksi SSL dipilih untuk instans Amazon RDS Oracle.
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
penting
Saat bekerja melalui koneksi JDBC yang di-host AWS, seperti dengan data dari Snowflake, VPC Anda harus memiliki gateway NAT yang membagi lalu lintas menjadi subnet publik dan pribadi. Subnet publik digunakan untuk koneksi ke sumber eksternal, dan subnet internal digunakan untuk diproses oleh. AWS Glue Untuk informasi tentang mengonfigurasi VPC Amazon Anda untuk koneksi eksternal, baca Connect to the internet atau jaringan lain menggunakan perangkat NAT dan. Menyiapkan Amazon VPC untuk koneksi JDBC ke penyimpanan data Amazon RDS AWS Glue
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
- Nama Kelas Pengemudi JDBC - opsional
-
Berikan nama kelas driver JDBC kustom:
-
Postgres - org.PostgreSQL.driver
-
MySQL - com.mysql.jdbc.driver, com.mysql.cj.jdbc.driver
-
Redshift — com.amazon.redshift.jdbc.driver, com.amazon.redshift.jdbc42.driver
-
Oracle — oracle.jdbc.driver. OracleDriver
-
SQL Server - com.Microsoft.SqlServer.JDBC.SQL ServerDriver
-
- Jalur S3 Driver JDBC - opsional
-
Berikan lokasi Amazon S3 ke driver JDBC khusus. Ini adalah jalur absolut ke file.jar. Jika Anda ingin menyediakan driver JDBC Anda sendiri untuk terhubung ke sumber data Anda untuk database yang didukung crawler Anda, Anda dapat menentukan nilai untuk parameter
customJdbcDriverS3Path
dancustomJdbcDriverClassName
. Menggunakan driver JDBC yang disediakan oleh pelanggan terbatas pada yang diperlukan. Properti koneksi yang diperlukan
AWS GlueProperti koneksi MongoDB dan MongoDB Atlas
Berikut ini adalah properti tambahan untuk jenis koneksi MongoDB atau MongoDB Atlas.
- URL MongoDB
-
Masukkan URL untuk penyimpanan data MongoDB atau MongoDB Atlas Anda:
Untuk MongoDB: mongodb: //host:port/database. Host dapat berupa nama host, alamat IP, atau soket domain UNIX. Jika string koneksi tidak menentukan port, ia menggunakan port MongoDB default, 27017.
Untuk MongoDB Atlas: mongodb+srv: //server.example.com/database. Host dapat berupa nama host yang mengikuti sesuai dengan catatan DNS SRV. Format SRV tidak memerlukan port dan akan menggunakan port MongoDB default, 27017.
- nama pengguna
-
catatan
Kami menyarankan Anda menggunakan AWS rahasia untuk menyimpan kredensyal koneksi alih-alih memasok nama pengguna dan kata sandi Anda secara langsung. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.
Berikan nama pengguna yang memiliki izin untuk mengakses penyimpanan data JDBC.
- Kata sandi
-
Masukkan kata sandi untuk nama pengguna yang memiliki izin akses ke penyimpanan data MongoDB atau MongoDB Atlas.
Properti koneksi Salesforce
Berikut ini adalah properti tambahan untuk jenis koneksi Salesforce.
ENTITY_NAME
(String) - (Diperlukan) Digunakan untuk Baca/Tulis. Nama Objek Anda di Salesforce.API_VERSION
(String) - (Diperlukan) Digunakan untuk Baca/Tulis. Salesforce Rest API versi yang ingin Anda gunakan.SELECTED_FIELDS
(Daftar<String>) - Default: kosong (SELECT *). Digunakan untuk Baca. Kolom yang ingin Anda pilih untuk objek.FILTER_PREDICATE
(String) - Default: kosong. Digunakan untuk Baca. Itu harus dalam format Spark SQL.QUERY
(String) - Default: kosong. Digunakan untuk Baca. Kueri SQL Spark penuh.PARTITION_FIELD
(String) - Digunakan untuk Baca. Bidang yang akan digunakan untuk mempartisi kueri.LOWER_BOUND
(String) - Digunakan untuk Baca. Nilai batas bawah inklusif dari bidang partisi yang dipilih.UPPER_BOUND
(String) - Digunakan untuk Baca. Nilai batas atas eksklusif dari bidang partisi yang dipilih.NUM_PARTITIONS
(Integer) - Default: 1. Digunakan untuk Baca. Jumlah partisi untuk dibaca.IMPORT_DELETED_RECORDS
(String) - Default: FALSE. Digunakan untuk membaca. Untuk mendapatkan catatan hapus saat melakukan kueri.WRITE_OPERATION
(String) - Default: SISIPKAN. Digunakan untuk menulis. Nilai harus INSERT, UPDATE, UPSERT, DELETE.ID_FIELD_NAMES
(String) - Default: null. Digunakan hanya untuk UPSERT.
Koneksi kepingan salju
Properti berikut digunakan untuk mengatur koneksi Snowflake yang digunakan dalam pekerjaan AWS Glue ETL. Saat merayapi Snowflake, gunakan koneksi JDBC.
- URL Kepingan Salju
-
URL titik akhir Snowflake Anda. Untuk informasi selengkapnya tentang URL titik akhir Snowflake, lihat Menghubungkan ke Akun Anda
di dokumentasi Snowflake. - AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Snowflake menggunakan
sfUser
dansfPassword
kunci rahasia Anda.- Peran kepingan salju (opsional)
Peran keamanan kepingan salju AWS Glue akan digunakan saat menghubungkan.
Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Snowflake yang dihosting di Amazon VPC menggunakan. AWS PrivateLink
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
Koneksi Vertica
Gunakan properti berikut untuk menyiapkan koneksi Vertica untuk pekerjaan AWS Glue ETL.
- Tuan Rumah Vertica
Nama host instalasi Vertica Anda.
- Pelabuhan Vertica
Port instalasi Vertica Anda tersedia melalui.
- AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Vertica menggunakan kunci rahasia Anda.
Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Vertica yang dihosting di Amazon VPC.
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
Koneksi SAP HANA
Gunakan properti berikut untuk mengatur koneksi SAP HANA untuk pekerjaan AWS Glue ETL.
- SAP HANA URL
URL JDBC SAP.
URL SAP HANA JDBC ada dalam bentuk
jdbc:sap://
saphanaHostname
:saphanaPort
/?databaseName
=saphanaDBname
,ParameterName
=ParameterValue
AWS Glue memerlukan parameter URL JDBC berikut:
databaseName
— Database default di SAP HANA untuk terhubung ke.
- AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke SAP HANA menggunakan kunci rahasia Anda.
Gunakan properti berikut saat mengonfigurasi koneksi ke titik akhir SAP HANA yang dihosting di Amazon VPC:
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
Koneksi Azure SQL
Gunakan properti berikut untuk menyiapkan koneksi Azure SQL untuk pekerjaan AWS Glue ETL.
- URL SQL Azure
URL JDBC dari titik akhir Azure SQL.
URL harus dalam format berikut:
jdbc:sqlserver://
.databaseServerName
:databasePort
;databaseName=azuresqlDBname
;AWS Glue membutuhkan properti URL berikut:
databaseName
— Database default di Azure SQL untuk terhubung ke.
- AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Azure SQL menggunakan kunci rahasia Anda.
Koneksi Teradata Vantage
Gunakan properti berikut untuk menyiapkan koneksi Teradata Vantage untuk pekerjaan ETL. AWS Glue
- URL Teradata
Untuk menyambung ke instance Teradata, tentukan nama host untuk instance database dan parameter Teradata yang relevan:
jdbc:teradata://
.teradataHostname
/ParameterName
=ParameterValue
,ParameterName
=ParameterValue
AWS Glue mendukung parameter URL JDBC berikut:
DATABASE_NAME
— Database default di Teradata untuk terhubung ke.DBS_PORT
- Menentukan port Teradata, jika tidak standar.
- AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Teradata Vantage menggunakan kunci rahasia Anda.
Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir Teradata Vantage yang dihosting di Amazon VPC:
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
OpenSearch Koneksi layanan
Gunakan properti berikut untuk menyiapkan koneksi OpenSearch Layanan untuk pekerjaan AWS Glue ETL.
- Titik akhir domain
Titik akhir domain OpenSearch Layanan Amazon akan memiliki formulir default berikut, https://search -
domainName
-.unstructuredIdContent
wilayah
.es.amazonaws.com. Untuk informasi selengkapnya tentang mengidentifikasi titik akhir domain Anda, lihat Membuat dan mengelola domain OpenSearch Layanan Amazon di dokumentasi OpenSearch Layanan Amazon.- Port
Port terbuka di titik akhir.
- AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke OpenSearch Layanan menggunakan kunci rahasia Anda.
Gunakan properti berikut saat mengonfigurasi sambungan ke titik akhir OpenSearch Layanan yang dihosting di Amazon VPC:
- VPC
-
Pilih nama virtual private cloud (VPC) yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua VPC untuk Wilayah saat ini.
- Subnet
-
Pilih subnet dalam VPC yang berisi penyimpanan data Anda. Konsol AWS Glue mencantumkan semua subnet untuk penyimpanan data di VPC Anda.
- Grup keamanan
-
Pilih grup keamanan yang dikaitkan dengan penyimpanan data Anda. AWS Glue memerlukan satu atau beberapa grup keamanan dengan aturan sumber inbound yang memungkinkan AWS Glue untuk connect. Konsol AWS Glue mencantumkan semua grup keamanan yang diberikan akses masuk ke VPC Anda. AWS Glue mengaitkan grup keamanan ini dengan antarmuka jaringan elastis yang dilampirkan pada subnet VPC Anda.
Koneksi Azure Cosmos
Gunakan properti berikut untuk menyiapkan koneksi Azure Cosmos untuk pekerjaan AWS Glue ETL.
- URI Titik Akhir Akun Azure Cosmos DB
-
Titik akhir yang digunakan untuk terhubung ke Azure Cosmos. Untuk informasi selengkapnya, lihat dokumentasi Azure
. - AWS Rahasia
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue akan terhubung ke Azure Cosmos menggunakan kunci rahasia Anda.
AWS GlueProperti koneksi SSL
Berikut ini adalah rincian tentang properti koneksi Required SSL.
Jika Anda tidak memerlukan koneksi SSL, AWS Glue abaikan kegagalan saat menggunakan SSL untuk mengenkripsi koneksi ke penyimpanan data. Lihat dokumentasi untuk penyimpanan data Anda untuk melihat petunjuk konfigurasi. Saat Anda memilih opsi ini, pernyataan job run, crawler, atau ETL di titik akhir pengembangan gagal saat AWS Glue tidak dapat terhubung.
catatan
Snowflake mendukung koneksi SSL secara default, jadi properti ini tidak berlaku untuk Snowflake.
Opsi ini divalidasi pada sisi klien AWS Glue. Untuk koneksi JDBC, AWS Glue hanya menghubungkan melalui SSL dengan sertifikat dan validasi nama host. Support koneksi SSL tersedia untuk:
-
Basis data Oracle
-
Microsoft SQL Server
-
PostgreSQL
-
Amazon Redshift
-
MySQL (instans Amazon RDS saja)
-
Amazon Aurora MySQL (instans Amazon RDS saja)
-
Amazon Aurora PostgreSQL (Hanya instans Amazon RDS)
-
Kafka, yang meliputi Amazon Managed Streaming for Apache Kafka
-
MongoDB
catatan
Untuk mengaktifkan sebuah penyimpanan data Amazon RDS Oracle untuk menggunakan Wajib koneksi SSL, Anda harus membuat dan melampirkan grup pilihan untuk instans Oracle.
Masuk ke AWS Management Console dan buka konsol Amazon RDS di https://console.aws.amazon.com/rds/.
-
Tambahkan Grup opsi untuk instans Amazon RDS Oracle. Untuk informasi selengkapnya tentang cara menambahkan grup opsi di konsol Amazon RDS, lihat Membuat grup opsi
-
Tambahkan sebuah Opsi ke grup opsi untuk SSL. Port yang Anda tentukan untuk SSL kemudian digunakan saat Anda membuat URL koneksi JDBC AWS Glue untuk instans Amazon RDS Oracle. Untuk informasi selengkapnya tentang cara menambahkan opsi di konsol Amazon RDS, lihat Menambahkan Opsi ke Grup Opsi dalam Panduan Pengguna Amazon RDS. Untuk informasi selengkapnya tentang opsi Oracle SSL, lihat Oracle SSL dalam Panduan Pengguna Amazon RDS.
-
Pada konsol AWS Glue, buat koneksi ke instans Amazon RDS Oracle. Dalam definisi koneksi, pilih Wajib koneksi SSL. Ketika diminta, masukkan Port yang Anda gunakan di opsi Amazon RDS Oracle SSL.
Properti opsional tambahan berikut tersedia ketika Wajib koneksi SSL dipilih untuk sebuah koneksi:
- Sertifikat JDBC kustom di S3
-
Jika Anda memiliki sertifikat yang saat ini Anda gunakan untuk komunikasi SSL dengan basis data on-premise atau cloud, maka Anda dapat menggunakan sertifikat tersebut untuk koneksi SSL ke sumber data atau target AWS Glue. Masukkan lokasi Amazon Simple Storage Service (Amazon S3) yang berisi sertifikat akar kustom. AWS Glue menggunakan sertifikat ini untuk membuat koneksi SSL ke basis data. AWS Glue hanya menangani sertifikat X.509 saja. Sertifikat harus dikodekan-DER dan disediakan dalam format PEM encoding base64.
Jika bidang ini dibiarkan kosong, sertifikat default akan digunakan.
- String sertifikat JDBC kustom
-
Masukkan informasi sertifikat yang spesifik untuk basis data JDBC Anda. String ini digunakan untuk pencocokan domain atau pencocokan nama yang dibedakan (DN). Untuk Basis Data Oracle, string ini memetakan ke parameter
SSL_SERVER_CERT_DN
di bagian keamanan filetnsnames.ora
. Untuk Microsoft SQL Server, string ini digunakan sebagaihostNameInCertificate
.Berikut ini adalah contoh untuk parameter
SSL_SERVER_CERT_DN
Basis Data Oracle.cn=sales,cn=OracleContext,dc=us,dc=example,dc=com
- Lokasi sertifikat CA pribadi Kafka
-
Jika Anda memiliki sertifikat yang saat ini Anda gunakan untuk komunikasi SSL dengan penyimpanan data Kafka Anda, maka Anda dapat menggunakan sertifikat tersebut dengan koneksi AWS Glue. Opsi ini diperlukan untuk penyimpanan data Kafka, dan opsional untuk penyimpanan Amazon Managed Streaming for Apache Kafka data. Masukkan lokasi Amazon Simple Storage Service (Amazon S3) yang berisi sertifikat akar kustom. AWS Glue menggunakan sertifikat ini untuk membuat koneksi SSL ke penyimpanan data Kafka. AWS Glue hanya menangani sertifikat X.509 saja. Sertifikat harus dikodekan-DER dan disediakan dalam format PEM encoding base64.
- Lewati validasi sertifikat
-
Pilih kotak centang Lewati validasi sertifikat untuk melewatkan validasi sertifikat kustom oleh AWS Glue. Jika Anda memilih untuk memvalidasi, AWS Glue akan memvalidasi algoritme tanda tangan dan algoritme kunci publik subjek untuk sertifikat. Jika sertifikat gagal validasi, maka setiap tugas ETL atau crawler yang menggunakan koneksi tersebut akan gagal.
Algoritme tanda tangan yang diizinkan adalah SHA256withRSA, SHA384withRSA, atau SHA512withRSA. Untuk algoritme kunci publik subjek, panjang kunci minimal harus 2048.
- Lokasi keystore klien Kafka
-
Lokasi Amazon S3 dari file keystore klien untuk autentikasi sisi klien Kafka. Path harus dalam bentuk s3://bucket/prefix/filename.jks. Ini harus diakhiri dengan nama file dan ekstensi.jks.
- Kata sandi keystore klien Kafka (opsional)
-
Kata sandi untuk mengakses keystore yang disediakan.
- Kata sandi kunci klien Kafka (opsional)
-
Sebuah keystore dapat terdiri dari beberapa kunci, jadi ini adalah kata sandi untuk mengakses kunci klien yang akan digunakan dengan kunci sisi server Kafka.
Properti koneksi Apache Kafka untuk otentikasi klien
AWS Gluemendukung kerangka kerja Simple Authentication and Security Layer (SASL) untuk otentikasi saat Anda membuat koneksi Apache Kafka. Kerangka SASL mendukung berbagai mekanisme otentikasi, dan AWS Glue menawarkan SCRAM (nama pengguna dan kata sandi), GSSAPI (protokol Kerberos), dan protokol PLAIN.
Gunakan AWS Glue Studio untuk mengkonfigurasi salah satu metode otentikasi klien berikut. Untuk informasi selengkapnya, lihat Membuat koneksi untuk konektor di panduan AWS Glue Studio pengguna.
-
Tidak ada - Tidak ada otentikasi. Ini berguna jika membuat koneksi untuk tujuan pengujian.
-
SASL/SCRAM-SHA-512 - Memilih metode otentikasi ini akan memungkinkan Anda untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:
-
Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan nama pengguna dan kata sandi Anda di AWS Secrets Manager dan membiarkan AWS Glue mengaksesnya bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL. Untuk informasi selengkapnya, lihat Menyimpan kredensi koneksi di AWS Secrets Manager.
-
Berikan nama pengguna dan kata sandi secara langsung.
-
-
SASL/GSSAPI (Kerberos) - jika Anda memilih opsi ini, Anda dapat memilih lokasi file keytab, file krb5.conf dan masukkan nama utama Kerberos dan nama layanan Kerberos. Lokasi untuk file tab tombol dan file krb5.conf harus berada di lokasi Amazon S3. Karena MSK belum mendukung SASL/GSSAPI, opsi ini hanya tersedia untuk cluster Apache Kafka yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Dokumentasi MIT Kerberos: Keytab
. -
SASL/PLAIN - pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:
Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL.
Berikan nama pengguna dan kata sandi secara langsung.
-
Otentikasi Klien SSL - jika Anda memilih opsi ini, Anda dapat memilih lokasi keystore klien Kafka dengan menjelajahi Amazon S3. Secara opsional, Anda dapat memasukkan kata sandi keystore klien Kafka dan kata sandi kunci klien Kafka.
BigQuery Koneksi Google
Properti berikut digunakan untuk mengatur BigQuery koneksi Google yang digunakan dalam pekerjaan AWS Glue ETL. Untuk informasi selengkapnya, lihat BigQuery koneksi.
- AWS Rahasia
-
Nama Rahasia dari sebuah rahasia di AWS Secrets Manager AWS Glue Pekerjaan ETL akan terhubung ke Google BigQuery menggunakan
credentials
kunci rahasia Anda.
Koneksi Vertica
Properti berikut digunakan untuk mengatur koneksi Vertica yang digunakan dalam pekerjaan AWS Glue ETL. Untuk informasi selengkapnya, lihat Koneksi Vertica.