Membuat koneksi Kafka - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat koneksi Kafka

Saat membuat koneksi Kafka, memilih Kafka dari menu drop-down akan menampilkan pengaturan tambahan untuk mengkonfigurasi:

  • Rincian cluster Kafka

  • Autentikasi

  • Enkripsi

  • Opsi jaringan

Konfigurasikan detail cluster Kafka

  1. Pilih lokasi cluster. Anda dapat memilih dari streaming terkelola Amazon untuk cluster Apache Kafka (MSK) atau cluster Apache Kafka yang dikelola Pelanggan. Untuk informasi selengkapnya tentang Amazon Managed streaming untuk Apache Kafka, lihat Amazon managed streaming untuk Apache Kafka (MSK).

    catatan

    Amazon Managed Streaming for Apache Kafka hanya mendukung metode otentikasi TLS dan SASL/SCRAM-SHA-512.

    Tangkapan layar menunjukkan bagian detail cluster Kafka dengan opsi untuk memilih lokasi Cluster dan masuk ke server boostrap Kafka. URLs

  2. Masukkan URLs untuk server bootstrap Kafka Anda. Anda dapat memasukkan lebih dari satu dengan memisahkan setiap server dengan koma. Sertakan nomor port di akhir URL dengan menambahkan. :<port number>

    Misalnya: b-1.vpc-test-2.034a88o.kafka-us-east-1.amazonaws.com:9094

Pilih metode otentikasi

Tangkapan layar menunjukkan menu drop-down untuk memilih metode otentikasi Kafka.

AWS Glue mendukung kerangka kerja Simple Authentication and Security Layer (SASL) untuk otentikasi. Kerangka SASL mendukung berbagai mekanisme otentikasi, dan AWS Glue menawarkan protokol SCRAM (nama pengguna dan kata sandi), GSSAPI (protokol Kerberos), dan PLAIN (nama pengguna dan kata sandi).

Saat memilih metode otentikasi dari menu drop-down, metode otentikasi klien berikut dapat dipilih:

  • Tidak ada - Tidak ada otentikasi. Ini berguna jika Anda membuat koneksi untuk tujuan pengujian.

  • SASL/SCRAM-SHA-512 - Pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:

    • Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL.

      Tangkapan layar menunjukkan opsi untuk kredensyal otentikasi jika metode otentikasi adalah SASL/SCRAM-SHA-512.

    • Berikan nama pengguna dan kata sandi secara langsung.

  • SASL/GSSAPI (Kerberos) - if you select this option, you can select the location of the keytab file, krb5.conf file and enter the Kerberos principal name and Kerberos service name. The locations for the keytab file and krb5.conf file must be in an Amazon S3 location. Since MSK does not yet support SASL/GSSAPI, opsi ini hanya tersedia untuk cluster Apache Kafka yang dikelola pelanggan. Untuk informasi selengkapnya, lihat Dokumentasi MIT Kerberos: Keytab.

  • SASL/PLAIN - Pilih metode otentikasi ini untuk menentukan kredensyal otentikasi. Ada dua opsi yang tersedia:

    • Gunakan AWS Secrets Manager (disarankan) - jika Anda memilih opsi ini, Anda dapat menyimpan kredensyal Anda di AWS Secrets Manager dan membiarkan AWS Glue mengakses informasi bila diperlukan. Tentukan rahasia yang menyimpan kredensyal otentikasi SSL atau SASL.

    • Berikan nama pengguna dan kata sandi secara langsung.

  • Otentikasi Klien SSL - jika Anda memilih opsi ini, Anda dapat memilih lokasi keystore klien Kafka dengan menjelajahi Amazon S3. Secara opsional, Anda dapat memasukkan kata sandi keystore klien Kafka dan kata sandi kunci klien Kafka.

Tangkapan layar menunjukkan opsi enkripsi jika SSL adalah metode otentikasi.

Konfigurasikan pengaturan enkripsi

  1. Jika koneksi Kafka memerlukan koneksi SSL, pilih kotak centang untuk Memerlukan koneksi SSL. Perhatikan bahwa koneksi akan gagal jika tidak dapat terhubung melalui SSL. SSL untuk enkripsi dapat digunakan dengan salah satu metode otentikasi (SASL/SCRAM-SHA-512, SASL/GSSAPI, SASL/PLAIN, atau SSL Client Authentication) dan bersifat opsional.

    Jika metode otentikasi diatur ke otentikasi klien SSL, opsi ini akan dipilih secara otomatis dan akan dinonaktifkan untuk mencegah perubahan apa pun.

  2. (Opsional). Pilih lokasi sertifikat pribadi dari otoritas sertifikat (CA). Perhatikan bahwa lokasi sertifikasi harus berada di lokasi S3. Pilih Browse untuk memilih file dari bucket S3 yang terhubung. Jalannya harus dalam bentuks3://bucket/prefix/filename.pem. Itu harus diakhiri dengan nama file dan ekstensi.pem.

  3. Anda dapat memilih untuk melewati validasi sertifikat dari otoritas sertifikat (CA). Pilih kotak centang Lewati validasi sertifikat dari otoritas sertifikat (CA). Jika kotak ini tidak dicentang, AWS Glue validasi sertifikat untuk tiga algoritma:

    • SHA256withRSA

    • SHA384withRSA

    • SHA512withRSA

Tangkapan layar menunjukkan opsi untuk mengonfigurasi enkripsi, termasuk apakah memerlukan koneksi SSL atau tidak, opsi untuk memilih lokasi sertifikat pribadi dari otoritas sertifikat (CA), dan opsi untuk melewati validasi sertifikat dari otoritas sertifikat (CA).

(Opsional) Opsi jaringan

Berikut ini adalah langkah-langkah opsional untuk mengkonfigurasi grup VPC, Subnet dan Keamanan. Jika AWS Glue pekerjaan Anda perlu dijalankan di EC2 instans Amazon di subnet virtual private cloud (VPC), Anda harus memberikan informasi konfigurasi khusus VPC tambahan.

  1. Pilih VPC (virtual private cloud) yang berisi sumber data Anda.

  2. Pilih subnet dengan VPC Anda.

  3. Pilih satu atau beberapa grup keamanan untuk mengizinkan akses ke penyimpanan data di subnet VPC Anda. Grup keamanan terkait dengan ENI yang melekat pada subnet Anda. Anda harus memilih setidaknya satu grup keamanan dengan aturan masuk referensi sendiri untuk semua port TCP.

Tangkapan layar menunjukkan opsi jaringan opsional untuk grup VPC, Subnet, dan Keamanan.