Konektor

Konektor mengintegrasikan sistem eksternal dan layanan Amazon dengan Apache Kafka dengan terus menyalin data streaming dari sumber data ke cluster Apache Kafka Anda, atau terus menyalin data dari cluster Anda ke dalam data sink. Konektor juga dapat melakukan logika ringan seperti transformasi, konversi format, atau memfilter data sebelum mengirimkan data ke tujuan. Konektor sumber menarik data dari sumber data dan mendorong data ini ke dalam cluster, sementara konektor sink menarik data dari cluster dan mendorong data ini ke dalam sink data.

Diagram berikut menunjukkan arsitektur konektor. Seorang pekerja adalah proses mesin virtual Java (JVM) yang menjalankan logika konektor. Setiap pekerja membuat serangkaian tugas yang berjalan di thread paralel dan melakukan pekerjaan menyalin data. Tugas tidak menyimpan status, dan karenanya dapat dimulai, dihentikan, atau dimulai ulang kapan saja untuk menyediakan pipeline data yang tangguh dan dapat diskalakan.

Kapasitas konektor

Kapasitas total konektor tergantung pada jumlah pekerja yang dimiliki konektor, serta pada jumlah MSK Connect Units (MCU) per pekerja. Setiap MCU mewakili 1 vCPU komputasi dan 4 GiB memori. Memori MCU berkaitan dengan memori total instance pekerja dan bukan memori heap yang digunakan.

Pekerja MSK Connect menggunakan alamat IP di subnet yang disediakan pelanggan. Setiap pekerja menggunakan satu alamat IP dari salah satu subnet yang disediakan pelanggan. Anda harus memastikan bahwa Anda memiliki cukup alamat IP yang tersedia di subnet yang disediakan untuk CreateConnector permintaan untuk memperhitungkan kapasitas yang ditentukan, terutama ketika konektor penskalaan otomatis di mana jumlah pekerja dapat berfluktuasi.

Untuk membuat konektor, Anda harus memilih di antara salah satu dari dua mode kapasitas berikut.

• Disediakan - Pilih mode ini jika Anda mengetahui persyaratan kapasitas untuk konektor Anda. Anda menentukan dua nilai:

  • Jumlah pekerja.

  • Jumlah MCU per pekerja.

• Skala otomatis - Pilih mode ini jika persyaratan kapasitas untuk konektor Anda bervariasi atau jika Anda tidak mengetahuinya sebelumnya. Saat Anda menggunakan mode skala otomatis, Amazon MSK Connect akan mengganti tasks.max properti konektor Anda dengan nilai yang sebanding dengan jumlah pekerja yang berjalan di konektor dan jumlah MCU per pekerja.

  Anda menentukan tiga set nilai:

  • Jumlah pekerja minimum dan maksimum.

  • Persentase scale-in dan scale-out untuk pemanfaatan CPU, yang ditentukan oleh metrik. CpuUtilization Ketika CpuUtilization metrik untuk konektor melebihi persentase scale-out, MSK Connect meningkatkan jumlah pekerja yang berjalan di konektor. Ketika CpuUtilization metrik berada di bawah persentase scale-in, MSK Connect mengurangi jumlah pekerja. Jumlah pekerja selalu tetap dalam angka minimum dan maksimum yang Anda tentukan saat Anda membuat konektor.

  • Jumlah MCU per pekerja.

Untuk informasi lebih lanjut tentang pekerja, lihatPekerja. Untuk mempelajari metrik MSK Connect, lihat. Pemantauan MSK Connect

Membuat konektor

Membuat konektor menggunakan AWS Management Console

1. Buka konsol MSK Amazon dihttps://console.aws.amazon.com/msk/.

2. Di panel kiri, di bawah MSK Connect, pilih Konektor.

3. Pilih Buat konektor.

4. Anda dapat memilih antara menggunakan plugin khusus yang ada untuk membuat konektor, atau membuat plugin khusus baru terlebih dahulu. Untuk informasi tentang plugin khusus dan cara membuatnya, lihatPlugin. Dalam prosedur ini, mari kita asumsikan Anda memiliki plugin khusus yang ingin Anda gunakan. Dalam daftar plugin khusus, temukan salah satu yang ingin Anda gunakan, dan pilih kotak di sebelah kirinya, lalu pilih Berikutnya.

5. Masukkan nama dan, secara opsional, deskripsi.

6. Pilih cluster yang ingin Anda sambungkan.

7. Tentukan konfigurasi konektor. Parameter konfigurasi yang perlu Anda tentukan bergantung pada jenis konektor yang ingin Anda buat. Namun, beberapa parameter umum untuk semua konektor, misalnya, connector.class dan tasks.max parameter. Berikut ini adalah contoh konfigurasi untuk Confluent Amazon S3 Sink Connector.

   connector.class=io.confluent.connect.s3.S3SinkConnector
   tasks.max=2
   topics=my-example-topic
   s3.region=us-east-1
   s3.bucket.name=my-destination-bucket
   flush.size=1
   storage.class=io.confluent.connect.s3.storage.S3Storage
   format.class=io.confluent.connect.s3.format.json.JsonFormat
   partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
   key.converter=org.apache.kafka.connect.storage.StringConverter
   value.converter=org.apache.kafka.connect.storage.StringConverter
   schema.compatibility=NONE

8. Selanjutnya, Anda mengonfigurasi kapasitas konektor Anda. Anda dapat memilih di antara dua mode kapasitas: provisioned dan auto scaled. Untuk informasi tentang dua opsi ini, lihatKapasitas konektor.

9. Pilih konfigurasi pekerja default atau konfigurasi pekerja khusus. Untuk informasi tentang membuat konfigurasi pekerja kustom, lihatPekerja.

10. Selanjutnya, Anda menentukan peran eksekusi layanan. Ini harus menjadi peran IAM yang dapat diasumsikan MSK Connect, dan yang memberikan konektor semua izin yang diperlukan untuk mengakses sumber daya yang diperlukan. AWS Izin tersebut tergantung pada logika konektor. Untuk informasi tentang cara membuat peran ini, lihatPeran eksekusi layanan.

11. Pilih Berikutnya, tinjau informasi keamanan, lalu pilih Berikutnya lagi.

12. Tentukan opsi logging yang Anda inginkan, lalu pilih Berikutnya. Untuk informasi tentang pencatatan, lihatLogging untuk MSK Connect.

13. Pilih Buat konektor.

Untuk menggunakan MSK Connect API untuk membuat konektor, lihat CreateConnector.