Migrasikan konektor wastafel ke Amazon MSK Connect - Amazon Managed Streaming untuk Apache Kafka

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Migrasikan konektor wastafel ke Amazon MSK Connect

Konektor sink adalah aplikasi Apache Kafka Connect yang mengekspor data dari Kafka ke sistem eksternal. Bagian ini menjelaskan proses migrasi aplikasi konektor sink Apache Kafka Connect yang menjalankan kluster Kafka Connect lokal atau dikelola sendiri yang berjalan ke Amazon MSK Connect. AWS

Konektor sink Kafka Connect menggunakan API keanggotaan grup Kafka dan menyimpan offset dalam __consumer_offset topik yang sama dengan aplikasi konsumen biasa. Perilaku ini menyederhanakan migrasi konektor sink dari cluster yang dikelola sendiri ke Amazon MSK Connect.

Untuk memigrasi konektor sink ke Amazon MSK Connect, lakukan hal berikut:

  1. Buat plugin khusus Amazon MSK Connect dengan menarik pustaka konektor dari kluster Kafka Connect lokal atau yang dikelola sendiri.

  2. Buat properti pekerja Amazon MSK Connect dan atur properti key.converter dan value.converter ke nilai yang sama yang ditetapkan untuk konektor Kafka yang berjalan di cluster Kafka Connect yang ada.

  3. Jeda aplikasi konektor pada cluster Anda yang ada dengan membuat PUT /connectors/connector-name/pause permintaan pada cluster Kafka Connect yang ada.

  4. Pastikan bahwa semua tugas aplikasi konektor benar-benar dihentikan. Anda dapat menghentikan tugas baik dengan membuat GET /connectors/connector-name/status permintaan pada klaster Kafka Connect yang ada, atau dengan menggunakan pesan dari nama topik yang ditetapkan untuk propertistatus.storage.topic.

  5. Dapatkan konfigurasi konektor dari cluster yang ada. Anda bisa mendapatkan konfigurasi konektor baik dengan membuat GET /connectors/connector-name/config permintaan pada klaster yang ada, atau dengan menggunakan pesan dari nama topik yang ditetapkan untuk properticonfig.storage.topic.

  6. Buat Konektor MSK Amazon baru dengan nama yang sama dengan cluster yang ada. Buat konektor ini dengan menggunakan plugin kustom konektor yang Anda buat di langkah 1, properti pekerja yang Anda buat di langkah 2, dan konfigurasi konektor yang Anda ekstrak pada langkah 5.

  7. Saat status Konektor MSK Amazonactive, lihat log untuk memverifikasi bahwa konektor telah mulai mengimpor data dari sistem sumber.

  8. Hapus konektor di cluster yang ada dengan membuat DELETE /connectors/connector-name permintaan.