Bermigrasi dari cluster Apache Kafka non-MSK ke broker Amazon MSK Express

Anda dapat menggunakan MSK Replicator untuk memigrasikan beban kerja Apache Kafka dari lingkungan yang dikelola sendiri ke kluster Amazon MSK Provisioned dengan broker Express. MSK Replicator mendukung migrasi data dari penerapan Kafka (Kafka versi 2.8.1 atau yang lebih baru) yang mengaktifkan otentikasi. SASL/SCRAM

catatan

Otentikasi SASL/SCRAM hanya diperlukan untuk MSK Replicator untuk terhubung ke cluster Kafka yang dikelola sendiri. Aplikasi klien Anda dapat terus menggunakan mekanisme otentikasi yang ada.

Prasyarat

Sebelum Anda mulai, pastikan Anda memiliki yang berikut:

1. Sumber Apache Kafka cluster yang menjalankan versi 2.8.1 atau yang lebih baru

2. Otentikasi SASL/SCRAM diaktifkan pada cluster sumber

3. Enkripsi SSL dikonfigurasi pada cluster sumber

4. Konektivitas jaringan melalui AWS Site-to-Site VPN atau AWS Direct Connect

5. Subnet VPC dikonfigurasi untuk akses Secrets Manager

Untuk petunjuk mendetail, lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 1: Buat cluster Amazon MSK Express

Buat klaster MSK Provisioned dengan broker Express dengan otentikasi IAM diaktifkan. Minimal tiga broker di tiga AZs. Lihat Siapkan cluster target.

Langkah 2: Buat peran eksekusi IAM

Lampirkan AWSMSKReplicatorExecutionRole dan AWSSecretsManagerClientReadOnlyAccess kelola kebijakan. Konfigurasikan kebijakan kepercayaan untukkafka.amazonaws.com. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 3: Konfigurasikan SASL/SCRAM dan SSL pada cluster yang dikelola sendiri

Buat pengguna SCRAM khusus dengan izin ACL yang diperlukan. Konfigurasikan sertifikat SSL. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 4: Simpan kredensil di AWS Secrets Manager

Buat rahasia denganusername,password, dan pasangan certificate kunci-nilai. Lihat Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri.

Langkah 5: Buat Replicator

Gunakan CreateReplicator API dengan posisi EARLIEST awal, replikasi nama topik identik, dan synchroniseConsumerGroupOffsets atur ketrue. Jika Anda berencana untuk mengatur replikasi dua arah untuk kemampuan rollback (Langkah 6), atur consumerGroupOffsetSyncMode juga ENHANCED pada Replikator maju dan mundur. Biarkan sekitar 30 menit agar Replicator mencapai status RUNNING. Lihat CreateReplicator Contoh API untuk cluster Kafka yang dikelola sendiri.

Langkah 6: (Opsional) Mengatur replikasi dua arah

Buat Replicator terbalik dari cluster MSK Express kembali ke cluster yang dikelola sendiri untuk kemampuan rollback. Lihat CreateReplicator Contoh API untuk cluster Kafka yang dikelola sendiri.

Langkah 7: Pantau kemajuan replikasi

Pantau metrik berikut:

• MessageLag(harus mencapai 0)

• ReplicationLatency

• ConsumerGroupOffsetSyncFailure(harus 0)

• ConsumerGroupCount

• OffsetLag (MSK Cluster) dan OffsetLag (Non-MSK Cluster)

Untuk informasi selengkapnya, lihat Pantau replikasi.

Langkah 8: Migrasikan aplikasi

Ikuti langkah-langkah berikut untuk memigrasikan aplikasi Anda:

1. Hentikan produser menulis ke cluster yang dikelola sendiri

2. Konfigurasi ulang produsen ke cluster MSK Express dengan otentikasi IAM

3. Pantau MessageLag hingga mencapai 0

4. Hentikan konsumen di cluster yang dikelola sendiri

5. Konfigurasi ulang konsumen ke klaster MSK Express

Langkah 9: (Opsional) Gulung kembali ke cluster yang dikelola sendiri

Jika replikasi dua arah dikonfigurasi, Anda dapat membalikkan langkah migrasi untuk memutar kembali ke klaster yang dikelola sendiri. Replikator terbalik (MSK Express → Eksternal) akan menjaga cluster yang dikelola sendiri tetap sinkron, sehingga konsumen dapat diarahkan kembali tanpa kehilangan data.