Siapkan prasyarat untuk MSK Replicator dengan cluster Apache Kafka yang dikelola sendiri

Buat peran eksekusi IAM

Buat peran IAM dengan kebijakan kepercayaan untukkafka.amazonaws.com. Lampirkan AWSMSKReplicatorExecutionRole dan kebijakan yang AWSSecretsManagerClientReadOnlyAccess dikelola.

Contoh kebijakan kepercayaan:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

Konfigurasikan SASL/SCRAM izin pengguna dan ACL

Buat pengguna SCRAM khusus di cluster Kafka yang dikelola sendiri. Izin ACL berikut diperlukan:

1. Baca, Jelaskan tentang semua topik

2. Baca, Jelaskan pada semua kelompok konsumen

3. Jelaskan pada sumber daya cluster

Contoh perintah kafka-acls.sh:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Konfigurasikan SSL pada cluster yang dikelola sendiri

Konfigurasikan pendengar SSL di broker Anda. Untuk sertifikat yang dipercaya publik, tidak diperlukan konfigurasi tambahan. Untuk sertifikat pribadi atau yang ditandatangani sendiri, sertakan rantai sertifikat CA lengkap dalam rahasia yang disimpan di AWS Secrets Manager.

Simpan kredensil di AWS Secrets Manager

Buat rahasia tipe Other (bukan RDS/RedShift) di Secrets Manager dengan pasangan AWS kunci-nilai berikut:

1. username— Nama pengguna SCRAM untuk cluster yang dikelola sendiri

2. password— Kata sandi SCRAM untuk cluster yang dikelola sendiri

3. certificate— Rantai sertifikat CA (format PEM; diperlukan untuk sertifikat pribadi/ditandatangani sendiri)

Konfigurasikan konektivitas jaringan

MSK Replicator memerlukan konektivitas jaringan ke cluster Kafka yang dikelola sendiri. Opsi yang didukung:

• AWS Site-to-Site VPN — Hubungkan jaringan lokal ke VPC Anda melalui internet.

• AWS Direct Connect — Buat koneksi jaringan pribadi khusus dari tempat Anda ke AWS.

Konfigurasikan grup keamanan

Pastikan grup keamanan mengizinkan lalu lintas antara MSK Replicator dan cluster yang dikelola sendiri di SASL_SSL port (biasanya 9096). Perbarui aturan masuk pada grup keamanan VPC dan aturan keluar pada firewall cluster yang dikelola sendiri.