Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti

Crea un ruolo di esecuzione IAM

Crea un ruolo IAM con una politica di fiducia perkafka.amazonaws.com. Allega le politiche AWSMSKReplicatorExecutionRole e AWSSecretsManagerClientReadOnlyAccess gestisci.

Esempio di politica di fiducia:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

Configurare le SASL/SCRAM autorizzazioni utente e ACL

Crea un utente SCRAM dedicato sul tuo cluster Kafka autogestito. Sono richieste le seguenti autorizzazioni ACL:

1. Leggi, descrivi su tutti gli argomenti

2. Leggi, descrivi su tutti i gruppi di consumatori

3. Descrivi sulla risorsa del cluster

Esempi di comandi kafka-acls.sh:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Configurare SSL su un cluster autogestito

Configura i listener SSL sui tuoi broker. Per i certificati pubblicamente attendibili, non è richiesta alcuna configurazione aggiuntiva. Per i certificati privati o autofirmati, includi l'intera catena di certificati CA nel segreto archiviato in AWS Secrets Manager.

Memorizza le credenziali in AWS Secrets Manager

Crea un segreto di tipo Altro (non RDS/Redshift) in AWS Secrets Manager con le seguenti coppie chiave-valore:

1. username— Nome utente SCRAM per il cluster autogestito

2. password— Password SCRAM per il cluster autogestito

3. certificate— Catena di certificati CA (formato PEM; richiesta per i certificati privati/autofirmati)

Configurare la connettività di rete

MSK Replicator richiede la connettività di rete al cluster Kafka autogestito. Opzioni supportate:

• AWS Site-to-Site VPN: collega le reti locali al tuo VPC tramite Internet.

• AWS Direct Connect: stabilisci una connessione di rete privata dedicata dalla tua sede a AWS.

Configurazione dei gruppi di sicurezza

Assicurati che i gruppi di sicurezza consentano il traffico tra MSK Replicator e il cluster autogestito sulla SASL_SSL porta (in genere 9096). Aggiorna sia le regole in entrata sui gruppi di sicurezza VPC che le regole in uscita sul firewall del cluster autogestito.