Configuration des prérequis pour MSK Replicator avec des clusters Apache Kafka autogérés

Création d'un rôle d'exécution IAM

Créez un rôle IAM avec une politique de confiance pourkafka.amazonaws.com. Joignez les politiques AWSMSKReplicatorExecutionRole et les politiques AWSSecretsManagerClientReadOnlyAccess gérées.

Exemple de politique de confiance :

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

Configuration des autorisations SASL/SCRAM utilisateur et ACL

Créez un utilisateur SCRAM dédié sur votre cluster Kafka autogéré. Les autorisations ACL suivantes sont requises :

1. Lisez, décrivez sur tous les sujets

2. Lisez et décrivez sur tous les groupes de consommateurs

3. Décrire une ressource de cluster

Exemples de commandes kafka-acls.sh :

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Configuration du protocole SSL sur un cluster autogéré

Configurez les écouteurs SSL sur vos courtiers. Pour les certificats approuvés par le public, aucune configuration supplémentaire n'est requise. Pour les certificats privés ou auto-signés, incluez la chaîne complète de certificats CA dans le secret stocké dans AWS Secrets Manager.

Stocker les informations d'identification dans AWS Secrets Manager

Créez un secret de type Autre (et non RDS/RedShift) dans AWS Secrets Manager avec les paires clé-valeur suivantes :

1. username— Nom d'utilisateur SCRAM pour le cluster autogéré

2. password— Mot de passe SCRAM pour le cluster autogéré

3. certificate— Chaîne de certificats CA (format PEM ; obligatoire pour les certificats privés/auto-signés)

Configuration de la connectivité réseau

MSK Replicator nécessite une connectivité réseau à votre cluster Kafka autogéré. Options prises en charge :

• AWS Site-to-Site VPN — Connectez les réseaux locaux à votre VPC via Internet.

• AWS Direct Connect — Établissez une connexion réseau privée dédiée entre vos locaux et AWS.

Configurer des groupes de sécurité

Assurez-vous que les groupes de sécurité autorisent le trafic entre MSK Replicator et le cluster autogéré sur le SASL_SSL port (généralement le 9096). Mettez à jour les règles entrantes sur les groupes de sécurité VPC et les règles sortantes sur le pare-feu de cluster autogéré.