Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados

Creación de un rol de ejecución de IAM

Cree un rol de IAM con una política de confianza para. kafka.amazonaws.com Adjunte las políticas AWSSecretsManagerClientReadOnlyAccess administradas AWSMSKReplicatorExecutionRole y las administradas.

Ejemplo de política de confianza:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

Configure SASL/SCRAM los permisos de usuario y ACL

Cree un usuario de SCRAM dedicado en su clúster Kafka autogestionado. Se requieren los siguientes permisos de ACL:

1. Lea y describa todos los temas

2. Lea y describa sobre todos los grupos de consumidores

3. Describa un recurso de clúster

Ejemplos de comandos de kafka-acls.sh:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Configure SSL en un clúster autogestionado

Configure los detectores de SSL en sus corredores. En el caso de los certificados de confianza pública, no se requiere ninguna configuración adicional. En el caso de los certificados privados o autofirmados, incluya toda la cadena de certificados de CA en el secreto almacenado en AWS Secrets Manager.

Almacene las credenciales en AWS Secrets Manager

Cree un secreto de tipo Other (no RDS/Redshift) en AWS Secrets Manager con los siguientes pares clave-valor:

1. username— Nombre de usuario SCRAM para el clúster autogestionado

2. password— Contraseña SCRAM para el clúster autogestionado

3. certificate— Cadena de certificados CA (formato PEM; obligatorio para los certificados privados o autofirmados)

Configure la conectividad de red

MSK Replicator requiere conectividad de red con su clúster Kafka autogestionado. Opciones compatibles:

• AWS Site-to-Site VPN: conecta las redes locales a tu VPC a través de Internet.

• AWS Direct Connect: establezca una conexión de red privada dedicada desde sus instalaciones hasta AWS.

Configuración de grupos de seguridad

Asegúrese de que los grupos de seguridad permitan el tráfico entre MSK Replicator y el clúster autogestionado del SASL_SSL puerto (normalmente el 9096). Actualice las reglas de entrada en los grupos de seguridad de VPC y las reglas de salida en el firewall de clúster autogestionado.