Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka

Criar um perfil de execução do IAM

Crie uma função do IAM com uma política de confiança parakafka.amazonaws.com. Anexe AWSMSKReplicatorExecutionRole as políticas AWSSecretsManagerClientReadOnlyAccess gerenciadas.

Exemplo de política de confiança:

{
  "Statement": [{
    "Effect": "Allow",
    "Principal": {"Service": "kafka.amazonaws.com"},
    "Action": "sts:AssumeRole"
  }]
}

Configurar SASL/SCRAM permissões de usuário e ACL

Crie um usuário SCRAM dedicado em seu cluster Kafka autogerenciado. As seguintes permissões de ACL são necessárias:

1. Leia, descreva sobre todos os tópicos

2. Leia e descreva em todos os grupos de consumidores

3. Descreva o recurso do cluster

Exemplos de comandos do kafka-acls.sh:

# Grant Read and Describe on all topics
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --topic '*'

# Grant Read and Describe on all consumer groups
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Read --operation Describe \
  --group '*'

# Grant Describe on cluster
kafka-acls.sh --bootstrap-server <broker>:9092 \
  --add --allow-principal User:msk-replicator \
  --operation Describe --cluster

Configurar o SSL em um cluster autogerenciado

Configure ouvintes SSL em seus corretores. Para certificados publicamente confiáveis, nenhuma configuração adicional é necessária. Para certificados privados ou autoassinados, inclua toda a cadeia de certificados CA no segredo armazenado no AWS Secrets Manager.

Armazene credenciais no AWS Secrets Manager

Crie um segredo do tipo Outro (não RDS/Redshift) no AWS Secrets Manager com os seguintes pares de valores-chave:

1. username— Nome de usuário SCRAM para o cluster autogerenciado

2. password— Senha SCRAM para o cluster autogerenciado

3. certificate— Cadeia de certificados CA (formato PEM; necessária para certificados privados/autoassinados)

Configurar a conectividade de rede

O MSK Replicator requer conectividade de rede com seu cluster Kafka autogerenciado. Opções suportadas:

• AWS Site-to-Site VPN — Conecte redes locais à sua VPC pela Internet.

• AWS Direct Connect — Estabeleça uma conexão de rede privada dedicada de suas instalações para AWS.

Configurar grupos de segurança

Garanta que os grupos de segurança permitam tráfego entre o MSK Replicator e o cluster autogerenciado na SASL_SSL porta (normalmente 9096). Atualize as regras de entrada nos grupos de segurança da VPC e as regras de saída no firewall de cluster autogerenciado.