Migre de clusters Apache Kafka que não sejam da MSK para agentes do Amazon MSK Express

Você pode usar o MSK Replicator para migrar cargas de trabalho do Apache Kafka de ambientes autogerenciados para clusters provisionados pelo Amazon MSK com corretores Express. O MSK Replicator suporta a migração de dados de implantações do Kafka (Kafka versão 2.8.1 ou posterior) que tenham a autenticação ativada. SASL/SCRAM

nota

A autenticação SASL/SCRAM é necessária somente para que o MSK Replicator se conecte ao seu cluster Kafka autogerenciado. Seus aplicativos cliente podem continuar usando seus mecanismos de autenticação existentes.

Pré-requisitos

Antes de começar, certifique-se ter:

1. Cluster Apache Kafka de origem executando a versão 2.8.1 ou posterior

2. Autenticação SASL/SCRAM ativada no cluster de origem

3. Criptografia SSL configurada no cluster de origem

4. Conectividade de rede via AWS Site-to-Site VPN ou AWS Direct Connect

5. Sub-redes VPC configuradas para acesso ao Secrets Manager

Para obter instruções detalhadas, consulte Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka.

Etapa 1: Criar um cluster Amazon MSK Express

Crie um cluster provisionado pelo MSK com corretores Express com a autenticação IAM ativada. Mínimo de três corretores em três AZs. Consulte Preparar o cluster de destino.

Etapa 2: criar uma função de execução do IAM

Políticas AWSSecretsManagerClientReadOnlyAccess anexadas AWSMSKReplicatorExecutionRole e gerenciadas. Configure a política de confiança parakafka.amazonaws.com. Consulte Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka.

Etapa 3: Configuração SASL/SCRAM e SSL em um cluster autogerenciado

Crie um usuário SCRAM dedicado com as permissões de ACL necessárias. Configure certificados SSL. Consulte Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka.

Etapa 4: Armazenar credenciais no AWS Secrets Manager

Crie pares secretos com usernamepassword, e certificate chave-valor. Consulte Configure os pré-requisitos para o MSK Replicator com clusters autogerenciados do Apache Kafka.

Etapa 5: Criar o replicador

Use a CreateReplicator API com posição EARLIEST inicial, replicação idêntica do nome do tópico e synchroniseConsumerGroupOffsets definida como. true Se você planeja configurar a replicação bidirecional para capacidade de reversão (Etapa 6), consumerGroupOffsetSyncMode defina também ENHANCED nos replicadores direto e reverso. Aguarde aproximadamente 30 minutos para que o replicador alcance o status RUNNING. Consulte CreateReplicator Exemplos de API para clusters autogerenciados do Kafka.

Etapa 6: (opcional) configurar a replicação bidirecional

Crie um replicador reverso do cluster MSK Express de volta para o cluster autogerenciado para recursos de reversão. Consulte CreateReplicator Exemplos de API para clusters autogerenciados do Kafka.

Etapa 7: Monitorar o progresso da replicação

Monitore as seguintes métricas:

• MessageLag(deve chegar a 0)

• ReplicationLatency

• ConsumerGroupOffsetSyncFailure(deve ser 0)

• ConsumerGroupCount

• OffsetLag (MSK Cluster) e OffsetLag (Non-MSK Cluster)

Para obter mais informações, consulte Monitorar a replicação.

Etapa 8: migrar aplicativos

Siga estas etapas para migrar seus aplicativos:

1. Impeça que os produtores escrevam em um cluster autogerenciado

2. Reconfigure os produtores para o cluster MSK Express com autenticação IAM

3. Monitore MessageLag até chegar a 0

4. Bloqueie os consumidores em um cluster autogerenciado

5. Reconfigure os consumidores para o cluster MSK Express

Etapa 9: (opcional) reverter para o cluster autogerenciado

Se a replicação bidirecional tiver sido configurada, você poderá reverter as etapas de migração para reverter para o cluster autogerenciado. O replicador reverso (MSK Express → Externo) manterá o cluster autogerenciado sincronizado, para que os consumidores possam ser redirecionados de volta sem perda de dados.