Migre de clústeres de Apache Kafka que no son de MSK a corredores de Amazon MSK Express

Puede usar MSK Replicator para migrar cargas de trabajo de Apache Kafka desde entornos autogestionados a clústeres aprovisionados de Amazon MSK con agentes Express. MSK Replicator admite la migración de datos desde las implementaciones de Kafka (versión 2.8.1 o posterior de Kafka) que tienen habilitada la autenticación. SASL/SCRAM

nota

La autenticación SASL/SCRAM solo es necesaria para que MSK Replicator se conecte a su clúster Kafka autogestionado. Las aplicaciones cliente pueden seguir utilizando sus mecanismos de autenticación existentes.

Requisitos previos

Antes de comenzar, asegúrese de que dispone de lo siguiente:

1. Clúster Apache Kafka de origen que ejecuta la versión 2.8.1 o posterior

2. La autenticación SASL/SCRAM está habilitada en el clúster de origen

3. El cifrado SSL está configurado en el clúster de origen

4. Conectividad de red mediante AWS Site-to-Site VPN o AWS Direct Connect

5. Subredes de VPC configuradas para el acceso a Secrets Manager

Para obtener instrucciones detalladas, consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 1: Crear un clúster de Amazon MSK Express

Cree un clúster aprovisionado por MSK con Express Brokers con la autenticación de IAM habilitada. Mínimo tres corredores en tres. AZs Consulte Prepare el clúster de destino.

Paso 2: Crear una función de ejecución de IAM

Adjunte AWSMSKReplicatorExecutionRole y AWSSecretsManagerClientReadOnlyAccess gestione políticas. Configure la política de confianza parakafka.amazonaws.com. Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 3: Configurar SASL/SCRAM un SSL en un clúster autogestionado

Cree un usuario de SCRAM dedicado con los permisos de ACL necesarios. Configure los certificados SSL. Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 4: Guardar las credenciales en AWS Secrets Manager

Cree un secreto con username pares password certificate clave-valor y pares. Consulte Configure los requisitos previos para MSK Replicator con clústeres de Apache Kafka autogestionados.

Paso 5: Crea el replicador

Utilice la CreateReplicator API con la posición EARLIEST inicial, la replicación del nombre del tema idéntica y configúrela synchroniseConsumerGroupOffsets true en. Si planea configurar la replicación bidireccional para poder revertirla (paso 6), configúrela también ENHANCED en consumerGroupOffsetSyncMode los replicadores directos e inversos. Espere aproximadamente 30 minutos para que el replicador alcance el estado EN FUNCIONAMIENTO. Consulte CreateReplicator Ejemplos de API para clústeres de Kafka autogestionados.

Paso 6: (opcional) Configurar la replicación bidireccional

Cree un replicador inverso desde el clúster de MSK Express hasta el clúster autogestionado para obtener las capacidades de reversión. Consulte CreateReplicator Ejemplos de API para clústeres de Kafka autogestionados.

Paso 7: Supervise el progreso de la replicación

Supervise las siguientes métricas:

• MessageLag(debería llegar a 0)

• ReplicationLatency

• ConsumerGroupOffsetSyncFailure(debería ser 0)

• ConsumerGroupCount

• OffsetLag (MSK Cluster) y OffsetLag (Non-MSK Cluster)

Para obtener más información, consulte Supervisar la replicación.

Paso 8: migrar aplicaciones

Siga estos pasos para migrar sus aplicaciones:

1. Impida que los productores escriban en un clúster autogestionado

2. Reconfigure los productores en el clúster de MSK Express con autenticación de IAM

3. Supervise MessageLag hasta que llegue a 0

4. Detenga a los consumidores en un clúster autogestionado

5. Reconfigure a los consumidores en el clúster de MSK Express

Paso 9: (opcional) Volver al clúster autogestionado

Si se configuró la replicación bidireccional, puede revertir los pasos de migración para volver al clúster autogestionado. El replicador inverso (MSK Express → Externo) habrá mantenido sincronizado el clúster autogestionado, de forma que los consumidores puedan volver a ser redirigidos sin pérdida de datos.