Esegui la migrazione da cluster Apache Kafka non MSK a broker Amazon MSK Express

Puoi utilizzare MSK Replicator per migrare i carichi di lavoro Apache Kafka da ambienti autogestiti a cluster Amazon MSK Provisioned con broker Express. MSK Replicator supporta la migrazione dei dati da implementazioni Kafka (Kafka versione 2.8.1 o successiva) con autenticazione abilitata. SASL/SCRAM

Nota

L'autenticazione SASL/SCRAM è necessaria solo per consentire a MSK Replicator di connettersi al cluster Kafka autogestito. Le applicazioni client possono continuare a utilizzare i meccanismi di autenticazione esistenti.

Prerequisiti

Prima di iniziare, assicurati di disporre di quanto segue:

1. Cluster Apache Kafka di origine con versione 2.8.1 o successiva

2. Autenticazione SASL/SCRAM abilitata sul cluster di origine

3. Crittografia SSL configurata sul cluster di origine

4. Connettività di rete tramite AWS Site-to-Site VPN o AWS Direct Connect

5. Sottoreti VPC configurate per l'accesso a Secrets Manager

Per istruzioni dettagliate, vedi Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 1: creare un cluster Amazon MSK Express

Crea un cluster MSK Provisioned con broker Express con autenticazione IAM abilitata. Minimo tre broker su tre. AZs Per informazioni, consulta Preparare il cluster di destinazione.

Fase 2: Creare un ruolo di esecuzione IAM

Allega AWSMSKReplicatorExecutionRole e AWSSecretsManagerClientReadOnlyAccess gestisci le politiche. Configura la politica di fiducia perkafka.amazonaws.com. Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 3: Configurazione SASL/SCRAM di un protocollo SSL su un cluster autogestito

Crea un utente SCRAM dedicato con le autorizzazioni ACL richieste. Configura i certificati SSL. Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 4: Archivia le credenziali in AWS Secrets Manager

Crea coppie segrete con username e password certificate chiave-valore. Per informazioni, consulta Configura i prerequisiti per MSK Replicator con cluster Apache Kafka autogestiti.

Fase 5: Creare il replicatore

Utilizza l'CreateReplicatorAPI con posizione EARLIEST iniziale, replica identica del nome dell'argomento e synchroniseConsumerGroupOffsets imposta su. true Se intendete configurare la replica bidirezionale per la funzionalità di rollback (Fase 6), impostatela anche ENHANCED sui replicatori consumerGroupOffsetSyncMode diretti e inversi. Attendere circa 30 minuti affinché il Replicator raggiunga lo stato RUNNING. Per informazioni, consulta CreateReplicator Esempi di API per cluster Kafka autogestiti.

Fase 6: (Facoltativo) Impostazione della replica bidirezionale

Crea un replicatore inverso dal cluster MSK Express al cluster autogestito per le funzionalità di rollback. Per informazioni, consulta CreateReplicator Esempi di API per cluster Kafka autogestiti.

Fase 7: Monitoraggio dell'avanzamento della replica

Monitora le seguenti metriche:

• MessageLag(dovrebbe raggiungere 0)

• ReplicationLatency

• ConsumerGroupOffsetSyncFailure(dovrebbe essere 0)

• ConsumerGroupCount

• OffsetLag (MSK Cluster) e OffsetLag (Non-MSK Cluster)

Per ulteriori informazioni, consulta Monitoraggio della replica.

Fase 8: Migrazione delle applicazioni

Segui questi passaggi per migrare le tue applicazioni:

1. Impedisci ai produttori di scrivere su cluster autogestiti

2. Riconfigura i produttori nel cluster MSK Express con l'autenticazione IAM

3. Monitora MessageLag fino a raggiungere 0

4. Blocca i consumatori su un cluster autogestito

5. Riconfigurate i consumatori nel cluster MSK Express

Fase 9: (Facoltativo) Tornate al cluster autogestito

Se è stata configurata la replica bidirezionale, è possibile invertire i passaggi di migrazione per tornare al cluster autogestito. Il replicatore inverso (MSK Express → External) avrà mantenuto sincronizzato il cluster autogestito, in modo che i consumatori possano essere reindirizzati indietro senza perdita di dati.