Esegui la migrazione dei connettori sink ad Amazon MSK Connect

I connettori Sink sono applicazioni Apache Kafka Connect che esportano dati da Kafka a sistemi esterni. Questa sezione descrive il processo di migrazione delle applicazioni sink connector di Apache Kafka Connect che eseguono cluster Kafka Connect locali o autogestiti in esecuzione su Amazon MSK Connect. AWS

I connettori sink Kafka Connect utilizzano l'API di appartenenza al gruppo Kafka e memorizzano gli offset negli stessi __consumer_offset argomenti di una tipica applicazione per consumatori. Questo comportamento semplifica la migrazione del connettore sink da un cluster autogestito ad Amazon MSK Connect.

Per eseguire la migrazione dei connettori del sink ad Amazon MSK Connect, procedere come segue:

1. Crea un plug-in personalizzato Amazon MSK Connect estraendo le librerie di connettori dal tuo cluster Kafka Connect locale o autogestito.

2. Crea le proprietà dei lavoratori Amazon MSK Connect e imposta le proprietà key.converter e value.converter gli stessi valori impostati per il connettore Kafka in esecuzione nel tuo cluster Kafka Connect esistente.

3. Metti in pausa l'applicazione del connettore sul cluster esistente effettuando una PUT /connectors/connector-name/pause richiesta sul cluster Kafka Connect esistente.

4. Assicurati che tutte le attività dell'applicazione del connettore siano completamente interrotte. È possibile interrompere le attività effettuando una GET /connectors/connector-name/status richiesta sul cluster Kafka Connect esistente o consumando i messaggi dal nome dell'argomento impostato per la proprietà. status.storage.topic

5. Ottieni la configurazione del connettore dal cluster esistente. È possibile ottenere la configurazione del connettore effettuando una GET /connectors/connector-name/config richiesta sul cluster esistente o utilizzando i messaggi dal nome dell'argomento impostato per la proprietàconfig.storage.topic.

6. Crea un nuovo Amazon MSK Connector con lo stesso nome del cluster esistente. Crea questo connettore utilizzando il plug-in personalizzato del connettore che hai creato nel passaggio 1, le proprietà del worker che hai creato nel passaggio 2 e la configurazione del connettore che hai estratto nel passaggio 5.

7. Quando lo stato di Amazon MSK Connector è active impostato su, visualizza i log per verificare che il connettore abbia iniziato a importare dati dal sistema di origine.

8. Elimina il connettore nel cluster esistente effettuando una richiesta. DELETE /connectors/connector-name