Migración de los conectores de origen a Amazon MSK Connect

Los conectores de origen son aplicaciones de Apache Kafka Connect que importan registros desde sistemas externos a Kafka. En esta sección, se describe el proceso de migración de las aplicaciones de conectores de origen de Apache Kafka Connect que se ejecutan en las instalaciones o en los clústeres autoadministrados de Kafka Connect que se ejecutan en para AWS Amazon MSK Connect.

La aplicación de conectores de origen de Kafka Connect almacena los desplazamientos en un tema con el nombre del valor establecido en la propiedad de configuración offset.storage.topic. A continuación, se muestran ejemplos de mensajes de desplazamientos de un conector JDBC que ejecuta dos tareas para importar datos de dos tablas distintas, denominadas movies y shows. La última fila importada de la tabla denominada “películas” tiene un ID primario de 18343. La última fila importada de la tabla denominada “programas” tiene un ID primario de 732.

["jdbcsource",{"protocol":"1","table":"sample.movies"}] {"incrementing":18343}
["jdbcsource",{"protocol":"1","table":"sample.shows"}] {"incrementing":732}

Para migrar los conectores de origen a Amazon MSK Connect, siga los pasos a continuación:

1. Extrayendo las bibliotecas de conectores de sus clústeres en las instalaciones o autoadministrados de Kafta Connect, cree un complemento personalizado de Amazon MSK Connect.

2. Cree las propiedades del proceso de trabajo de Amazon MSK Connect y establezca las propiedades de key.converter, value.converter y offset.storage.topic en los mismos valores establecidos para el conector de Kafka que se ejecuta en su clúster existente de Kafka Connect.

3. Haga una solicitud de PUT /connectors/connector-name/pause en el clúster existente de Kafka Connect para pausar la aplicación de conectores en el clúster existente.

4. Asegúrese de que todas las tareas de la aplicación de conector estén completamente detenidas. Para detener las tareas, puede hacer una solicitud de GET /connectors/connector-name/status en el clúster existente de Kafka Connect o usar los mensajes del nombre de los temas establecido para la propiedad status.storage.topic.

5. Obtenga la configuración de los conectores del clúster existente. Para obtener la configuración de los conectores, puede hacer una solicitud de GET /connectors/connector-name/config/ en el clúster existente o usar los mensajes del nombre de los temas establecido para la propiedad config.storage.topic.

6. Cree un nuevo conector de Amazon MSK con el mismo nombre que un clúster existente. Cree este conector usando el complemento personalizado de conectores que creó en el paso 1, las propiedades del proceso de trabajo que creó en el paso 2 y la configuración de los conectores que extrajo en el paso 5.

7. Cuando el estado del conector Amazon MSK sea active, consulte los registros para verificar que el conector haya empezado a importar datos del sistema de origen.

8. Haga una solicitud de DELETE /connectors/connector-name para eliminar el conector en el clúster existente.