Migración de los conectores de recepción a Amazon MSK Connect

Los conectores de recepción son aplicaciones de Apache Kafka Connect que exportan datos desde Kafka a sistemas externos. En esta sección, se describe el proceso de migración de las aplicaciones de conectores de recepción de Apache Kafka Connect que se ejecutan en las instalaciones o en los clústeres autoadministrados de Kafka Connect que se ejecutan en AWS para Amazon MSK Connect.

Los conectores de recepción de Kafka Connect utilizan la API de pertenencia a grupos de Kafka y almacenan desplazamientos en los mismos temas de __consumer_offset que las aplicaciones de consumidor habituales. Este comportamiento simplifica la migración del conector de recepción de un clúster autoadministrado a Amazon MSK Connect.

Para migrar los conectores de recepción a Amazon MSK Connect, siga los pasos a continuación:

1. Extrayendo las bibliotecas de conectores de sus clústeres en las instalaciones o autoadministrados de Kafta Connect, cree un complemento personalizado de Amazon MSK Connect.

2. Cree las propiedades del proceso de trabajo de Amazon MSK Connect y establezca las propiedades de key.converter y value.converter en los mismos valores establecidos para el conector de Kafka que se ejecuta en su clúster existente de Kafka Connect.

3. Haga una solicitud de PUT /connectors/connector-name/pause en su clúster existente de Kafka Connect para pausar la aplicación de conectores en el clúster existente.

4. Asegúrese de que todas las tareas de la aplicación de conector estén completamente detenidas. Para detener las tareas, puede hacer una solicitud de GET /connectors/connector-name/status en el clúster existente de Kafka Connect o usar los mensajes del nombre de los temas establecido para la propiedad status.storage.topic.

5. Obtenga la configuración de conectores del clúster existente. Para obtener la configuración de los conectores, puede hacer una solicitud de GET /connectors/connector-name/config en el clúster existente o usar los mensajes del nombre de los temas establecido para la propiedad config.storage.topic.

6. Cree un nuevo conector de Amazon MSK con el mismo nombre que el clúster existente. Cree este conector usando el complemento personalizado de conectores que creó en el paso 1, las propiedades del proceso de trabajo que creó en el paso 2 y la configuración de los conectores que extrajo en el paso 5.

7. Cuando el estado del conector Amazon MSK sea active, consulte los registros para verificar que el conector haya empezado a importar datos del sistema de origen.

8. Haga una solicitud de DELETE /connectors/connector-name para eliminar el conector en el clúster existente.