Migre conectores de origem para o Amazon MSK Connect

Os conectores de origem são aplicações do Apache Kafka Connect que importam registros de sistemas externos para o Kafka. Esta seção descreve o processo de migração de aplicações de conectores de origem do Apache Kafka Connect que estão sendo executados on-premises ou clusters autogerenciados do Kafka Connect que estão sendo executados na para o Amazon MSK Connect. AWS

A aplicação do conector de origem do Kafka Connect armazena deslocamentos em um tópico nomeado com o valor definido para a propriedade de configuração offset.storage.topic. A seguir estão exemplos de mensagens de deslocamento para um conector JDBC que está executando duas tarefas que importam dados de duas tabelas diferentes denominadas movies e shows. A linha mais recente importada da tabela de filmes tem um ID primário de 18343. A linha mais recente importada da tabela de shows tem um ID primário de 732.

["jdbcsource",{"protocol":"1","table":"sample.movies"}] {"incrementing":18343}
["jdbcsource",{"protocol":"1","table":"sample.shows"}] {"incrementing":732}

Para migrar conectores de origem para o Amazon MSK Connect, faça o seguinte:

1. Crie um plug-in personalizado do Amazon MSK Connect extraindo bibliotecas de conectores do seu cluster do Kafka Connect on-premises ou autogerenciado.

2. Crie propriedades de operador do Amazon MSK Connect e defina as propriedades key.converter, value.converter e offset.storage.topic com os mesmos valores estipulados para o conector do Kafka que está sendo executado em seu cluster atual do Kafka Connect.

3. Pause a aplicação do conector no cluster existente fazendo uma solicitação PUT /connectors/connector-name/pause no cluster existente do Kafka Connect.

4. Certifique-se de que todas as tarefas da aplicação do conector estejam completamente interrompidas. Você pode interromper as tarefas fazendo uma solicitação GET /connectors/connector-name/status no cluster existente do Kafka Connect ou consumindo as mensagens do nome do tópico definido para a propriedade status.storage.topic.

5. Obtenha a configuração do conector do cluster existente. Você pode obter a configuração do conector fazendo uma solicitação GET /connectors/connector-name/config/ no cluster existente ou consumindo as mensagens do nome do tópico definido para a propriedade config.storage.topic.

6. Crie um Amazon MSK Connector com o mesmo nome de um cluster existente. Crie esse conector usando o plug-in personalizado do conector que você criou na etapa 1, as propriedades do operador que você criou na etapa 2 e a configuração do conector que você extraiu na etapa 5.

7. Quando o status do Amazon MSK Connector estiver active, visualize os logs para verificar se o conector começou a importar dados do sistema de origem.

8. Exclua o conector no cluster existente fazendo uma solicitação DELETE /connectors/connector-name.