Migrar conectores de coletor para o Amazon MSK Connect - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Migrar conectores de coletor para o Amazon MSK Connect

Os conectores de coletor são aplicações do Apache Kafka Connect que importam registros de sistemas externos para o Kafka. Esta seção descreve o processo de migração de aplicações de conectores de coletor do Apache Kafka Connect que estão sendo executados on-premises ou clusters autogerenciados do Kafka Connect que estão sendo executados na para o Amazon MSK Connect. AWS

Os conectores de coletor do Kafka Connect usam a API de associação de grupos do Kafka e armazenam deslocamentos nos mesmos tópicos __consumer_offset de uma aplicação de consumo típico. Esse comportamento simplifica a migração do conector de coletor de um cluster autogerenciado para o Amazon MSK Connect.

Para migrar conectores de coletor para o Amazon MSK Connect, faça o seguinte:

  1. Crie um plug-in personalizado do Amazon MSK Connect extraindo bibliotecas de conectores do seu cluster do Kafka Connect on-premises ou autogerenciado.

  2. Crie propriedades de operador do Amazon MSK Connect e defina as propriedades key.converter e value.converter com os mesmos valores definidos para o conector do Kafka que está sendo executado no cluster existente do Kafka Connect.

  3. Pause a aplicação do conector no cluster existente fazendo uma solicitação PUT /connectors/connector-name/pause no cluster existente do Kafka Connect.

  4. Certifique-se de que todas as tarefas da aplicação do conector estejam completamente interrompidas. Você pode interromper as tarefas fazendo uma solicitação GET /connectors/connector-name/status no cluster existente do Kafka Connect ou consumindo as mensagens do nome do tópico definido para a propriedade status.storage.topic.

  5. Obtenha a configuração do conector do cluster existente. Você pode obter a configuração do conector fazendo uma solicitação GET /connectors/connector-name/config no cluster existente ou consumindo as mensagens do nome do tópico definido para a propriedade config.storage.topic.

  6. Crie um Amazon MSK Connector com o mesmo nome do cluster existente. Crie esse conector usando o plug-in personalizado do conector que você criou na etapa 1, as propriedades do operador que você criou na etapa 2 e a configuração do conector que você extraiu na etapa 5.

  7. Quando o status do Amazon MSK Connector estiver active, visualize os logs para verificar se o conector começou a importar dados do sistema de origem.

  8. Exclua o conector no cluster existente fazendo uma solicitação DELETE /connectors/connector-name.