As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migrar conectores de coletor para o Amazon MSK Connect
Os conectores de coletor são aplicações do Apache Kafka Connect que importam registros de sistemas externos para o Kafka. Esta seção descreve o processo de migração de aplicações de conectores de coletor do Apache Kafka Connect que estão sendo executados on-premises ou clusters autogerenciados do Kafka Connect que estão sendo executados na para o Amazon MSK Connect. AWS
Os conectores de coletor do Kafka Connect usam a API de associação de grupos do Kafka e armazenam deslocamentos nos mesmos tópicos __consumer_offset
de uma aplicação de consumo típico. Esse comportamento simplifica a migração do conector de coletor de um cluster autogerenciado para o Amazon MSK Connect.
Para migrar conectores de coletor para o Amazon MSK Connect, faça o seguinte:
Crie um plug-in personalizado do Amazon MSK Connect extraindo bibliotecas de conectores do seu cluster do Kafka Connect on-premises ou autogerenciado.
Crie propriedades de operador do Amazon MSK Connect e defina as propriedades
key.converter
evalue.converter
com os mesmos valores definidos para o conector do Kafka que está sendo executado no cluster existente do Kafka Connect.Pause a aplicação do conector no cluster existente fazendo uma solicitação
PUT /connectors/
no cluster existente do Kafka Connect.connector-name
/pauseCertifique-se de que todas as tarefas da aplicação do conector estejam completamente interrompidas. Você pode interromper as tarefas fazendo uma solicitação
GET /connectors/
no cluster existente do Kafka Connect ou consumindo as mensagens do nome do tópico definido para a propriedadeconnector-name
/statusstatus.storage.topic
.Obtenha a configuração do conector do cluster existente. Você pode obter a configuração do conector fazendo uma solicitação
GET /connectors/
no cluster existente ou consumindo as mensagens do nome do tópico definido para a propriedadeconnector-name
/configconfig.storage.topic
.Crie um Amazon MSK Connector com o mesmo nome do cluster existente. Crie esse conector usando o plug-in personalizado do conector que você criou na etapa 1, as propriedades do operador que você criou na etapa 2 e a configuração do conector que você extraiu na etapa 5.
Quando o status do Amazon MSK Connector estiver
active
, visualize os logs para verificar se o conector começou a importar dados do sistema de origem.Exclua o conector no cluster existente fazendo uma solicitação
DELETE /connectors/
.connector-name