Connectors

Um conector integra sistemas externos e serviços da Amazon ao Apache Kafka, copiando continuamente dados de streaming de uma fonte de dados para o cluster do Apache Kafka ou copiando continuamente os dados do cluster para um coletor de dados. Antes de entregar os dados a um destino, um conector também pode executar uma lógica leve, como transformação, conversão de formato ou filtragem de dados. Os conectores de origem extraem dados de uma fonte de dados e os enviam para o cluster, enquanto os conectores coletam dados do cluster e os enviam para um coletor de dados.

O diagrama a seguir mostra a arquitetura de um conector. Um operador é um processo de máquina virtual Java (JVM) que executa a lógica do conector. Cada operador cria um conjunto de tarefas que são executadas em threads paralelos e fazem o trabalho de copiar os dados. As tarefas não armazenam o estado e, portanto, podem ser iniciadas, interrompidas ou reiniciadas a qualquer momento para fornecer um pipeline de dados resiliente e escalável.

Capacidade do conector

A capacidade total de um conector depende do número de operadores que o conector tem, bem como do número de MSK Connect Units (MCUs – Unidades do MSK Connect) por operador. Cada MCU representa 1 vCPU de computação e 4 GiB de memória. A memória da MCU pertence à memória total de uma instância de trabalho e não à memória de pilha em uso.

Os funcionários do MSK Connect consomem endereços IP nas sub-redes fornecidas pelo cliente. Cada trabalhador usa um endereço IP de uma das sub-redes fornecidas pelo cliente. Você deve garantir que tenha endereços IP disponíveis suficientes nas sub-redes fornecidas a uma CreateConnector solicitação para considerar a capacidade especificada, especialmente ao escalar automaticamente conectores em que o número de trabalhadores pode flutuar.

Para criar um conector, você deve escolher entre um dos dois modos de capacidade a seguir.

• Provisionado: escolha esse modo se você conhecer os requisitos de capacidade do seu conector. Você especifica dois valores:

  • O número de operadores.

  • O número de MCUs por operador.

• Escalonamento automático: escolha esse modo se os requisitos de capacidade do seu conector forem variáveis ou se você não os conhecer com antecedência. Quando você usa o modo de escalabilidade automática, o Amazon MSK Connect substitui a propriedade tasks.max do seu conector por um valor proporcional ao número de operadores em execução no conector e ao número de MCUs por operador.

  Você especifica três conjuntos de valores:

  • O número mínimo e máximo de operadores.

  • Os percentuais de expansão e de redução da utilização da CPU, que são determinados pela métrica. CpuUtilization Quando a métrica CpuUtilization do conector excede o percentual de expansão, o MSK Connect aumenta o número de operadores em execução no conector. Quando a métrica CpuUtilization fica abaixo do percentual de expansão, o MSK Connect diminui o número de operadores. O número de operadores sempre permanece dentro dos números mínimo e máximo que você especifica ao criar o conector.

  • O número de MCUs por operador.

Para obter mais informações sobre operadores, consulte Operadores. Para saber mais sobre as métricas do MSK Connect, consulte Monitoramento do MSK Connect.

Como criar um conector

Criando um conector usando o AWS Management Console

1. Abra o console do Amazon MSK em https://console.aws.amazon.com/msk/.

2. No painel esquerdo, em MSK Connect, escolha Conectores.

3. Escolha Criar conector.

4. Você pode escolher entre usar um plug-in personalizado existente para criar o conector ou criar primeiro um novo plug-in personalizado. Para obter informações sobre plug-ins personalizados e como criá-los, consulte Plug-ins. Neste procedimento, vamos supor que você tenha um plug-in personalizado que deseja usar. Na lista de plug-ins personalizados, encontre o que você deseja usar, marque a caixa à esquerda e escolha Próximo.

5. Insira um nome e, se desejar, uma descrição.

6. Escolha o cluster ao qual deseja se conectar.

7. Especifique a configuração do conector. Os parâmetros de configuração que você precisa especificar dependerão do tipo de conector que você deseja criar. No entanto, alguns parâmetros são comuns a todos os conectores, por exemplo, os parâmetros connector.class e tasks.max. Veja a seguir um exemplo de configuração para o Conector de coletor Confluent para Amazon S3.

   connector.class=io.confluent.connect.s3.S3SinkConnector
   tasks.max=2
   topics=my-example-topic
   s3.region=us-east-1
   s3.bucket.name=my-destination-bucket
   flush.size=1
   storage.class=io.confluent.connect.s3.storage.S3Storage
   format.class=io.confluent.connect.s3.format.json.JsonFormat
   partitioner.class=io.confluent.connect.storage.partitioner.DefaultPartitioner
   key.converter=org.apache.kafka.connect.storage.StringConverter
   value.converter=org.apache.kafka.connect.storage.StringConverter
   schema.compatibility=NONE

8. Em seguida, configure a capacidade do conector. Você pode escolher entre dois modos de capacidade: provisionado e escalonado automaticamente. Para obter informações sobre essas duas opções, consulte Capacidade do conector.

9. Escolha a configuração padrão do operador ou uma configuração personalizada do operador. Para obter informações sobre como criar configurações personalizadas de operador, consulte Operadores.

10. Em seguida, você especifica o perfil de execução do serviço. Essa deve ser uma função do IAM que o MSK Connect possa assumir e que conceda ao conector todas as permissões necessárias para acessar os AWS recursos necessários. Essas permissões dependem da lógica do conector. Para obter informações sobre como criar essa função, consulte Perfil de execução do serviço.

11. Escolha Próximo, revise as informações de segurança e escolha Próximo novamente.

12. Especifique as opções de registro em log que deseja e escolha Próximo. Para obter informações sobre registro em log, consulte Registro em log no MSK Connect.

13. Escolha Criar conector.

Para usar a API MSK Connect para criar um conector, consulte CreateConnector.