View a markdown version of this page

Gerenciando a produtividade com cotas do Kafka - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Gerenciando a produtividade com cotas do Kafka

Como o replicador do MSK atua como consumidor do seu cluster de origem, a replicação pode fazer com que outros consumidores passem por controle de utilização em seu cluster de origem. A quantidade de limitação depende da capacidade de leitura que você tem no cluster de origem e da taxa de transferência dos dados que você está replicando.

Você pode definir cotas do Kafka para o Replicator em seus clusters de origem e destino para controlar a capacidade que o MSK Replicator pode usar. Recomenda-se usar uma cota de largura de banda da rede. Uma cota de largura de banda da rede define um limite de taxa de bytes, definido como bytes por segundo, para um ou mais clientes que compartilham uma cota. Essa cota é definida por agente.

Siga estas etapas para aplicar uma cota:

  1. Recupere a string do servidor bootstrap para o cluster de origem. Consulte Obter os agentes de bootstrap para um cluster do Amazon MSK.

  2. Recupere o Service execution role (SER – Perfil de execução de serviço) usado pelo replicador do MSK. Esse é o SER que você usou para uma solicitação CreateReplicator. Você também pode extrair o SER da DescribeReplicator resposta.

  3. Usando as ferramentas CLI do Kafka, execute o seguinte comando no cluster de origem:

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. Depois de executar o comando, verifique se a ReplicatorThroughput métrica não ultrapassa a cota que você definiu.

Se você reutilizar uma função de execução de serviço entre vários replicadores MSK, todos eles estarão sujeitos a essa cota. Se você quiser manter cotas separadas por replicador, use perfis de execução de serviço separados.

Para obter mais informações sobre o uso da autenticação do IAM no MSK com cotas, consulte Clusters Apache Kafka multilocação no Amazon MSK com controle de acesso do IAM e cotas do Kafka: parte 1.

Atenção

Definir um valor extremamente baixo consumer_byte_rate pode fazer com que seu MSK Replicator aja de forma inesperada.