Melhores práticas para usar o MSK Replicator

Esta seção aborda as melhores práticas comuns e as estratégias de implementação para o uso do Amazon MSK Replicator.

Tópicos

• Gerenciando a taxa de transferência MSK do Replicator usando cotas do Kafka
• Definir o período de retenção do cluster

Gerenciando a taxa de transferência MSK do Replicator usando cotas do Kafka

Como o MSK Replicator atua como consumidor do seu cluster de origem, a replicação pode fazer com que outros consumidores sejam limitados ao seu cluster de origem. A quantidade de controle de utilização depende da capacidade de leitura que você tem no cluster de origem e do throughput dos dados que você está replicando. Recomendamos que você provisione capacidade idêntica para seus clusters de origem e de destino e leve em conta o throughput de replicação ao calcular a capacidade necessária.

Você também pode definir cotas do Kafka para o replicador em seus clusters de origem e destino para controlar a capacidade que o MSK replicador pode usar. Recomenda-se usar uma cota de largura de banda da rede. Uma cota de largura de banda da rede define um limite de taxa de bytes, definido como bytes por segundo, para um ou mais clientes que compartilham uma cota. Essa cota é definida por agente.

Siga estas etapas para aplicar uma cota.

1. Recupere a string do servidor bootstrap para o cluster de origem. Consulte Obtendo os corretores de bootstrap para um cluster da Amazon MSK.

2. Recupere a função de execução do serviço (SER) usada pelo MSK Replicator. Este é o SER que você usou para uma CreateReplicator solicitação. Você também pode extrair a SER DescribeReplicator resposta de um replicador existente.

3. Usando CLI as ferramentas do Kafka, execute o comando a seguir no cluster de origem.

   ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> --alter --add-config 'consumer_byte_
   rate=<quota_in_bytes_per_second>' --entity-type users --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> --command-config <client-properties-for-iam-auth></programlisting>

4. Após executar o comando acima, verifique se a métrica ReplicatorThroughput não ultrapassa a cota que você definiu.

Observe que, se você reutilizar uma função de execução de serviço entre vários MSK replicadores, todos estarão sujeitos a essa cota. Se você quiser manter cotas separadas por replicador, use perfis de execução de serviço separados.

Para obter mais informações sobre o uso da MSK IAM autenticação com cotas, consulte Clusters Apache Kafka de multilocação na MSK Amazon IAM com controle de acesso e Cotas do Kafka — Parte 1.

Atenção

Definir uma taxa de consumer_byte_rate extremamente baixa pode fazer com que seu MSK replicador aja de maneiras inesperadas.

Definir o período de retenção do cluster

Você pode definir o período de retenção de registros para clusters MSK provisionados e sem servidor. O período recomendado de retenção é de 7 dias. Consulte Alterações na configuração de cluster ou MSKConfiguração de cluster sem servidor.