View a markdown version of this page

Gestione del throughput con le quote Kafka - Amazon Managed Streaming per Apache Kafka

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Gestione del throughput con le quote Kafka

Poiché il replicatore MSK funge da consumatore per il cluster di origine, la replica può causare la limitazione della larghezza di banda della rete di altri consumatori sul cluster di origine. L'entità della limitazione dipende dalla capacità di lettura disponibile sul cluster di origine e dalla velocità effettiva dei dati da replicare.

È possibile impostare quote Kafka per il Replicator sui cluster di origine e di destinazione per controllare la capacità che MSK Replicator può utilizzare. Si consiglia di specificare una quota di larghezza di banda della rete. Una quota di larghezza di banda della rete definisce una soglia di velocità di byte, espressa in byte al secondo, per uno o più client che condividono una quota. Questa quota è definita per singolo broker.

Segui questi passaggi per applicare una quota:

  1. Recupera la stringa del server di bootstrap per il cluster di origine. Per informazioni, consulta Ottieni i broker bootstrap per un cluster Amazon MSK.

  2. Recupera il ruolo di esecuzione del servizio (SER) utilizzato dal replicatore MSK. Questo è il SER che hai utilizzato per una richiesta CreateReplicator. Puoi anche estrarre il SER dalla DescribeReplicator risposta.

  3. Utilizzando gli strumenti della CLI di Kafka, esegui il seguente comando sul cluster di origine:

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. Dopo aver eseguito il comando, verifica che la ReplicatorThroughput metrica non superi la quota impostata.

Se si riutilizza un ruolo di esecuzione del servizio tra più replicatori MSK, tutti sono soggetti a questa quota. Se desideri mantenere quote separate per il replicatore, utilizza ruoli di esecuzione del servizio separati.

Per ulteriori informazioni sull'utilizzo dell'autenticazione IAM di MSK con le quote, consulta la pagina Multi-tenancy Apache Kafka clusters in Amazon MSK with IAM access control and Kafka Quotas – Part 1.

avvertimento

L'impostazione di un valore estremamente basso consumer_byte_rate può far sì che MSK Replicator agisca in modi inaspettati.