Le migliori pratiche per l'utilizzo di MSK Replicator

Questa sezione illustra le best practice e le strategie di implementazione più comuni per l'utilizzo di Amazon MSK Replicator.

Argomenti

• Gestione del throughput di MSK Replicator utilizzando le quote Kafka
• Impostazione del periodo di conservazione dei cluster

Gestione del throughput di MSK Replicator utilizzando le quote Kafka

Poiché MSK Replicator funge da consumatore per il cluster di origine, la replica può causare la limitazione di altri consumatori nel cluster di origine. L'entità della limitazione della larghezza di banda della rete dipende dalla capacità di lettura disponibile sul cluster di origine e dalla velocità di trasmissione effettiva dei dati da replicare. Ti consigliamo di fornire una capacità identica per i cluster di origine e di destinazione e di tenere conto della velocità di trasmissione effettiva di replica nel calcolo della capacità necessaria.

È inoltre possibile impostare quote Kafka per il Replicator sui cluster di origine e di destinazione per controllare la capacità che il Replicator può utilizzare. MSK Si consiglia di specificare una quota di larghezza di banda della rete. Una quota di larghezza di banda della rete definisce una soglia di velocità di byte, espressa in byte al secondo, per uno o più client che condividono una quota. Questa quota è definita per singolo broker.

Segui questi passaggi per applicare una quota.

1. Recupera la stringa del server di bootstrap per il cluster di origine. Per informazioni, consulta Ottieni i broker bootstrap per un cluster Amazon MSK.

2. Recuperate il ruolo di esecuzione del servizio () utilizzato dal Replicator. SER MSK Questo è quello che SER hai usato per una CreateReplicator richiesta. Puoi anche estrarre il SER file dalla DescribeReplicator risposta da un replicatore esistente.

3. Utilizzando CLI gli strumenti di Kafka, esegui il seguente comando sul cluster di origine.

   ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> --alter --add-config 'consumer_byte_
   rate=<quota_in_bytes_per_second>' --entity-type users --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> --command-config <client-properties-for-iam-auth></programlisting>

4. Dopo aver eseguito il comando precedente, verifica che il parametro ReplicatorThroughput non superi la quota impostata.

Nota che se riutilizzi un ruolo di esecuzione del servizio tra più MSK replicatori, tutti sono soggetti a questa quota. Se desideri mantenere quote separate per il replicatore, utilizza ruoli di esecuzione del servizio separati.

Per ulteriori informazioni sull'utilizzo MSK IAM dell'autenticazione con quote, consulta Cluster Apache Kafka multi-tenancy in MSK Amazon IAM con controllo degli accessi e Quote Kafka — Parte 1.

avvertimento

L'impostazione di un consumer_byte_rate estremamente basso può far sì che il Replicator agisca in modi inaspettati. MSK

Impostazione del periodo di conservazione dei cluster

È possibile impostare il periodo di conservazione dei log per i cluster con provisioning e senza server. MSK Il periodo di conservazione consigliato è di 7 giorni. Vedi Modifiche alla configurazione del cluster o MSKConfigurazione cluster Serverless supportata.