View a markdown version of this page

Gestion du débit avec les quotas Kafka - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gestion du débit avec les quotas Kafka

Comme le réplicateur MSK agit en tant que consommateur pour votre cluster source, la réplication peut entraîner une limitation des autres consommateurs sur votre cluster source. Le niveau de régulation dépend de la capacité de lecture dont dispose votre cluster source et du débit de données que vous répliquez.

Vous pouvez définir des quotas Kafka pour le réplicateur sur vos clusters source et cible afin de contrôler la capacité que le réplicateur MSK peut utiliser. Un quota de bande passante du réseau est recommandé. Un quota de bande passante du réseau définit un seuil de débit, défini en octets par seconde, pour un ou plusieurs clients partageant un quota. Ce quota est défini sur une base par agent.

Pour appliquer un quota, procédez comme suit :

  1. Récupérez la chaîne du serveur d'amorçage pour le cluster source. Consultez Obtenez les courtiers bootstrap pour un cluster Amazon MSK.

  2. Récupérez le rôle d'exécution de service (SER) utilisé par le réplicateur MSK. Il s'agit du SER que vous avez utilisé pour une demande CreateReplicator. Vous pouvez également extraire le SER de la DescribeReplicator réponse.

  3. À l'aide des outils Kafka CLI, exécutez la commande suivante sur le cluster source :

    ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> \
  --alter \
  --add-config 'consumer_byte_rate=<quota_in_bytes_per_second>' \
  --entity-type users \
  --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> \
  --command-config <client-properties-for-iam-auth>

  4. Après avoir exécuté la commande, vérifiez que la ReplicatorThroughput métrique ne dépasse pas le quota que vous avez défini.

Si vous réutilisez un rôle d'exécution de service entre plusieurs réplicateurs MSK, ils sont tous soumis à ce quota. Si vous souhaitez conserver des quotas distincts par réplicateur, utilisez des rôles d'exécution de service distincts.

Pour plus d'informations sur l'utilisation de l'authentification IAM de MSK avec des quotas, consultez Clusters Apache Kafka multi-locataires dans Amazon MSK avec contrôle d'accès IAM et Quotas de Kafka — 1e partie.

Avertissement

Si vous définissez une valeur extrêmement faible, votre MSK Replicator consumer_byte_rate peut agir de manière inattendue.