Bonnes pratiques d'utilisation de MSK Replicator

Cette section décrit les meilleures pratiques courantes et les stratégies de mise en œuvre relatives à l'utilisation d'Amazon MSK Replicator.

Rubriques

• Gestion du débit du MSK réplicateur à l'aide des quotas Kafka
• Définition de la période de conservation des données des clusters

Gestion du débit du MSK réplicateur à l'aide des quotas Kafka

Comme MSK Replicator agit en tant que consommateur pour votre cluster source, la réplication peut entraîner une limitation des autres consommateurs sur votre cluster source. Le niveau de limitation dépend de la capacité de lecture dont dispose votre cluster source et du débit des données que vous répliquez. Nous vous recommandons de fournir une capacité identique pour vos clusters source et cible, et de prendre en compte le débit de réplication lors du calcul de la capacité dont vous avez besoin.

Vous pouvez également définir des quotas Kafka pour le réplicateur sur vos clusters source et cible afin de contrôler la capacité que le MSK réplicateur peut utiliser. Un quota de bande passante du réseau est recommandé. Un quota de bande passante du réseau définit un seuil de débit, défini en octets par seconde, pour un ou plusieurs clients partageant un quota. Ce quota est défini sur une base par agent.

Suivez ces étapes pour appliquer un quota.

1. Récupérez la chaîne du serveur d'amorçage pour le cluster source. Consultez Trouvez les courtiers Bootstrap pour un cluster Amazon MSK.

2. Récupérez le rôle d'exécution du service (SER) utilisé par le MSK réplicateur. Il s'agit de celui SER que vous avez utilisé pour une CreateReplicator demande. Vous pouvez également l'SERextraire de la DescribeReplicator réponse d'un réplicateur existant.

3. À l'aide CLI des outils Kafka, exécutez la commande suivante sur le cluster source.

   ./kafka-configs.sh --bootstrap-server <source-cluster-bootstrap-server> --alter --add-config 'consumer_byte_
   rate=<quota_in_bytes_per_second>' --entity-type users --entity-name arn:aws:sts::<customer-account-id>:assumed-role/<ser-role-name>/<customer-account-id> --command-config <client-properties-for-iam-auth></programlisting>

4. Après avoir exécuté la commande ci-dessus, vérifiez que la métrique ReplicatorThroughput ne dépasse pas le quota que vous avez défini.

Notez que si vous réutilisez un rôle d'exécution de service entre plusieurs MSK réplicateurs, ils sont tous soumis à ce quota. Si vous souhaitez conserver des quotas distincts par réplicateur, utilisez des rôles d'exécution de service distincts.

Pour plus d'informations sur l'utilisation de l'MSKIAMauthentification avec des quotas, consultez les sections Clusters Apache Kafka multi-tenancy sur Amazon MSK avec contrôle d'IAMaccès et Kafka Quotas — Partie 1.

Avertissement

Si vous définissez un consumer_byte_rate extrêmement bas, votre MSK réplicateur peut agir de manière inattendue.

Définition de la période de conservation des données des clusters

Vous pouvez définir la période de conservation des journaux pour les MSK clusters provisionnés et sans serveur. La période de conservation par défaut est de 7 jours. Voir Modifications dans la configurations des clusters ou Configuration de cluster MSK sans serveur prise en charge.