Mode Kraft - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mode Kraft

Amazon MSK a introduit la prise en charge de KraFT (Apache Kafka Raft) dans la version 3.7.x de Kafka. La communauté Apache Kafka a développé Kraft pour remplacer Apache ZooKeeper pour la gestion des métadonnées dans les clusters Apache Kafka. En mode KraFT, les métadonnées du cluster sont propagées au sein d'un groupe de contrôleurs Kafka, qui font partie du cluster Kafka, plutôt qu'entre les nœuds. ZooKeeper Les contrôleurs Kraft sont inclus sans frais supplémentaires pour vous et ne nécessitent aucune configuration ou gestion supplémentaire de votre part. Consultez KIP-500 pour plus d'informations sur KraFT.

Voici quelques points à noter concernant le mode KraFT sur MSK :

  • Le mode KraFT n'est disponible que pour les nouveaux clusters. Vous ne pouvez pas changer de mode de métadonnées une fois le cluster créé.

  • Sur la console MSK, vous pouvez créer un cluster basé sur Kraft en choisissant Kafka version 3.7.x et en cochant la case KraFT dans la fenêtre de création du cluster.

  • Pour créer un cluster en mode KraFT à l'aide de l'API CreateClusterou CreateClusterV2des opérations MSK, vous devez utiliser 3.7.x.kraft comme version. À utiliser 3.7.x comme version pour créer un cluster en ZooKeeper mode.

  • Le nombre de partitions par broker est le même sur KraFT et sur les clusters ZooKeeper basés. Cependant, KraFT vous permet d'héberger un plus grand nombre de partitions par cluster en fournissant un plus grand nombre de courtiers dans un cluster.

  • Aucune modification d'API n'est requise pour utiliser le mode Kraft sur Amazon MSK. Toutefois, si vos clients utilisent toujours la chaîne de --zookeeper connexion aujourd'hui, vous devez mettre à jour vos clients afin qu'ils utilisent la chaîne de --bootstrap-server connexion pour se connecter à votre cluster. L'--zookeeperindicateur est obsolète dans la version 2.5 d'Apache Kafka et est supprimé à partir de la version 3.0 de Kafka. Nous vous recommandons donc d'utiliser les versions récentes du client Apache Kafka et la chaîne de --bootstrap-server connexion pour toutes les connexions à votre cluster.

  • ZooKeeper le mode continue d'être disponible pour toutes les versions publiées où zookeeper est également pris en charge par Apache Kafka. Consultez Versions Apache Kafka prises en charge pour plus de détails sur la fin du support pour les versions d'Apache Kafka et les futures mises à jour.

  • Vous devez vérifier que tous les outils que vous utilisez sont capables d'utiliser les API Kafka Admin sans ZooKeeper connexion. Reportez-vous à Utilisation LinkedIn du régulateur de vitesse pour Apache Kafka avec Amazon MSK la section pour connaître les étapes mises à jour pour connecter votre cluster au régulateur de vitesse. Le régulateur de vitesse contient également des instructions pour utiliser le régulateur de vitesse sans ZooKeeper.

  • Vous n'avez pas besoin d'accéder directement aux contrôleurs KraFT de votre cluster pour effectuer des actions administratives. Toutefois, si vous utilisez la surveillance ouverte pour collecter des métriques, vous avez également besoin des points de terminaison DNS de vos contrôleurs afin de collecter des métriques non liées aux contrôleurs concernant votre cluster. Vous pouvez obtenir ces points de terminaison DNS à partir de la console MSK ou à l'aide de l'opération ListNodesAPI. Consultez Surveillance ouverte avec Prometheus les étapes mises à jour pour configurer la surveillance ouverte pour les clusters basés sur Kraft.

  • Il n'y a aucune CloudWatch métrique supplémentaire à surveiller pour les clusters en mode Kraft par rapport aux clusters ZooKeeper en mode. MSK gère les contrôleurs KraFT utilisés dans vos clusters.

  • Vous pouvez continuer à gérer les ACL à l'aide de clusters en mode KraFT à l'aide de la chaîne de --bootstrap-server connexion. Vous ne devez pas utiliser la chaîne de --zookeeper connexion pour gérer les ACL. veuillez consulter Listes de contrôle d'accès (ACL) Apache Kafka.

  • En mode KraFT, les métadonnées de votre cluster sont stockées sur des contrôleurs KraFT au sein de Kafka et non sur des ZooKeeper nœuds externes. Par conséquent, il n'est pas nécessaire de contrôler l'accès aux nœuds de contrôleur séparément comme c'est le cas pour les ZooKeeper nœuds.