Rééquilibrage intelligent pour les clusters - Amazon Managed Streaming for Apache Kafka

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Rééquilibrage intelligent pour les clusters

Amazon MSK fournit un rééquilibrage intelligent pour tous les nouveaux clusters provisionnés par MSK avec des courtiers Express. Cette fonctionnalité gère automatiquement les opérations de distribution des partitions et de dimensionnement des clusters, éliminant ainsi le recours à des outils tiers. Le rééquilibrage intelligent rééquilibre automatiquement les partitions lorsque vous augmentez ou diminuez les clusters. Il surveille également en permanence l'état de santé de votre cluster pour détecter tout déséquilibre ou surcharge des ressources et redistribue la charge de travail.

Le rééquilibrage intelligent permet des opérations de mise à l'échelle rapides qui se terminent en 30 minutes et n'ont aucun impact sur la disponibilité du cluster pendant le dimensionnement. Il est activé par défaut pour tous les nouveaux clusters provisionnés basés sur MSK Express et fonctionne avec la limite de partition maximale recommandée de 20 000 partitions par broker. De plus, cette fonctionnalité est disponible sans frais supplémentaires et ne nécessite aucune configuration.

À compter du 20 novembre 2025, le rééquilibrage intelligent est disponible dans toutes les AWS régions où les courtiers Amazon MSK Express sont pris en charge.

Comment fonctionne le rééquilibrage intelligent

Le rééquilibrage intelligent est activé par défaut pour tous les nouveaux clusters provisionnés par MSK auprès d'Express Brokers. Il inclut une assistance pour les situations suivantes :

  • Mise à l'échelle ascendante ou descendante : vous permet d'ajouter ou de supprimer des courtiers à vos clusters basés sur MSK Express en un seul clic. Une fois que vous avez indiqué les courtiers à ajouter ou à supprimer, le rééquilibrage intelligent redistribue automatiquement les partitions dans la nouvelle configuration du cluster en fonction des AWS meilleures pratiques internes.

  • Rééquilibrage en régime permanent : en régime permanent, cette fonction surveille en permanence l'état de santé de votre cluster et rééquilibre automatiquement les partitions lorsque :

    • L'utilisation des ressources devient biaisée entre les courtiers.

    • Les courtiers sont surapprovisionnés ou sous-utilisés.

    • De nouveaux courtiers sont ajoutés ou des courtiers existants sont supprimés.

Note

Si le rééquilibrage intelligent est activé, vous ne pourrez pas utiliser d'outils tiers, tels que le régulateur de vitesse, pour rééquilibrer les partitions. Vous devez d'abord suspendre le rééquilibrage intelligent pour utiliser l'API de réattribution de partition fournie par ces outils tiers.

Vous pouvez utiliser cette fonctionnalité dans la console Amazon MSK. Vous pouvez également utiliser cette fonctionnalité à l'AWS CLIaide d'Amazon MSK APIs ou du AWS SDK, et. AWS CloudFormation Pour plus d’informations, consultez Dimensionnement des clusters Amazon MSK et Rééquilibrage en régime permanent.

Surveillance des mesures de rééquilibrage intelligentes

Vous pouvez surveiller l'état des opérations de rééquilibrage intelligent en cours et historiques à l'aide des CloudWatch indicateurs Amazon suivants :

  • RebalanceInProgress: Cette métrique est publiée toutes les minutes avec une valeur de 1 lorsque le rééquilibrage est en cours et de 0 dans le cas contraire.

  • UnderProvisioned: indique qu'un cluster est actuellement sous-provisionné et qu'aucun rééquilibrage de partition ne peut être effectué. Vous devez soit ajouter d'autres courtiers, soit augmenter le type d'instance de votre cluster.

Pour plus d'informations sur la surveillance d'un cluster provisionné MSK, reportez-vous aux sections et.

Considérations relatives à l'utilisation du rééquilibrage intelligent

  • Support pour le rééquilibrage intelligent n'est disponible que pour les nouveaux clusters provisionnés par MSK auprès d'Express Brokers.

  • Pour la réattribution automatique des partitions, une prise en charge maximale de 20 000 partitions par courtier est disponible.

  • Vous ne pouvez pas utiliser de réattribution de partition APIs ou d'outils de rééquilibrage tiers lorsque le rééquilibrage intelligent est activé. Pour utiliser de tels outils APIs ou des outils tiers, vous devez d'abord suspendre le rééquilibrage intelligent de votre cluster basé sur MSK Express.