Reequilibrio inteligente para clústeres - Transmisión administrada de Amazon para Apache Kafka

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Reequilibrio inteligente para clústeres

Amazon MSK proporciona un reequilibrio inteligente para todos los nuevos clústeres aprovisionados de MSK con agentes Express. Esta función administra automáticamente las operaciones de distribución de particiones y escalado de clústeres, lo que elimina la necesidad de utilizar herramientas de terceros. El reequilibrio inteligente reequilibra automáticamente las particiones al aumentar o reducir la escala de los clústeres. También supervisa de forma continua el estado del clúster para detectar desequilibrios o sobrecargas de recursos y redistribuye la carga de trabajo.

El reequilibrio inteligente proporciona operaciones de escalado rápidas que se completan en 30 minutos y no afecta a la disponibilidad del clúster durante el escalado. Está activado de forma predeterminada para todos los nuevos clústeres aprovisionados basados en MSK Express y funciona con el límite máximo de particiones recomendado de 20 000 particiones por agente. Además, esta función está disponible sin coste adicional y no requiere ninguna configuración.

A partir del 20 de noviembre de 2025, el reequilibrio inteligente estará disponible en todas AWS las regiones en las que se admita a los agentes de Amazon MSK Express.

Cómo funciona el reequilibrio inteligente

El reequilibrio inteligente está activado de forma predeterminada en todos los nuevos clústeres aprovisionados de MSK con agentes Express. Incluye soporte para las siguientes situaciones:

  • Ampliación y reducción: le permite añadir o eliminar agentes de sus clústeres basados en MSK Express con un solo clic. Una vez que especifique qué agentes desea añadir o eliminar, el reequilibrio inteligente redistribuye automáticamente las particiones en la nueva configuración del clúster según las mejores prácticas internas. AWS

  • Reequilibrio en estado estable: en estado estable, esta función supervisa el estado del clúster de forma continua y reequilibra automáticamente las particiones cuando:

    • La utilización de los recursos se vuelve sesgada entre los corredores.

    • Los corredores se aprovisionan en exceso o se infrautilizan.

    • Se añaden nuevos corredores o se eliminan los corredores existentes.

nota

Si el reequilibrio inteligente está activado, no podrás utilizar herramientas de terceros, como Cruise Control, para reequilibrar las particiones. Primero debes pausar el reequilibrio inteligente para usar la API de reasignación de particiones proporcionada por estas herramientas de terceros.

Puede utilizar esta función en la consola de Amazon MSK. También puede utilizar esta función mediante Amazon MSK APIs o AWS SDK, yAWS CloudFormation. AWS CLI Para obtener más información, consulte Escalar los clústeres de Amazon MSK y Reequilibrio en estado estacionario.

Supervisión de las métricas de reequilibrio inteligente

Puede supervisar el estado de las operaciones de reequilibrio inteligente en curso e históricas mediante las siguientes CloudWatch métricas de Amazon:

  • RebalanceInProgress: Esta métrica se publica cada minuto con un valor de 1 cuando el reequilibrio está en curso y de 0 en caso contrario.

  • UnderProvisioned: Indica que un clúster está actualmente insuficientemente aprovisionado y que no se puede realizar ningún reequilibrio de particiones. Tienes que añadir más agentes o ampliar el tipo de instancia del clúster.

Para obtener información sobre la supervisión de un clúster aprovisionado por MSK, consulte y.

Consideraciones sobre el uso del reequilibrio inteligente

  • El soporte para el reequilibrio inteligente solo está disponible para los nuevos clústeres aprovisionados de MSK con corredores Express.

  • Para la reasignación automática de particiones, está disponible un máximo de 20 000 particiones por agente.

  • No puede utilizar herramientas de reasignación de particiones APIs ni de reequilibrio de terceros cuando el reequilibrio inteligente está activado. Para utilizar estas herramientas APIs o las de terceros, primero debe pausar el reequilibrio inteligente del clúster basado en MSK Express.