클러스터의 지능형 리밸런싱

Amazon MSK는 Express 브로커를 사용하여 모든 새 MSK 프로비저닝 클러스터에 대한 지능형 리밸런싱을 제공합니다. 이 기능은 파티션 배포 및 클러스터 조정 작업을 자동으로 관리하므로 타사 도구가 필요하지 않습니다. 지능형 리밸런싱은 클러스터를 확장하거나 축소할 때 파티션을 자동으로 리밸런싱합니다. 또한 클러스터의 상태를 지속적으로 모니터링하여 리소스 불균형 또는 오버로드가 있는지 확인하고 워크로드를 재배포합니다.

지능형 리밸런싱은 30분 이내에 완료되며 조정 중에 클러스터 가용성에 영향을 주지 않는 빠른 조정 작업을 제공합니다. 모든 새 MSK Express 기반 프로비저닝된 클러스터에 대해 기본적으로 켜져 있으며 브로커당 파티션 20,000개의 권장 최대 파티션 한도로 작동합니다. 또한이 기능은 추가 비용 없이 사용할 수 있으며 구성이 필요하지 않습니다.

2025년 11월 20일부터 Amazon MSK Express 브로커가 지원되는 모든 AWS리전에서 Intelligent Rebalancing을 사용할 수 있습니다.

주제

• 지능형 리밸런싱 작동 방식

• 지능형 리밸런싱 지표 모니터링

• 지능형 리밸런싱 사용 시 고려 사항

• 단일 작업으로 Amazon MSK 클러스터 확장 및 축소

• Amazon MSK 클러스터의 정상 상태 재분배

지능형 리밸런싱 작동 방식

Express 브로커가 있는 모든 새 MSK 프로비저닝 클러스터에 대해 기본적으로 지능형 리밸런싱이 켜져 있습니다. 여기에는 다음 상황에 대한 지원이 포함됩니다.

• 확장 및 축소: 한 번의 클릭으로 MSK Express 기반 클러스터에 브로커를 추가하거나 제거할 수 있습니다. 추가하거나 제거할 브로커를 지정하면 지능형 리밸런싱은 내부 AWS모범 사례에 따라 새 클러스터 설정에서 파티션을 자동으로 재배포합니다.

• 안정 상태 리밸런싱:이 기능은 안정 상태에서 클러스터의 상태를 지속적으로 모니터링하고 다음과 같은 경우 파티션을 자동으로 리밸런싱합니다.

  • 리소스 사용률이 브로커 간에 왜곡됩니다.

  • 브로커가 과다 프로비저닝되거나 과소 활용됩니다.

  • 새 브로커가 추가되거나 기존 브로커가 제거됩니다.

참고

지능형 리밸런싱이 켜져 있으면 파티션 리밸런싱에 Cruise Control과 같은 타사 도구를 사용할 수 없습니다. 이러한 타사 도구에서 제공하는 파티션 재할당 API를 사용하려면 먼저 지능형 재분배를 일시 중지해야 합니다.

Amazon MSK 콘솔에서이 기능을 사용할 수 있습니다. AWS CLI, Amazon MSK APIs 또는 AWSSDK 및를 사용하여이 기능을 사용할 수도 있습니다AWS CloudFormation. 자세한 내용은 Amazon MSK 클러스터 크기 조정 및 안정 상태 리밸런싱 섹션을 참조하세요.

지능형 리밸런싱 지표 모니터링

다음 Amazon CloudWatch 지표를 사용하여 진행 중인 과거 지능형 리밸런싱 작업의 상태를 모니터링할 수 있습니다.

• RebalanceInProgress:이 지표는 리밸런싱이 진행 중인 경우 1, 그렇지 않으면 0의 값으로 1분마다 게시됩니다.

• UnderProvisioned: 클러스터가 현재 프로비저닝 중이며 파티션 리밸런싱을 수행할 수 없음을 나타냅니다. 브로커를 더 추가하거나 클러스터의 인스턴스 유형을 확장해야 합니다.

MSK 프로비저닝 클러스터 모니터링에 대한 자세한 내용은 및 섹션을 참조하세요.

지능형 리밸런싱 사용 시 고려 사항

• 지능형 리밸런싱 지원은 Express 브로커가 있는 새 MSK 프로비저닝 클러스터에서만 사용할 수 있습니다.

• 자동 파티션 재할당의 경우 브로커당 최대 20,000개의 파티션에 대한 최대 지원을 사용할 수 있습니다.

• 지능형 리밸런싱이 활성화된 경우 파티션 재할당 APIs 또는 타사 리밸런싱 도구를 사용할 수 없습니다. 이러한 APIs 또는 타사 도구를 사용하려면 먼저 MSK Express 기반 클러스터에 대한 지능형 리밸런싱을 일시 중지해야 합니다.