분석 평가

AWS 변환은 분석 및 스트리밍 워크로드를 평가하고 동일한 워크로드를 직접 실행하는 데 드는 운영 오버헤드를 줄이는 관리 AWS 형 대안을 권장합니다. 분석 평가는 대상 관리형 서비스의 총 소유 비용을 추정하고 마이그레이션 후 다르게 작동하는 것이 있는지 소스 워크로드를 검토합니다.

Amazon MSK Express

AWS 변환은 Express 브로커를 사용하여 Amazon Managed Streaming for Apache Kafka(Amazon MSK)로 마이그레이션하기 위해 자체 관리형 Apache Kafka 클러스터를 평가합니다. AWS 변환은 검색된 클러스터 토폴로지인 브로커, 조정 노드 및 엔진 버전을 클러스터 전체 처리량과 함께 사용하고, MSK Express 브로커 구성을 권장하며, 브로커 시간, 스토리지, 데이터 입력 및 교차 가용 영역 전송 전반의 총 소유 비용을 계산합니다.

참고

MSK Express 평가에서는 Amazon MSK Provisioned의 브로커 유형인 Express 브로커를 권장합니다. Amazon MSK Serverless 또는 Standard 브로커는 평가하지 않습니다. 마이그레이션 후 Express 브로커를 운영하는 방법에 대한 지침은 Amazon MSK 개발자 안내서의 Express 브로커 모범 사례를 참조하세요.

Amazon MSK는 관리형 서비스이므로이 서비스로 마이그레이션하면 Kafka 브로커 호스트와 직접 연결된 스토리지가 대체됩니다. 따라서 MSK Express 평가는 이러한 브로커 호스트 및 볼륨의 소유권을 가지므로 비즈니스 사례의 다른 곳에서 Amazon EC2 인스턴스 또는 Amazon EBS 볼륨으로 추가 비용이 부과되지 않습니다. MSK Express로 클러스터를 마이그레이션하지 않기로 선택한 경우 범위에서 클러스터를 제외하면 브로커 호스트와 볼륨이 lift-and-shift 추정치로 컴퓨팅 및 스토리지 평가로 돌아갑니다. 이는 관리형 서비스 옵션을 Amazon EC2에서 동일한 워크로드를 실행하는 것과 비교하는 의도된 방법입니다.

클러스터의 크기 조정 방법

AWS 현재 브로커 수가 아닌 처리량에서 각 클러스터의 크기를 변환합니다. 작은 브로커가 많은 클러스터는 더 작은 수의 더 큰 Express 브로커로 크기를 조정할 수 있습니다. AWS 변환은 각 브로커 크기에 대해 세 가지 제약 조건을 독립적으로 평가하고 가장 많은 브로커가 필요한 제약 조건을 선택합니다.

• 수신 - 최대 생산자 처리량을 흡수하는 데 필요한 브로커입니다.

• 송신 - 최대 소비자 처리량을 제공하는 데 필요한 브로커입니다.

• 파티션 - 브로커당 권장 사항 내에서 파티션을 보유하는 데 필요한 브로커입니다.

MSK Express는 항상 최소 3개의 브로커가 있는 3개의 가용 영역에 배포되므로 각 브로커 수는 3의 배수로 반올림됩니다. AWS 변환은 Amazon MSK 클러스터당 브로커 할당량에 맞는 가장 저렴한 브로커 크기와 개수를 권장합니다. AWS Transform이 각 브로커를 계획하는 사용률(기본값은 0.75이며 스파이크에 대한 여유 공간을 남김)과 스토리지 크기 조정에 사용되는 보존 기간(기본값은 24시간)을 조정할 수 있습니다.

제공하는 처리량 데이터

제공할 수 있는 가장 유용한 그림은 최대 클러스터 수신 처리량입니다. AWS 변환은이 중 하나에서 나머지 처리량 수치를 도출할 수 있으므로 최대 수신만 제공하면 크기가 지정된 클러스터가 생성됩니다. 처리량 수치를 전혀 사용할 수 없는 경우 AWS 변환은 최소 배포 가능 Express 클러스터(브로커 3개, 스토리지 없음, 네트워크 요금 없음)를 보고합니다. 이는 추정치가 아닌 바닥입니다. 그림이 누락된 경우 AWS 변환에 메시지가 표시되며 일반 언어로 답변할 수 있습니다.

Field	이것이 중요한 이유
의 피크 데이터(클러스터 전체)	Express 인스턴스 선택, 스토리지 추정 및 데이터 요금을 구동합니다. 크기 추정에 필요합니다.
의 평균 데이터(클러스터 전체)	보존된 스토리지의 크기입니다. 없는 경우 피크의 절반으로 가정합니다.
피크 데이터 출력(클러스터 전체)	팬아웃 과부하 워크로드를 위한 인스턴스 선택의 바인딩 제약 조건이 될 수 있습니다.
평균 데이터 출력(클러스터 전체)	소비자가 가장 가까운 복제본 가져오기를 사용하지 않는 경우 가용 영역 간 전송 추정치에 영향을 미칩니다.
Kafka 엔진 버전	호환성 조사 결과와 버전 변경 관련 여부를 결정합니다.

비용 차원

AWS 매일 AWS 리전새로 고쳐진 대상에 대해 게시된 Amazon MSK 요금에서 4차원 가격을 변환합니다. MSK Express에는 예약 인스턴스 또는 Savings Plan 입력이 없습니다. 견적은 온디맨드, 안정 상태 실행률입니다.

• 브로커 시간 - 한 달에 730시간 동안 브로커당, 시간당, 인스턴스 크기별로.

• 스토리지 - 보관된 데이터의 GB-월당. 스토리지는 Express에서 탄력적이고 pay-as-you-go이므로 크기 조정이 필요하지 않습니다.

• 의 데이터 - 클러스터에 기록된 데이터의 GB당.

• 가용 영역 간 전송 - 가용 영역 경계를 통과하는 클라이언트 트래픽 GB당. 이는 Amazon MSK에서 청구하지 않지만 three-Availability-Zone 클러스터는 실제로 발생하므로 AWS 변환에는 나중에 검색할 수 있도록 두지 않고 포함됩니다.

호환성 검토

예상 비용 외에도 AWS 변환은 5개 영역에서 각 클러스터를 검토하고 조치를 취할 수 있는 조사 결과를 보고합니다. 크기 조정, 비용 및 호환성은 독립적으로 평가되므로 호환성 조사 결과가 있는 클러스터는 여전히 전체 비용 견적을 받습니다.

• 토폴로지 - KRaft 조정과 비교한 가용 영역 수, 브로커 수 및 ZooKeeper.

• Kafka 버전 - 소스 버전이 MSK Express에서 지원하는 버전인지 여부(Apache Kafka 3.6, 3.8, 3.9 및 4.2).

• 구성 - Apache Kafka 기본값과 다른 브로커 및 주제 수준 설정입니다.

• 인증 - 인증 메커니즘 및 트래픽이 전송 중에 암호화되는지 여부입니다. MSK Express는 인증되지 않은 액세스, TLS, SASL/SCRAM 및 AWS IAM을 지원합니다.

• 할당량 - Express 제한에 대한 브로커당 수신, 송신, 파티션 및 연결 수입니다.

각 결과에는 심각도가 따릅니다. 필수 작업으로 표시된 결과는 지원되지 않는 인증 메커니즘 또는 MSK Express가 허용하는 범위를 벗어난 구성 값과 같이 현재 설정에서 있는 그대로 전달할 수 없는 것을 나타냅니다. 권고 결과에 따르면 마이그레이션은 작동하지만 MSK Express가 사용자를 대신하여 설정을 관리하기 때문에 다른 방식으로 동작하는 경우가 많습니다.

리전 가용성

MSK Express는 상용 AWS 리전 대부분에서 사용할 수 있지만 전부는 아닙니다. Express는 항상 3개의 가용 영역에 배포되므로 미국 서부(캘리포니아 북부)와 같이 사용 가능한 가용 영역이 3개 미만인 리전에서는 사용할 수 없습니다. 대상을 AWS 리전 명시적으로 설정합니다. 대상은 평가를 실행할 수 있는지 여부와 평가를 통해 생성되는 모든 비용 라인을 모두 결정합니다. MSK Express를 사용할 수 없는 리전을 선택하는 경우 비즈니스 사례의 MSK 라인은 비용을 발생시키지 않지만 다른 평가는 여전히 완료됩니다.

프롬프트 예제

• “Amazon MSK Express로 Kafka 클러스터 마이그레이션 비용 추정”

• “클러스터의 최대 수신은 30MB/s입니다. MSK Express의 경우 크기를 조정합니다.”

• “이 클러스터의 크기가 브로커 6개로 조정된 이유는 무엇인가요?”

• “Kafka 클러스터의 호환성 조사 결과를 보여줘.”