View a markdown version of this page

비 MSK Apache Kafka 클러스터에서 Amazon MSK Express 브로커로 마이그레이션 - Amazon Managed Streaming for Apache Kafka

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

비 MSK Apache Kafka 클러스터에서 Amazon MSK Express 브로커로 마이그레이션

MSK Replicator를 사용하여 Apache Kafka 워크로드를 자체 관리형 환경에서 Express 브로커가 있는 Amazon MSK 프로비저닝 클러스터로 마이그레이션할 수 있습니다. MSK Replicator는 SASL/SCRAM 인증이 활성화된 Kafka 배포(Kafka 버전 2.8.1 이상)에서 데이터 마이그레이션을 지원합니다.

참고

SASL/SCRAM 인증은 MSK Replicator가 자체 관리형 Kafka 클러스터에 연결하는 경우에만 필요합니다. 클라이언트 애플리케이션은 기존 인증 메커니즘을 계속 사용할 수 있습니다.

사전 조건

시작하기 전에 다음 요건을 갖추고 있는지 확인하세요.

  1. 버전 2.8.1 이상을 실행하는 소스 Apache Kafka 클러스터

  2. 소스 클러스터에서 활성화된 SASL/SCRAM 인증

  3. 소스 클러스터에 구성된 SSL 암호화

  4. AWS Site-to-Site VPN 또는 AWS Direct Connect를 통한 네트워크 연결

  5. Secrets Manager 액세스를 위해 구성된 VPC 서브넷

자세한 지침은 자체 관리형 Apache Kafka 클러스터를 사용하여 MSK Replicator의 사전 조건 설정 섹션을 참조하세요.

1단계: Amazon MSK Express 클러스터 생성

IAM 인증이 활성화된 Express 브로커를 사용하여 MSK 프로비저닝된 클러스터를 생성합니다. 3개의 AZs. 대상 클러스터 준비을(를) 참조하세요.

2단계: IAM 실행 역할 생성

AWSMSKReplicatorExecutionRole 및 AWSSecretsManagerClientReadOnlyAccess 관리형 정책을 연결합니다. 에 대한 신뢰 정책을 구성합니다kafka.amazonaws.com. 자체 관리형 Apache Kafka 클러스터를 사용하여 MSK Replicator의 사전 조건 설정을(를) 참조하세요.

3단계: 자체 관리형 클러스터에서 SASL/SCRAM 및 SSL 구성

필요한 ACL 권한이 있는 전용 SCRAM 사용자를 생성합니다. SSL 인증서를 구성합니다. 자체 관리형 Apache Kafka 클러스터를 사용하여 MSK Replicator의 사전 조건 설정을(를) 참조하세요.

4단계: AWS Secrets Manager에 자격 증명 저장

username, password및 certificate 키-값 페어를 사용하여 보안 암호를 생성합니다. 자체 관리형 Apache Kafka 클러스터를 사용하여 MSK Replicator의 사전 조건 설정을(를) 참조하세요.

5단계: 복제기 생성

CreateReplicator API를 EARLIEST 시작 위치, 동일한 주제 이름 복제와 함께 사용하고를 로 synchroniseConsumerGroupOffsets 설정합니다true. 롤백 기능을 위한 양방향 복제를 설정하려는 경우(6단계) 순방향 및 역방향 복제기 ENHANCED 모두에서를 consumerGroupOffsetSyncMode로 설정합니다. 복제기가 실행 중 상태에 도달할 때까지 약 30분 정도 기다립니다. 자체 관리형 Kafka 클러스터에 대한 CreateReplicator API 예제을(를) 참조하세요.

6단계: (선택 사항) 양방향 복제 설정

롤백 기능을 위해 MSK Express 클러스터에서 자체 관리형 클러스터로 역방향 복제기를 생성합니다. 자체 관리형 Kafka 클러스터에 대한 CreateReplicator API 예제을(를) 참조하세요.

7단계: 복제 진행 상황 모니터링

다음 지표를 모니터링합니다.

  • MessageLag (0에 도달해야 함)

  • ReplicationLatency

  • ConsumerGroupOffsetSyncFailure (0이어야 함)

  • ConsumerGroupCount

  • OffsetLag (MSK Cluster) 및 OffsetLag (Non-MSK Cluster)

자세한 내용은 복제 모니터링 단원을 참조하십시오.

8단계: 애플리케이션 마이그레이션

다음 단계에 따라 애플리케이션을 마이그레이션합니다.

  1. 생산자가 자체 관리형 클러스터에 쓰는 것을 중지합니다.

  2. IAM 인증을 사용하여 MSK Express 클러스터로 생산자 재구성

  3. 0에 도달할 MessageLag 때까지 모니터링

  4. 자체 관리형 클러스터에서 소비자 중지

  5. MSK Express 클러스터로 소비자 재구성

9단계: (선택 사항) 자체 관리형 클러스터로 롤백

양방향 복제가 구성된 경우 마이그레이션 단계를 되돌려 자체 관리형 클러스터로 롤백할 수 있습니다. 역방향 복제기(MSK Express → 외부)는 자체 관리형 클러스터를 동기화된 상태로 유지하므로 소비자는 데이터 손실 없이 다시 리디렉션될 수 있습니다.