주제 이름 지정(접두사 대 동일)

MSK Replicator에는 접두사(기본값) 또는 동일한 주제 이름 복제라는 두 가지 주제 이름 구성 모드가 있습니다.

접두사 주제 이름 복제

기본적으로 MSK Replicator는 소스 클러스터 주제 이름에 자동 생성된 접두사(예: <sourceKafkaClusterAlias>.topic)를 추가하여 대상 클러스터에 새로운 주제를 생성합니다. 이렇게 하면 복제된 주제가 대상 클러스터의 다른 주제와 구별되고 클러스터 간에 데이터가 순환 복제되지 않습니다.

예를 들어 MSK Replicator는 소스 클러스터에서 "topic"이라는 주제의 데이터를 이라는 대상 클러스터의 새 주제로 복제합니다<sourceKafkaClusterAlias>.topic. DescribeReplicator API 또는 MSK 콘솔의 Replicator 세부 정보 페이지를 사용하여 sourceKafkaClusterAlias 필드에서 접두사를 찾을 수 있습니다.

소비자가 대기 클러스터에서 처리를 안정적으로 다시 시작할 수 있도록 하려면 와일드카드 연산자를 사용하여 주제에서 데이터를 읽도록 소비자를 구성합니다.*. 예를 들어 소비자는 두 AWS 리전 .*topic1 모두에서를 사용하여를 소비해야 합니다. 이 예에는 footopic1과 같은 주제도 포함되므로 필요에 따라 와일드카드 연산자를 조정하세요.

액티브-액티브 클러스터 설정과 같이 대상 클러스터의 별도 주제에 복제된 데이터를 유지하려면 접두사 주제 이름 복제를 사용합니다. 접두사 구성의 경우 및 ReplicatorBytesInPerSec ReplicatorThroughput 모두 MSK Replicator에 의해 필터링되는 데이터가 없으므로 값이 동일합니다.

동일한 주제 이름 복제

또는 Amazon MSK Replicator를 사용하면 주제 복제가 동일한 주제 이름 복제로 설정된 복제기를 생성할 수 있습니다(콘솔에서 동일한 주제 이름 유지). 이름이 동일한 복제된 주제를 사용하면 복제된 주제를 읽도록 클라이언트를 재구성하지 않아도 됩니다.

동일한 주제 이름 복제에는 다음과 같은 이점이 있습니다.

• 무제한 복제 루프를 자동으로 방지하면서 복제 중에 동일한 주제 이름을 유지합니다.

• 클라이언트를 재구성하지 않아도 되므로 다중 클러스터 스트리밍 아키텍처를 간소화합니다.

• 액티브-패시브 아키텍처의 장애 조치 프로세스를 간소화하여 주제 이름 변경 또는 클라이언트 재구성 없이 애플리케이션이 원활하게 장애 조치할 수 있습니다.

• 데이터 집계 또는 중앙 집중식 분석을 위해 여러 MSK 클러스터의 데이터를 단일 클러스터로 통합할 수 있습니다(각 소스 클러스터에 대해 별도의 복제기 필요).

• 한 MSK 클러스터에서 다른 MSK 클러스터로의 데이터 마이그레이션을 간소화할 수 있습니다.

Amazon MSK Replicator는 Kafka 헤더를 사용하여 데이터가 시작된 주제로 다시 복제되는 것을 자동으로 방지하므로 복제 중에 무한 주기의 위험이 없습니다. MSK Replicator는 소스 클러스터 및 주제에 대한 식별자를 복제되는 각 레코드의 헤더()에 포함합니다__mskmr. 클라이언트가 복제된 데이터를 예상대로 읽을 수 있는지 확인해야 합니다.