Benennung des Themas (Präfix oder Identisch)

MSK Replicator hat zwei Modi zur Konfiguration von Themennamen: Replikation mit Präfix (Standard) oder Replikation mit identischem Themennamen.

Replikation von Themennamen mit Präfix

Standardmäßig erstellt MSK Replicator neue Themen im Zielcluster mit einem automatisch generierten Präfix, das dem Themennamen des Quell-Clusters hinzugefügt wird, z. B. <sourceKafkaClusterAlias>.topic Dadurch werden die replizierten Themen von anderen Themen im Zielcluster unterschieden und eine zirkuläre Replikation von Daten zwischen den Clustern vermieden.

MSK Replicator repliziert beispielsweise Daten in einem Thema mit dem Namen „Thema“ aus dem Quellcluster in ein neues Thema im Zielcluster namens. <sourceKafkaClusterAlias>.topic Sie finden das Präfix unter dem sourceKafkaClusterAlias-Feld mithilfe der DescribeReplicator API oder der Replicator-Detailseite in der MSK-Konsole.

Um sicherzustellen, dass Ihre Kunden die Verarbeitung zuverlässig vom Standby-Cluster aus wieder aufnehmen können, konfigurieren Sie Ihre Verbraucher so, dass sie Daten aus den Themen mithilfe eines Platzhalteroperators lesen. .* Ihre Verbraucher müssten beispielsweise .*topic1 in beiden AWS Regionen konsumieren. Dieses Beispiel würde auch ein Thema wie enthaltenfootopic1, passen Sie also den Platzhalteroperator an Ihre Bedürfnisse an.

Verwenden Sie die Replikation von Themennamen mit Präfix, wenn Sie replizierte Daten in einem separaten Thema im Zielcluster speichern möchten, z. B. für Active-Active-Cluster-Setups. Bei der Konfiguration mit Präfix haben beide ReplicatorBytesInPerSec den gleichen Wert, da keine Daten von MSK Replicator gefiltert werden. ReplicatorThroughput

Replikation mit identischem Themennamen

Alternativ können Sie mit Amazon MSK Replicator einen Replikator erstellen, bei dem die Themenreplikation auf Replikation mit identischem Themennamen gesetzt ist (denselben Themennamen in der Konsole beibehalten). Bei replizierten Themen mit identischem Namen können Sie vermeiden, dass Clients neu konfiguriert werden, um aus replizierten Themen zu lesen.

Die Replikation identischer Themennamen bietet die folgenden Vorteile:

• Behält während der Replikation identische Themennamen bei und vermeidet gleichzeitig automatisch unendliche Replikationsschleifen.

• Vereinfacht Streaming-Architekturen mit mehreren Clustern, da Sie die Neukonfiguration von Clients vermeiden können.

• Optimiert den Failover-Prozess für Aktiv-Passiv-Architekturen und ermöglicht so ein nahtloses Failover von Anwendungen, ohne dass Themennamen geändert oder Clients neu konfiguriert werden müssen.

• Kann Daten aus mehreren MSK-Clustern zur Datenaggregation oder zentralen Analyse in einem einzigen Cluster konsolidieren (erfordert separate Replikatoren für jeden Quellcluster).

• Kann die Datenmigration von einem MSK-Cluster zu einem anderen rationalisieren.

Amazon MSK Replicator verwendet Kafka-Header, um automatisch zu verhindern, dass Daten zurück zu dem Thema repliziert werden, aus dem sie stammen, wodurch das Risiko unendlicher Zyklen während der Replikation vermieden wird. MSK Replicator bettet Bezeichner für Quell-Cluster und Thema in die Kopfzeile jedes Datensatzes ein, der repliziert wird (). __mskmr Sie sollten sicherstellen, dass Ihre Clients replizierte Daten erwartungsgemäß lesen können.