View a markdown version of this page

主题命名(前缀与相同) - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

主题命名(前缀与相同)

MSK 复制器有两种主题名称配置模式:带前缀(默认)或相同主题名称复制。

带前缀主题名称复制

默认情况下,MSK 复制器在目标集群中创建新主题,并在源集群主题名称中添加自动生成的前缀,例如 <sourceKafkaClusterAlias>.topic。这样可以将复制的主题与目标集群中的其他主题区分开来,并避免在集群之间循环复制数据。

例如,MSK Replicator 将名为 “主题” 的主题中的数据从源集群复制到目标集群中名为的新主题。<sourceKafkaClusterAlias>.topic您可以使用 DescribeReplicator API 或 MSK 控制台上的 Replicator 详细信息页面在 “sourceKafkaCluster别名” 字段下找到前缀。

为确保您的使用者能够可靠地从备用集群重新启动处理,请将您的使用者配置为使用通配符运算.*符从主题中读取数据。例如,您的消费者需要.*topic1在两个 AWS 地区使用消费。此示例还将包括 footopic1 之类的主题,因此请根据需要调整通配符运算符。

如果要将复制的数据保留在目标集群的单独主题中(例如主动-主动集群设置),请使用带前缀的主题名称复制。对于前缀配置,ReplicatorBytesInPerSecReplicatorThroughput的值相同,因为 MSK Replicator 不会筛选任何数据。

相同主题名称复制

作为替代方案,Amazon MSK Replicator 允许您创建将主题复制设置为相同主题名称复制的复制器(在控制台中保留相同的主题名称)。同名的复制主题可以避免避免重新配置客户端来读取复制的主题。

相同的主题名称复制具有以下优点:

  • 在复制过程中保留相同的主题名称,同时自动避免无限的复制循环。

  • 简化了多集群流式传输架构,因为您可以避免重新配置客户端。

  • 简化了主动-被动架构的故障转移过程,使应用程序无需更改主题名称或重新配置客户机即可实现无缝故障转移。

  • 可以将来自多个 MSK 集群的数据整合到单个集群中,用于数据聚合或集中分析(每个源集群需要单独的 Replicator)。

  • 可以简化从一个 MSK 集群到另一个 MSK 集群的数据迁移。

Amazon MSK 复制器使用 Kafka 标头自动避免将数据复制回其来源主题,从而消除复制期间无限循环的风险。MSK Replicator 将源集群和主题的标识符嵌入到要复制的每条记录的标题中()。__mskmr您应该验证您的客户端是否能够按预期读取复制的数据。