View a markdown version of this page

Nomenclatura do tópico (prefixada versus idêntica) - Amazon Managed Streaming for Apache Kafka

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Nomenclatura do tópico (prefixada versus idêntica)

O Replicador do MSK tem dois modos de configuração de nomes de tópicos: Prefixado (padrão) ou replicação de nomes de tópicos Idênticos.

Replicação de nomes de tópicos prefixados

Por padrão, o Replicador do MSK cria tópicos no cluster de destino com um prefixo gerado automaticamente adicionado ao nome do tópico do cluster de destino, como <sourceKafkaClusterAlias>.topic. Isso distingue os tópicos replicados de outros no cluster de destino e evita a replicação circular de dados entre os clusters.

Por exemplo, o MSK Replicator replica dados em um tópico chamado “tópico” do cluster de origem para um novo tópico no cluster de destino chamado. <sourceKafkaClusterAlias>.topic Você pode encontrar o prefixo no campo sourceKafkaClusterAlias usando a DescribeReplicator API ou a página de detalhes do Replicator no console MSK.

Para garantir que seus consumidores possam reiniciar o processamento de forma confiável a partir do cluster em espera, configure seus consumidores para ler os dados dos tópicos usando um operador curinga. .* Por exemplo, seus consumidores precisariam consumir usando .*topic1 em ambas as AWS regiões. Esse exemplo também pode incluir um tópico como footopic1, portanto, ajuste o operador curinga de acordo com suas necessidades.

Use a replicação de nome de tópico prefixado quando quiser manter os dados replicados em um tópico separado no cluster de destino, como para configurações de cluster ativo-ativo. Para configuração prefixada, ambas ReplicatorBytesInPerSec ReplicatorThroughput terão o mesmo valor, pois nenhum dado será filtrado pelo MSK Replicator.

Replicação de nomes de tópicos idênticos

Como alternativa, o Amazon MSK Replicator permite que você crie um replicador com replicação de tópicos definida como Replicação de nomes de tópicos idênticos (mantenha o mesmo nome de tópico no console). Tópicos replicados com nomes idênticos permitem que você evite reconfigurar clientes para ler tópicos replicados.

A replicação de nomes de tópicos idênticos tem as seguintes vantagens:

  • Mantém nomes de tópicos idênticos durante a replicação, evitando automaticamente loops de replicação infinitos.

  • Simplifica as arquiteturas de streaming de vários clusters, pois você pode evitar a reconfiguração de clientes.

  • Simplifica o processo de failover para arquiteturas ativo-passivas, permitindo que os aplicativos façam o failover sem problemas, sem alterações no nome do tópico ou reconfigurações do cliente.

  • Pode consolidar dados de vários clusters MSK em um único cluster para agregação de dados ou análise centralizada (requer replicadores separados para cada cluster de origem).

  • Pode simplificar a migração de dados de um cluster MSK para outro.

O Replicador do Amazon MSK usa cabeçalhos do Kafka para evitar automaticamente que os dados sejam replicados de volta ao tópico de origem, eliminando o risco de ciclos infinitos durante a replicação. O MSK Replicator incorpora identificadores para cluster e tópico de origem no cabeçalho de cada registro que está sendo replicado (). __mskmr Você deve verificar se os clientes conseguem ler os dados replicados conforme o esperado.