As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Migre um cluster Apache Kafka local para a Amazon usando MSK MirrorMaker
Criado por Han Zhang (AWS) e Tanner Pratt () AWS
Ambiente: PoC ou piloto | Origem: on-premises ou cluster autogerenciado do Apache Kafka | Alvo: Amazon Managed Streaming para Apache Kafka (Amazon) MSK |
Tipo R: redefinir a plataforma | Workload: código aberto; todas as outras workloads | Tecnologias: análise; big data; migração |
AWSserviços: Amazon MSK |
Resumo
Esse padrão fornece orientação para migrar um cluster Apache Kafka local, autogerenciado ou hospedado para o Amazon Managed Streaming for Apache Kafka (Amazon). MSK Você também pode usar esse padrão para migrar de um MSK cluster da Amazon para outro.
O Apache Kafka inclui o MirrorMaker recurso, que replica dados entre dois clusters do Kafka. MirrorMaker consiste em uma coleção de consumidores, que fazem parte de um grupo de consumidores. Os consumidores leem os dados dos tópicos no cluster de origem e, em seguida, passam esses dados aos produtores, que gravam os dados no cluster de destino.
A MSK documentação da Amazon contém uma visão geral de alto nível do processo de uso da MirrorMaker versão 1.0 para migrar clusters Kafka locais para a Amazon. MSK Esse padrão complementa essas informações oferecendo step-by-step instruções abrangentes para o uso da MirrorMaker versão 2.0.
Pré-requisitos e limitações
Pré-requisitos
Uma AWS conta ativa
Um cluster de origem do Kafka que é um dos seguintes:
Em um datacenter on-premises
Autogerenciado na nuvem
Hospedado por meio de um parceiro
Limitações
Para usar a MirrorMaker versão 2.0, o cluster de origem deve estar operando o Apache Kafka versão 2.4.0 ou posterior. Para versões anteriores, consulte as instruções na MSKdocumentação da Amazon para usar a MirrorMaker versão 1.0.
Versões do produto
MirrorMaker versão 2.0
Apache Kafka versão 2.4.0 ou superior. Para obter mais informações sobre as versões do Apache Kafka suportadas pela AmazonMSK, consulte Versões suportadas do Apache Kafka.
Arquitetura
Pilha de tecnologia de origem
Cluster Kafka on-premises ou autogerenciado
Pilha de tecnologias de destino
MSKCluster Amazon
Arquitetura de destino
O diagrama mostra o seguinte processo:
MirrorMaker lê os dados dos tópicos e grupos de consumidores no cluster Kafka de origem.
MirrorMaker replica os dados e as informações do consumidor para o MSK cluster de destino da Amazon.
Ferramentas
AWSserviços
O Amazon Elastic Compute Cloud (AmazonEC2) fornece capacidade de computação escalável na AWS nuvem. Você poderá iniciar quantos servidores virtuais precisar e escalá-los na vertical rapidamente.
O Amazon Managed Streaming for Apache Kafka (MSKAmazon) é um serviço totalmente gerenciado que ajuda você a criar e executar aplicativos que usam o Apache Kafka para processar dados de streaming.
A Amazon Virtual Private Cloud (AmazonVPC) ajuda você a lançar AWS recursos em uma rede virtual que você definiu. Essa rede virtual se assemelha a uma rede tradicional que você operaria em seu próprio data center, com os benefícios de usar a infraestrutura escalável do. AWS
Outras ferramentas
Apache Kafka
é uma plataforma de streaming de eventos de código aberto. Nesse padrão, você usa o MirrorMaker recurso do Kafka para realizar a migração entre clusters.
Práticas recomendadas
Você pode executá-lo MirrorMaker nos ambientes de origem ou de destino, mas é recomendável executá-lo o mais próximo possível do cluster de destino. Para obter mais informações, consulte Boas práticas: consumir do remoto, produzir ao local
Épicos
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Crie umVPC. |
| AWSadministrador de sistemas, DevOps engenheiro, administrador de nuvem |
Crie o MSK cluster da Amazon. | Crie um MSK cluster da Amazon. Para obter instruções, consulte Criação de um cluster usando o console AWS de gerenciamento ou Criação de um cluster usando AWS CLI o. Configure o cluster para usar as sub-redes VPC e que você criou anteriormente. | AWSadministrador de sistemas, DevOps engenheiro, administrador de nuvem |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Instalar MirrorMaker. |
Observação: nesse padrão, você instala MirrorMaker 2.0 como um MirrorMaker cluster dedicado em uma EC2 instância da Amazon. Essa opção é aceitável para ambientes de desenvolvimento e é a abordagem usada nesse padrão. Para obter mais informações sobre outras opções de implantação para MirrorMaker 2.0, consulte a seção Informações adicionais desse padrão. | AWSadministrador de sistemas, administrador de nuvem, DevOps engenheiro |
Especifique as informações do cluster Kafka. | Na pasta | AWSadministrador de sistemas, administrador de nuvem, DevOps engenheiro |
Começar MirrorMaker. | Digite o comando a seguir para iniciar MirrorMaker e passar o arquivo mm2.properties.
| AWSadministrador de sistemas, administrador de nuvem, DevOps engenheiro |
Monitorar o andamento. | Verifique o progresso inspecionando o intervalo entre o último deslocamento de cada tópico e o deslocamento atual do tópico que está sendo consumido. MirrorMaker Para obter instruções, consulte Monitoramento da replicação geográfica | AWSadministrador de sistemas, administrador de nuvem, DevOps engenheiro |
| Tarefa | Descrição | Habilidades necessárias |
|---|---|---|
Interrompa os aplicativos de consumo. | Interrompa todos os aplicativos de consumo que consomem dados do cluster de origem. | Desenvolvedor de aplicativos |
Inicie os aplicativos de consumo. | Altere a configuração de bootstrap dos aplicativos para apontar para o cluster de destino. Em seguida, comece a consumir no cluster de destino. | Desenvolvedor de aplicativos |
Encerre todos os produtores no cluster de origem. | Quando os aplicativos do consumidor estiverem sendo consumidos com sucesso no cluster de destino, interrompa os produtores no cluster de origem. | Desenvolvedor de aplicativos |
Iniciar os produtores no cluster de destino. | Altere a configuração dos servidores bootstrap do produtor e aponte para o cluster de destino. Aguarde MirrorMaker a conclusão do espelhamento de todos os dados do cluster de origem antes de iniciar os produtores. | Desenvolvedor de aplicativos |
Pare MirrorMaker. | Depois que os produtores mudarem para o cluster de destino, pare MirrorMaker. | AWSadministrador de sistemas, administrador de nuvem, DevOps engenheiro |
Recursos relacionados
AWSrecursos
Migração de clusters usando MirrorMaker (MSKdocumentação da Amazon)
Laboratórios de MSK migração da Amazon
(estúdio de AWS workshop)
Outros recursos
MirrorMaker 2.0
(Propostas de melhoria do Apache Kafka) Replicação geográfica: espelhamento de dados entre clusters
(documentação do Apache Kafka)
Mais informações
Esse padrão é executado na MirrorMaker versão 2.0 como um MirrorMaker cluster dedicado na AmazonEC2. Esta opção é aceitável para ambientes de desenvolvimento. Embora isso não seja discutido nesse padrão, você também pode executar a MirrorMaker versão 2.0 em um cluster do Kafka Connect. Essa opção de implantação usa uma estrutura dentro do ecossistema Kafka que melhora o dimensionamento e a manutenção. Você implanta o conector em um cluster do Kafka Connect com a configuração associada para executar o aplicativo. O conector pode ser executado no modo autônomo para desenvolvimento ou teste ou no modo distribuído para produção. Para obter mais informações, consulte Executando MirrorMaker em um cluster Connect (documentação do
