Migração de dados de SQL bancos de dados Postgre com migrações de dados homogêneas em AWS DMS

Você pode usar Migração de dados homogênea para migrar um SQL banco de dados Postgre autogerenciado RDS para Postgre SQL ou Aurora Postgre. SQL AWS DMS cria um ambiente sem servidor para sua migração de dados. Para diferentes tipos de migrações de dados, AWS DMS usa diferentes ferramentas nativas de SQL banco de dados Postgre.

Para migrações de dados homogêneas do tipo Full Load, AWS DMS usa pg_dump para ler dados do seu banco de dados de origem e armazená-los no disco conectado ao ambiente sem servidor. Depois AWS DMS lê todos os seus dados de origem, ele usa pg_restore no banco de dados de destino para restaurar seus dados.

Para migrações de dados homogêneas do tipo Full load and change data capture (CDC), AWS DMS usa pg_dump para ler objetos de esquema sem dados de tabela do banco de dados de origem e armazená-los no disco conectado ao ambiente sem servidor. Em seguida, ele é usado pg_restore no banco de dados de destino para restaurar seus objetos do esquema. Depois AWS DMS conclui o pg_restore processo, ele muda automaticamente para um modelo de editor e assinante para replicação lógica com a Initial Data Synchronization opção de copiar os dados iniciais da tabela diretamente do banco de dados de origem para o banco de dados de destino e, em seguida, inicia a replicação contínua. Nesse modelo, um ou mais assinantes assinam uma ou mais publicações em um nó do publicador.

Para migrações de dados homogêneas do tipo Change data capture (CDC), AWS DMS requer o ponto de partida nativo para iniciar a replicação. Se você fornecer o ponto de partida nativo, AWS DMS captura as mudanças a partir desse ponto. Como alternativa, escolha Imediatamente nas configurações da migração de dados para capturar automaticamente o ponto de início da replicação quando a migração de dados real for iniciada.

nota

Para que uma migração CDC somente funcione corretamente, todos os esquemas e objetos do banco de dados de origem já devem estar presentes no banco de dados de destino. No entanto, o destino pode ter objetos que não estão presentes na origem.

Você pode usar o exemplo de código a seguir para obter o ponto inicial nativo em seu SQL banco de dados Postgre.

select confirmed_flush_lsn from pg_replication_slots where slot_name=‘migrate_to_target';

Essa consulta usa a pg_replication_slots visualização em seu SQL banco de dados Postgre para capturar o valor do número da sequência de log (LSN).

Depois AWS DMS define o status de sua migração SQL homogênea de dados do Postgre como Parada, Falha ou Excluída. O editor e a replicação não são removidos. Se você não quiser retomar a migração, exclua o slot de replicação e o publicador utilizando o comando a seguir.

SELECT pg_drop_replication_slot('migration_subscriber_{ARN}');
            DROP PUBLICATION publication_{ARN};

O diagrama a seguir mostra o processo de uso de migrações de dados homogêneas no AWS DMS para migrar um SQL banco de dados Postgre RDS para Postgre ou SQL Aurora Postgre. SQL

Melhores práticas para usar um SQL banco de dados Postgre como fonte para migrações de dados homogêneas

• Para acelerar a sincronização inicial de dados no lado do assinante para a FLCDC tarefa, você deve ajustar e. max_logical_replication_workers max_sync_workers_per_subscription Aumentar esses valores aumenta a velocidade de sincronização da tabela.

  • max_logical_replication_workers — Especifica o número máximo de trabalhadores de replicação lógica. Isso inclui os trabalhadores de aplicação no lado do assinante e os trabalhadores de sincronização de tabelas.

  • max_sync_workers_per_subscription — O aumento afeta max_sync_workers_per_subscription somente o número de tabelas sincronizadas em paralelo, não o número de trabalhadores por tabela.

  nota

  max_logical_replication_workersnão deve exceder max_worker_processes e max_sync_workers_per_subscription deve ser menor ou igual max_logical_replication_workers a.

• Para migrar tabelas grandes, considere dividi-las em tarefas separadas usando regras de seleção. Por exemplo, você pode dividir tabelas grandes em tarefas individuais separadas e tabelas pequenas em outra tarefa única.

• Monitore o disco e o CPU uso no lado do assinante para manter o desempenho ideal.