Configurações da tarefa de validação de dados

É possível verificar se os dados foram migrados com precisão da origem para o destino. Se você habilitar a validação de uma tarefa, AWS DMS começará a comparar os dados de origem e de destino imediatamente após a execução de uma carga completa para uma tabela. Para obter mais informações sobre a validação de dados de tarefa, seus requisitos, o escopo do suporte a seu banco de dados e as métricas relatadas por ela, consulte AWS Validação de dados do DMS. Para obter informações sobre como utilizar um arquivo de configuração de tarefas para definir as configurações de tarefas, consulte Exemplo de configurações de tarefas.

As configurações de validação dos dados e seus valores incluem o seguinte:

• EnableValidation: ativa a validação de dados quando definida como verdadeira. Caso contrário, a validação será desabilitada para a tarefa. O valor padrão é falso.

• ValidationMode— Controla como DMS validará os dados na tabela de destino em relação à tabela de origem. AWS DMS fornece essa configuração para futura extensibilidade. Atualmente, o valor padrão e único válido éROW_LEVEL. AWS DMS valida todas as linhas entre as tabelas de origem e de destino.

• FailureMaxCount: especifica o número máximo de registros que podem falhar na validação antes que a validação seja suspensa para a tarefa. O valor padrão é 10.000. Para que a validação continue, independentemente do número de registros que fizeram com que a validação falhasse, defina essa configuração como um valor superior ao número de registros na origem.

• HandleCollationDiff— Quando essa opção é definida comotrue, a validação considera as diferenças de agrupamento de colunas nos endpoints do Postgre e SQL do SQL Microsoft Server ao identificar registros de origem e destino para comparação. Caso contrário, qualquer diferença no agrupamento de colunas será ignorada para validação. Os agrupamentos de colunas podem ditar a ordem das linhas, o que é importante para a validação dos dados. Configurar HandleCollationDiff como true resolve essas diferenças de agrupamento automaticamente e impede falsos positivos na validação dos dados. O valor padrão é false.

• RecordFailureDelayInMinutes: especifica o atraso, em minutos, antes de relatar qualquer detalhe da falha da validação.

• RecordFailureDelayLimitInMinutes: especifica o atraso antes de relatar qualquer detalhe da falha da validação. Normalmente, o AWS DMS utiliza a latência da tarefa para reconhecer o atraso real da chegada das alterações ao destino para evitar falsos positivos. Essa configuração substitui o valor de atraso real e permite que você defina um atraso maior antes de relatar qualquer métrica de validação. O valor padrão é 0.

• RecordSuspendDelayInMinutes: especifica o tempo de atraso, em minutos, antes que as tabelas sejam suspensas da validação devido ao limite de erro definido em FailureMaxCount.

• SkipLobColumns— Quando essa opção é definida comotrue, AWS DMS ignora a validação de dados para todas as LOB colunas na parte da tabela da validação da tarefa. O valor padrão é false.

• TableFailureMaxCount: especifica o número máximo de linhas em uma tabela em que uma validação pode falhar antes que a validação seja suspensa para a tabela. O valor padrão é 1,000.

• ThreadCount— Especifica o número de threads de execução AWS DMS usados durante a validação. Cada thread seleciona not-yet-validated dados da origem e do destino para comparar e validar. O valor padrão é 5. Se você ThreadCount definir um número maior, AWS DMS poderá concluir a validação mais rapidamente. No entanto, o AWS DMS executa mais consultas simultâneas que consomem mais recursos na origem e no destino.

• ValidationOnly: quando esta opção está definida como true, a tarefa executa a validação dos dados sem executar nenhuma migração ou replicação de dados. O valor padrão é false. Não é possível modificar a configuração de ValidationOnly após a tarefa ser criada.

  Você deve definir como TargetTablePrepModeDO_NOTHING(o padrão para uma tarefa somente de validação) e definir o Tipo de migração como um dos seguintes:

  • Carga total — Defina o tipo de migração da tarefa para migrar dados existentes no AWS DMS console. Ou então, AWS DMS API defina o tipo de migração como FULL -LOAD.

  • CDC— Defina o tipo de migração da tarefa para replicar alterações de dados somente no AWS DMS console. Ou, no AWS DMS API defina o tipo de migração comoCDC.

  Independentemente do tipo de migração escolhido, os dados não são realmente migrados ou replicados durante uma tarefa somente de validação.

  Para obter mais informações, consulte Tarefas somente de validação.

  Importante

  A configuração de ValidationOnly é imutável. Ela não pode ser modificada para uma tarefa após a criação dessa tarefa.

• ValidationPartialLobSize— Especifica se você deseja fazer a validação parcial das LOB colunas em vez de validar todos os dados armazenados na coluna. Isso é algo que você pode achar útil ao migrar apenas parte dos LOB dados e não todo o conjunto de LOB dados. O valor está em unidades de KB. O valor padrão é 0, o que significa que AWS DMS valida todos os dados da LOB coluna. Por exemplo, "ValidationPartialLobSize": 32 significa que valida AWS DMS somente os primeiros 32 KB dos dados da coluna na origem e no destino.

• PartitionSize: especifica o tamanho do lote de registros a serem lidos para comparação da origem e do destino. O padrão é 10.000.

• ValidationQueryCdcDelaySeconds— A quantidade de tempo em que a primeira consulta de validação fica atrasada na origem e no destino de cada CDC atualização. Isso pode ajudar a reduzir a contenção de recursos quando a latência da migração é alta. Uma tarefa somente de validação define automaticamente essa opção como 180 segundos. O padrão é 0.

Por exemplo, o seguinte JSON permite a validação de dados com o dobro do número padrão de segmentos. Também leva em conta as diferenças na ordem dos registros causadas pelas diferenças de agrupamento de colunas nos endpoints do SQL Postgre. Além disso, ele fornece um atraso nos relatórios de validação para considerar tempo adicional para processar todas as falhas de validação.

"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
            

nota

Para um endpoint Oracle, AWS DMS usa DBMS _ CRYPTO para BLOBs validar. Se seu endpoint Oracle usarBLOBs, conceda a execute permissão para DBMS _ CRYPTO à conta de usuário que acessa o endpoint Oracle. Faça isso executando a seguinte instrução.

grant execute on sys.dbms_crypto to dms_endpoint_user;