데이터 검증 작업 설정 - AWSDatabase Migration Service

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

데이터 검증 작업 설정

원본에서 대상으로 데이터가 정확히 마이그레이션되었는지 확인할 수 있습니다. 작업에 대해 검증을 활성화하면 AWS DMS에서는 테이블에 대해 전체 로드가 수행된 직후 소스 및 대상 데이터를 비교하기 시작합니다. 작업 데이터 검증, 요구 사항, 데이터베이스 지원 범위, 보고 대상 지표에 대한 자세한 내용은 AWSDMS 데이터 유효성 검사 단원을 참조하십시오.

데이터 검증 설정 및 값에는 다음 사항이 포함됩니다.

  • EnableValidation— true로 설정한 경우 데이터 검증을 활성화합니다. 그렇지 않으면 작업에 대한 검증은 비활성화됩니다. 기본값은 false입니다.

  • ValidationMode— DMS가 원본 테이블에 대해 대상 테이블의 데이터를 검증하는 방법을 제어합니다.AWS DMS는 향후 확장성을 위해 이 설정을 제공합니다. 현재 기본값 및 유일한 유효 값은ROW_LEVEL.AWS DMS는 소스와 대상 테이블 사이의 모든 행을 검증합니다.

  • FailureMaxCount— 작업에 대한 검증이 일시 중지되기 전에 검증에 실패할 수 있는 최대 레코드 수를 지정합니다. 기본값은 10,000입니다. 검증에 실패하는 레코드 수와 상관없이 검증을 계속하려면 이 값을 원본의 레코드 수보다 더 높게 설정합니다.

  • HandleCollationDiff— 이 옵션이true비교할 소스 및 대상 레코드 식별 시 검증은 PostgreSQL 및 SQL Server 엔드포인트의 열 기준 데이터 정렬 차이를 고려합니다. 그렇지 않은 경우 열 기준 데이터의 이러한 차이는 검증에서 무시됩니다. 열 기준 데이터 정렬은 데이터 검증에 중요한 행의 순서를 지정할 수 있습니다. HandleCollationDiff를 true로 설정하면 이러한 데이터 정렬 차이가 자동으로 해결되고 데이터 검증에서 거짓 긍정이 방지됩니다. 기본 값은 false입니다.

  • RecordFailureDelayLimitInMinutes— 검증 실패 세부 정보를 보고하기 전에 지연을 지정합니다. 일반적으로 AWS DMS는 작업 지연 시간을 사용하여 변경 사항이 대상에 이르는 실제 지연을 인식함으로써 거짓 긍정을 방지합니다. 이러한 설정을 통해 실제 지연 값이 재정의되고, 검증 지표를 보고하기 전에 지연을 더 높게 설정할 수 있습니다. 기본값은 0입니다.

  • SkipLobColumns— 이 옵션이true,AWS DMS는 테이블의 작업 유효성 검사 부분에 있는 모든 LOB 열에 대한 데이터 유효성 검사를 건너뜁니다. 기본 값은 false입니다.

  • TableFailureMaxCount— 테이블의 검증이 일시 중지되기 전에 검증에 실패할 수 있는 최대 행 수를 지정합니다. 기본값은 1000입니다.

  • ThreadCount— 에서 수행하는 실행 스레드 수를 지정합니다.AWS DMS가 유효성 검사 중에 사용하는 경우 각 스레드는 비교 및 검증할 원본과 대상에서 아직 검증되지 않은 데이터를 선택합니다. 기본값은 5입니다. ThreadCount를 높게 설정하면 AWS DMS가 검증을 더 빨리 완료할 수 있습니다. 하지만 AWS DMS는 동시 쿼리를 더 많이 실행하여 소스 및 대상에서 더 많은 리소스를 사용합니다.

  • ValidationOnly— 이 옵션이true를 선택한 경우 작업은 데이터 마이그레이션이나 복제를 수행하지 않고 데이터 검증을 미리 봅니다. 기본 값은 false입니다. 하지만ValidationOnly이 로 설정된true은 (는) 다음 사용 사례에 특히 유용합니다.

    • 유효성 검사를 사용하지 않고 별도의 전체 로드 작업에서 데이터를 마이그레이션한 후에는 다른 전체 로드를 수행하지 않고도 데이터의 유효성을 검사할 수 있습니다. 다음을 사용하여 다른 작업을 만들고 실행하십시오.ValidationOnly이 로 설정된true.

    • 전체 로드 작업 중에는 초기 로드가 완료된 후에만 검증이 시작됩니다. 그러나 별도의ValidationOnly작업을 통해 실제로 옮기기 전에 초기 검증 결과를 확인하고 실패를 해결할 수 있습니다.all데이터의. 이 방법은 모든 소스 데이터를 대상으로 마이그레이션한 후에 실패가 해결되기를 기다리는 것보다 더 효율적일 수 있습니다.

    이 옵션을 설정할 수 있으려면 작업을 설정합니다.[Migration type]to데이터 변경 사항만 복제의AWS DMS콘솔. 또는 AWS DMS API에서 마이그레이션 유형을 cdc로 설정합니다.

    참고

    ValidationOnly설정은 변경할 수 없습니다. 즉, 작업을 만든 후에는 작업을 수정할 수 없습니다.

  • ValidationPartialLobSize— 열에 저장된 모든 데이터의 유효성을 검사하는 대신 LOB 열에 대해 부분 유효성 검사를 수행할지 여부를 지정합니다. 이는 전체 LOB 데이터 세트가 아닌 LOB 데이터의 일부만 마이그레이션할 때 유용할 수 있는 기능입니다. 값은 KB 유닛입니다. 기본값은 0입니다.AWS DMS는 모든 LOB 열 데이터의 유효성을 검사합니다. 예,"ValidationPartialLobSize": 32는 것을 의미합니다.AWS DMS는 원본과 대상 모두에서 열 데이터의 첫 번째 32KB만 유효성을 검사합니다.

  • PartitionSize— 소스 및 대상 모두에서 비교하기 위해 읽을 레코드의 일괄 처리 크기를 지정합니다. 기본값은 10,000입니다.

  • ValidationQueryCdcDelaySeconds— 각 CDC 업데이트에 대해 원본과 대상 모두에서 첫 번째 유효성 검사 쿼리가 지연되는 시간입니다. 마이그레이션 대기 시간이 높을 때 리소스 경합을 줄이는 데 도움이 될 수 있습니다. 유효성 검사 전용 작업은 자동으로 이 옵션을 180초로 설정합니다. 기본값은 0입니다.

예를 들어 다음 JSON은 스레드의 기본 수를 두 배로 늘려 데이터 검증을 활성합니다. 또한 PostgreSQL 엔드포인트에서 열 기준 데이터 정렬 차이로 야기된 레코드 순서의 차이도 고려합니다. 또한 검증 실패를 처리할 추가 시간을 고려하도록 검증 보고 지연을 제공합니다.

"ValidationSettings": { "EnableValidation": true, "ThreadCount": 10, "HandleCollationDiff": true, "RecordFailureDelayLimitInMinutes": 30 }
참고

Oracle 엔드포인트의 경우, AWS DMS에서는 DBMS_CRYPTO를 사용하여 BLOB을 검증합니다. Oracle 엔드포인트에 BLOB이 사용되는 경우 Oracle 엔드포인트에 액세스하는 데 사용되는 사용자 계정에 DBMS_CRYPTO에 대한 실행 권한을 부여해야 합니다. 다음 명령문을 실행하여 이 작업을 수행합니다.

grant execute on sys.dbms_crypto to dms_endpoint_user;