Pengaturan tugas validasi data

Anda dapat memastikan bahwa data Anda dimigrasi secara akurat dari sumber ke target. Jika Anda mengaktifkan validasi untuk tugas, AWS DMS mulailah membandingkan sumber dan data target segera setelah beban penuh dilakukan untuk tabel. Untuk informasi lebih lanjut tentang validasi data tugas, persyaratan, cakupan dukungan basis data, dan metrik yang dilaporkan, lihat Validasi data AWS DMS. Untuk informasi tentang cara menggunakan file konfigurasi tugas untuk mengatur setelan tugas, lihatContoh pengaturan tugas.

Pengaturan validasi data dan nilai-nilai mereka mencakup hal berikut:

• EnableValidation – Mengaktifkan validasi data bila diatur ke BETUL. Jika tidak, validasi dinonaktifkan untuk tugas tersebut. Nilai default-nya adalah SALAH.

• ValidationMode – Mengontrol bagaimana DMS akan memvalidasi data dalam tabel target terhadap tabel sumber. AWS DMS menyediakan pengaturan ini untuk perpanjangan di masa mendatang. Saat ini, nilai default dan satu-satunya yang valid adalahROW_LEVEL. AWS DMS memvalidasi semua baris antara tabel sumber dan target.

• FailureMaxCount – Menentukan jumlah maksimum catatan yang dapat gagal validasi sebelum validasi ditangguhkan untuk tugas tersebut. Nilai default adalah 10,000. Jika Anda ingin validasi untuk melanjutkan terlepas dari jumlah catatan yang gagal validasi, menetapkan nilai ini lebih tinggi dari jumlah catatan dalam sumber.

• HandleCollationDiff— Ketika opsi ini diatur ketrue, validasi memperhitungkan perbedaan pengumpulan kolom di PostgreSQL dan titik akhir Microsoft SQL Server saat mengidentifikasi sumber dan catatan target untuk dibandingkan. Jika tidak, perbedaan tersebut dalam pemeriksaan kolom diabaikan untuk validasi. Collations kolom dapat mendikte urutan baris, yang penting untuk validasi data. Mengatur HandleCollationDiff ke BENAR menyelesaikan perbedaan kolasi secara otomatis dan mencegah positif palsu dalam validasi data. Nilai default-nya adalah false.

• RecordFailureDelayInMinutes— Menentukan waktu tunda dalam beberapa menit sebelum melaporkan rincian kegagalan validasi.

• RecordFailureDelayLimitInMinutes – Menentukan penundaan sebelum melaporkan detail kegagalan validasi. Biasanya, AWS DMS menggunakan latensi tugas untuk mengenali penundaan aktual agar perubahan sampai ke target untuk mencegah positif palsu. Pengaturan ini mengesampingkan nilai penundaan aktual dan memungkinkan Anda mengatur penundaan yang lebih tinggi sebelum melaporkan metrik validasi apa pun. Nilai default adalah 0.

• RecordSuspendDelayInMinutes- Menentukan waktu tunda dalam beberapa menit sebelum tabel ditangguhkan dari validasi karena ambang kesalahan ditetapkan. FailureMaxCount

• SkipLobColumns— Ketika opsi ini diatur ketrue, AWS DMS lewati validasi data untuk semua kolom LOB di bagian tabel dari validasi tugas. Nilai default-nya adalah false.

• TableFailureMaxCount- Menentukan jumlah maksimum baris dalam satu tabel yang dapat gagal validasi sebelum validasi ditangguhkan untuk tabel. Nilai default adalah 1,000.

• ThreadCount— Menentukan jumlah thread eksekusi yang AWS DMS menggunakan selama validasi. Setiap thread memilih not-yet-validated data dari sumber dan target untuk membandingkan dan memvalidasi. Nilai bawaannya adalah 5. Jika Anda mengatur ThreadCount ke angka yang lebih tinggi, AWS DMS dapat menyelesaikan validasi lebih cepat. Namun, AWS DMS kemudian menjalankan kueri yang lebih simultan, mengkonsumsi lebih banyak sumber daya pada sumber dan target.

• ValidationOnly— Ketika opsi ini diatur ketrue, tugas melakukan validasi data tanpa melakukan migrasi atau replikasi data apa pun. Nilai default-nya adalah false. Anda tidak dapat mengubah ValidationOnly pengaturan setelah tugas dibuat.

  Anda harus mengatur TargetTablePrepModeke DO_NOTHING (default untuk tugas validasi saja) dan menyetel Jenis Migrasi ke salah satu dari berikut ini:

  • Full Load — Setel tugas Jenis migrasi ke Migrasi data yang ada di AWS DMS konsol. Atau, di AWS DMS API, atur jenis migrasi ke FULL-LOAD.

  • CDC — Setel tugas Jenis migrasi untuk Mereplikasi perubahan data hanya di konsol. AWS DMS Atau, di AWS DMS API, atur jenis migrasi ke CDC.

  Terlepas dari jenis migrasi yang dipilih, data sebenarnya tidak dimigrasikan atau direplikasi selama tugas validasi saja.

  Untuk informasi selengkapnya, lihat Tugas hanya validasi.

  penting

  Parameter ValidationOnly tetap. Itu tidak dapat dimodifikasi untuk tugas setelah tugas itu dibuat.

• ValidationPartialLobSize – Menentukan jika Anda ingin melakukan validasi parsial untuk kolom LOB alih-alih memvalidasi semua data yang disimpan dalam kolom. Ini adalah sesuatu yang Anda mungkin menemukan berguna ketika Anda bermigrasi hanya bagian dari data LOB dan tidak seluruh LOB data set. Nilai dalam unit KB. Nilai default-nya adalah 0, yang berarti AWS DMS memvalidasi semua data kolom LOB. Misalnya, "ValidationPartialLobSize": 32 berarti AWS DMS hanya memvalidasi 32KB pertama dari data kolom di sumber dan target.

• PartitionSize – Menentukan ukuran batch catatan untuk dibaca sebagai perbandingan dari sumber dan target. Default adalah 10.000.

• ValidationQueryCdcDelaySeconds – Jumlah waktu kueri validasi pertama tertunda pada sumber dan target untuk setiap pembaruan CDC. Hal ini dapat membantu mengurangi pertentangan sumber daya ketika latensi migrasi tinggi. Sebuah validasi hanya tugas secara otomatis menetapkan opsi ini untuk 180 detik. Defaultnya adalah 0.

Misalnya, JSON berikut memungkinkan validasi data dengan dua kali jumlah default benang. Ini juga menyumbang perbedaan dalam urutan catatan yang disebabkan oleh perbedaan pemeriksaan kolom di endpoint PostgreSQL. Selain itu, menyediakan penundaan pelaporan validasi ke akun untuk waktu tambahan untuk memproses kegagalan validasi.

"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
            

catatan

Untuk endpoint Oracle, AWS DMS gunakan DBMS_CRYPTO untuk memvalidasi BLOB. Jika endpoint Oracle Anda menggunakan BLOB, berikan execute izin untuk DBMS_CRYPTO ke akun pengguna yang mengakses endpoint Oracle. Untuk melakukan ini, jalankan pernyataan berikut.

grant execute on sys.dbms_crypto to dms_endpoint_user;