Mengubah pengaturan penyetelan pemrosesan

Pengaturan berikut menentukan cara AWS DMS menangani perubahan untuk tabel target selama pengambilan data perubahan (CDC). Beberapa pengaturan ini bergantung pada nilai parameter metadata target BatchApplyEnabled. Untuk informasi lebih lanjut tentang parameter BatchApplyEnabled, lihat Menargetkan pengaturan tugas metadata. Untuk informasi tentang cara menggunakan file konfigurasi tugas untuk mengatur setelan tugas, lihatContoh pengaturan tugas.

Pengaturan penyetelan pemrosesan yang benar mencakup hal berikut:

Pengaturan berikut hanya berlaku bila parameter metadata target BatchApplyEnabled diatur ke true.

• BatchApplyPreserveTransaction – Jika diatur ke true, integritas transaksional dipertahankan dan batch dijamin berisi semua perubahan dalam transaksi dari sumber. Nilai default-nya adalah true. Pengaturan ini hanya berlaku untuk Oracle target endpoint.

  Jika diatur ke false, dapat ada penyimpangan sementara dalam integritas transaksional untuk meningkatkan performa. Tidak ada jaminan bahwa semua perubahan dalam transaksi dari sumber diterapkan ke target dalam batch tunggal.

  Secara default, AWS DMS proses berubah dalam mode transaksional, yang menjaga integritas transaksional. Jika Anda mampu penyimpangan sementara dalam integritas transaksional, Anda dapat menggunakan batch dioptimalkan menerapkan pilihan sebagai gantinya. Opsi ini secara efisien mengelompokkan transaksi dan menerapkannya dalam batch untuk tujuan efisiensi. Menggunakan batch dioptimalkan menerapkan opsi hampir selalu melanggar referensial integritas kendala. Jadi kami sarankan Anda menonaktifkan kendala ini selama proses migrasi dan mengaktifkannya lagi sebagai bagian dari proses cutover.

• BatchApplyTimeoutMin— Menetapkan jumlah waktu minimum dalam detik yang AWS DMS menunggu di antara setiap aplikasi perubahan batch. Nilai default adalah 1.

• BatchApplyTimeoutMax— Mengatur jumlah waktu maksimum dalam detik yang AWS DMS menunggu di antara setiap aplikasi perubahan batch sebelum waktu habis. Nilai default-nya adalah 30.

• BatchApplyMemoryLimit – Menetapkan jumlah maksimum memori dalam (MB) untuk digunakan untuk pra-pemrosesan di Mode penerapan yang dioptimalkan batch. Nilai default adalah 500.

• BatchSplitSize – Mengatur jumlah maksimum perubahan yang diterapkan dalam satu batch. Nilai default 0, yang berarti tidak ada batas diterapkan.

Pengaturan berikut hanya berlaku bila parameter metadata target BatchApplyEnabled diatur ke false.

• MinTransactionSize – Menetapkan jumlah minimum perubahan untuk dimasukkan dalam setiap transaksi. Nilai default adalah 1000.

• CommitTimeout— Menetapkan waktu maksimum dalam hitungan detik AWS DMS untuk mengumpulkan transaksi dalam batch sebelum menyatakan batas waktu. Nilai default adalah 1.

Untuk replikasi dua arah, pengaturan berikut hanya berlaku ketika parameter metadata target disetel ke. BatchApplyEnabled false

• LoopbackPreventionSettings – Pengaturan ini memberikan pencegahan loopback untuk setiap tugas replikasi yang sedang berlangsung dalam setiap pasangan tugas yang terlibat dalam replikasi dua arah. Pencegahan Loopback mencegah perubahan identik diterapkan di kedua arah replikasi dua arah, yang dapat merusak data. Untuk informasi selengkapnya tentang replikasi dua arah, lihat Melakukan replikasi dua arah.

AWS DMS upaya untuk menyimpan data transaksi dalam memori sampai transaksi sepenuhnya berkomitmen pada sumber, target, atau keduanya. Namun, transaksi yang lebih besar dari memori dialokasikan atau yang tidak berkomitmen dalam batas waktu tertentu ditulis ke disk.

Pengaturan berikut berlaku untuk mengubah penyetelan pemrosesan terlepas dari perubahan mode pengolahan.

• MemoryLimitTotal – Menetapkan ukuran maksimum (dalam MB) yang dapat ditempati semua transaksi dalam memori sebelum ditulis ke disk. Nilai default adalah 1024.

• MemoryKeepTime – Mengatur waktu maksimum dalam detik di mana setiap transaksi dapat tinggal dalam memori sebelum ditulis ke disk. Durasi dihitung dari waktu yang AWS DMS mulai menangkap transaksi. Nilai defaultnya adalah 60.

• StatementCacheSize – Menetapkan jumlah maksimum pernyataan yang disiapkan untuk disimpan di server untuk dieksekusi di masa depan ketika menerapkan perubahan ke target. Nilai default adalah 50. Nilai maksimumnya adalah 200 tahun.

Berikut ini adalah contoh bagaimana pengaturan tugas yang menangani Change Processing Tuning muncul dalam file JSON pengaturan tugas:

"ChangeProcessingTuning": {
        "BatchApplyPreserveTransaction": true,
        "BatchApplyTimeoutMin": 1,
        "BatchApplyTimeoutMax": 30,
        "BatchApplyMemoryLimit": 500,
        "BatchSplitSize": 0,
        "MinTransactionSize": 1000,
        "CommitTimeout": 1,
        "MemoryLimitTotal": 1024,
        "MemoryKeepTime": 60,
        "StatementCacheSize": 50
}                   
                

Untuk mengontrol frekuensi menulis ke target Amazon S3 selama tugas replikasi data, Anda dapat mengonfigurasi atribut koneksi tambahan cdcMaxBatchInterval dan cdcMinFileSize. Hal ini dapat menghasilkan performa yang lebih baik ketika menganalisis data tanpa operasi overhead tambahan. Untuk informasi selengkapnya, lihat Pengaturan titik akhir saat menggunakan Amazon S3 sebagai target untuk AWS DMS.