Cara kerja stream change data capture (CDC) di Amazon Keyspaces

Bagian ini memberikan gambaran umum tentang cara kerja aliran change data capture (CDC) di Amazon Keyspaces.

Amazon Keyspaces change data capture (CDC) merekam urutan urutan modifikasi tingkat baris di tabel Amazon Keyspaces dan menyimpan informasi ini dalam log yang disebut stream hingga 24 jam. Setiap modifikasi tingkat baris menghasilkan catatan CDC baru yang menyimpan informasi kolom kunci utama serta status “sebelum” dan “setelah” baris termasuk semua kolom. Aplikasi dapat mengakses aliran dan melihat mutasi dalam waktu nyaris nyata.

Saat Anda mengaktifkan CDC di meja Anda, Amazon Keyspaces membuat aliran CDC baru dan mulai menangkap informasi tentang setiap modifikasi dalam tabel. Aliran CDC memiliki Nama Sumber Daya Amazon (ARN) dengan format berikut:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Anda dapat memilih jenis informasi atau jenis tampilan yang dikumpulkan oleh aliran CDC untuk setiap rekaman saat pertama kali mengaktifkan aliran CDC. Anda tidak dapat mengubah jenis tampilan aliran sesudahnya. Amazon Keyspaces mendukung jenis tampilan berikut:

• NEW_AND_OLD_IMAGES— Menangkap versi baris sebelum dan sesudah mutasi. Ini adalah opsi default.

• NEW_IMAGE— Menangkap versi baris setelah mutasi.

• OLD_IMAGE— Menangkap versi baris sebelum mutasi.

• KEYS_ONLY— Menangkap kunci partisi dan pengelompokan baris yang bermutasi.

Setiap aliran CDC terdiri dari catatan. Setiap catatan mewakili modifikasi baris tunggal dalam tabel Amazon Keyspaces. Catatan secara logis diatur ke dalam kelompok-kelompok yang dikenal sebagai pecahan. Kelompok-kelompok ini secara logis diatur oleh rentang kunci utama (kombinasi kunci partisi, rentang kunci pengelompokan) dan merupakan konstruksi internal Amazon Keyspaces. Setiap pecahan bertindak sebagai wadah untuk beberapa catatan, dan berisi informasi yang diperlukan untuk mengakses dan mengulang melalui catatan ini.

Setiap catatan CDC diberi nomor urut, yang mencerminkan urutan catatan diterbitkan dalam pecahan. Nomor urut dijamin akan meningkat dan unik dalam setiap pecahan.

Amazon Keyspaces membuat dan menghapus pecahan secara otomatis. Berdasarkan beban lalu lintas Amazon Keyspaces juga dapat membagi atau menggabungkan pecahan dari waktu ke waktu. Misalnya, Amazon Keyspaces dapat membagi satu pecahan menjadi beberapa pecahan baru atau menggabungkan pecahan menjadi pecahan tunggal baru. Amazon Keyspaces APIs mempublikasikan informasi aliran shard dan CDC untuk memungkinkan aplikasi yang mengkonsumsi memproses catatan dalam urutan yang benar dengan mengakses seluruh grafik garis keturunan pecahan.

Amazon Keyspaces CDC didasarkan pada prinsip-prinsip berikut yang dapat Anda andalkan saat membuat aplikasi:

• Setiap catatan mutasi tingkat baris muncul tepat sekali dalam aliran CDC.

• Saat Anda mengkonsumsi pecahan dalam urutan garis keturunan, setiap catatan mutasi tingkat baris muncul dalam urutan yang sama dengan urutan mutasi aktual pada kunci utama.

Cara kerja retensi data untuk aliran CDC di Amazon Keyspaces

Amazon Keyspaces menyimpan catatan dalam aliran CDC selama 24 jam. Anda tidak dapat mengubah periode retensi. Jika Anda menonaktifkan CDC di atas meja, data dalam aliran terus dapat dibaca selama 24 jam. Setelah waktu ini, data kedaluwarsa dan catatan dihapus secara otomatis.

Cara kedaluwarsa data Time to Live (TTL) bekerja dengan aliran CDC di Amazon Keyspaces

Amazon Keyspaces menunjukkan waktu kedaluwarsa pada column/cell tingkat serta tingkat baris dalam bidang metadata yang disebut expirationTime dalam catatan perubahan CDC. Saat Amazon Keyspaces TTL mendeteksi kedaluwarsa sel, CDC membuat catatan perubahan baru yang menunjukkan TTL sebagai asal perubahan. Untuk informasi lebih lanjut tentang TTL, lihatData kedaluwarsa dengan Time to Live (TTL) untuk Amazon Keyspaces (untuk Apache Cassandra).

Cara kerja operasi batch untuk aliran CDC di Amazon Keyspaces

Operasi Batch secara internal dibagi menjadi modifikasi tingkat baris individu. Amazon Keyspaces menyimpan semua catatan dalam aliran CDC pada tingkat baris, bahkan jika modifikasi terjadi dalam operasi batch. Amazon Keyspaces mempertahankan urutan catatan dalam aliran CDC dalam urutan yang sama dengan urutan mutasi yang terjadi pada tingkat baris atau pada kunci utama.

Cara kerja kolom statis di aliran CDC di Amazon Keyspaces

Nilai kolom statis dibagi di antara semua baris dalam partisi di Cassandra. Karena perilaku ini, Amazon Keyspaces menangkap pembaruan apa pun ke kolom statis sebagai catatan terpisah dalam aliran CDC. Contoh berikut merangkum perilaku mutasi kolom statis:

• Ketika hanya kolom statis diperbarui, aliran CDC berisi modifikasi baris untuk kolom statis sebagai satu-satunya kolom di baris.

• Ketika baris diperbarui tanpa perubahan pada kolom statis, aliran CDC berisi modifikasi baris yang berisi semua kolom kecuali kolom statis.

• Ketika baris diperbarui bersama dengan kolom statis, aliran CDC berisi dua modifikasi baris terpisah, satu untuk kolom statis dan yang lainnya untuk sisa baris.

Cara kerja enkripsi saat istirahat untuk aliran CDC di Amazon Keyspaces

Untuk mengenkripsi data saat istirahat di log yang dipesan CDC, Amazon Keyspaces menggunakan kunci enkripsi yang sama yang sudah digunakan untuk tabel. Untuk informasi selengkapnya tentang enkripsi diam, lihat Enkripsi saat istirahat di Amazon Keyspaces.

Cara kerja replikasi multi-wilayah untuk aliran CDC di Amazon Keyspaces

Anda dapat mengaktifkan dan menonaktifkan aliran CDC untuk setiap replika tabel Multi-wilayah dengan menggunakan update-table API atau perintah CQL. ALTER TABLE Karena replikasi asinkron dan resolusi konflik, aliran CDC untuk tabel Multi-wilayah tidak konsisten. Wilayah AWS Oleh karena itu, catatan yang ditangkap Amazon Keyspaces dalam aliran mungkin muncul dalam urutan yang berbeda di Wilayah yang berbeda.

Untuk informasi selengkapnya tentang replikasi Multi-wilayah, lihat. Replikasi Multi-Wilayah untuk Amazon Keyspaces (untuk Apache Cassandra)

Streaming CDC dan integrasi dengan layanan AWS

Cara bekerja dengan titik akhir VPC untuk aliran CDC di Amazon Keyspaces

Anda dapat menggunakan titik akhir VPC untuk mengakses aliran CDC Amazon Keyspaces. Untuk informasi tentang cara membuat dan mengakses titik akhir VPC untuk aliran, lihat. Menggunakan Amazon Keyspaces CDC stream dengan antarmuka VPC endpoint

Cara CloudWatch kerja pemantauan dengan streaming CDC di Amazon Keyspaces

Anda dapat menggunakan Amazon CloudWatch untuk memantau panggilan API yang dilakukan ke titik akhir CDC Amazon Keyspaces. Untuk informasi selengkapnya tentang metrik yang tersedia, lihatMetrik untuk Amazon Keyspaces mengubah pengambilan data (CDC).

Cara CloudTrail kerja logging dengan streaming CDC di Amazon Keyspaces

Amazon Keyspaces CDC terintegrasi dengan AWS CloudTrail, layanan yang menyediakan catatan tindakan yang diambil oleh pengguna, peran, atau layanan AWS di Amazon Keyspaces. CloudTrail menangkap panggilan API Data Definition Language (DDL) dan panggilan API Data Manipulation Language (DML/Data Manipulation Language) untuk Amazon Keyspaces sebagai event. Panggilan yang diambil termasuk panggilan dari konsol Amazon Keyspaces dan panggilan terprogram ke operasi Amazon Keyspaces API.

Untuk informasi lebih lanjut tentang peristiwa CDC yang ditangkap oleh CloudTrail, lihatMencatat panggilan API Amazon Keyspaces dengan AWS CloudTrail.

Cara kerja penandaan untuk aliran CDC di Amazon Keyspaces

Amazon Keyspaces CDC stream adalah sumber daya yang dapat diberi tag. Anda dapat menandai aliran saat membuat tabel secara terprogram menggunakan CQL, AWS SDK, atau file. AWS CLI Anda juga dapat menandai aliran yang ada, menghapus tag, atau melihat tag aliran. Lihat informasi yang lebih lengkap di Tandai ruang kunci, tabel, dan aliran di Amazon Keyspaces.