Come funzionano i flussi di change data capture (CDC) in Amazon Keyspaces

Questa sezione fornisce una panoramica di come funzionano i flussi di change data capture (CDC) in Amazon Keyspaces.

Amazon Keyspaces change data capture (CDC) registra una sequenza ordinata di modifiche a livello di riga nelle tabelle di Amazon Keyspaces e archivia queste informazioni in un registro chiamato stream per un massimo di 24 ore. Ogni modifica a livello di riga genera un nuovo record CDC che contiene le informazioni della colonna chiave principale e gli stati «prima» e «dopo» della riga, comprese tutte le colonne. Le applicazioni possono accedere allo stream e visualizzare le mutazioni quasi in tempo reale.

Quando abiliti CDC sulla tua tabella, Amazon Keyspaces crea un nuovo flusso CDC e inizia a raccogliere informazioni su ogni modifica nella tabella. Lo stream CDC ha un Amazon Resource Name (ARN) con il seguente formato:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Puoi selezionare il tipo di informazioni o il tipo di visualizzazione che lo stream CDC raccoglie per ogni record quando abiliti per la prima volta lo stream CDC. Non puoi modificare il tipo di visualizzazione dello stream in seguito. Amazon Keyspaces supporta i seguenti tipi di visualizzazione:

• NEW_AND_OLD_IMAGES— Cattura le versioni della riga prima e dopo la mutazione. Questa è l'impostazione predefinita.

• NEW_IMAGE— Cattura la versione della riga dopo la mutazione.

• OLD_IMAGE— Cattura la versione della riga prima della mutazione.

• KEYS_ONLY— Cattura le chiavi di partizione e di clustering della riga che è stata modificata.

Ogni stream CDC è composto da record. Ogni record rappresenta una modifica di una singola riga in una tabella Amazon Keyspaces. I record sono organizzati logicamente in gruppi noti come shard. Questi gruppi sono organizzati logicamente per intervalli della chiave primaria (combinazione di chiavi di partizione, intervalli di chiavi di clustering) e sono un costrutto interno di Amazon Keyspaces. Ogni frammento funge da contenitore per più record e contiene le informazioni necessarie per l'accesso e l'iterazione di questi record.

A ogni record CDC viene assegnato un numero di sequenza, che riflette l'ordine in cui il record è stato pubblicato all'interno dello shard. È garantito che il numero di sequenza sia crescente e unico all'interno di ogni frammento.

Amazon Keyspaces crea ed elimina automaticamente gli shard. In base ai carichi di traffico, Amazon Keyspaces può anche dividere o unire gli shard nel tempo. Ad esempio, Amazon Keyspaces può dividere uno shard in più nuovi shard o unire gli shard in un nuovo shard singolo. Amazon Keyspaces APIs pubblica le informazioni sullo shard e sul flusso CDC per consentire alle applicazioni che utilizzano di elaborare i record nell'ordine corretto accedendo all'intero diagramma di derivazione di uno shard.

Amazon Keyspaces CDC si basa sui seguenti principi su cui puoi fare affidamento durante la creazione della tua applicazione:

• Ogni record di mutazione a livello di riga appare esattamente una volta nello stream CDC.

• Quando si consumano i frammenti in ordine di discendenza, ogni record di mutazione a livello di riga appare nella stessa sequenza dell'ordine di mutazione effettivo sulla chiave primaria.

Come funziona la conservazione dei dati per gli stream CDC in Amazon Keyspaces

Amazon Keyspaces conserva i record nello stream CDC per un periodo di 24 ore. Non puoi modificare il periodo di conservazione. Se disabiliti CDC su una tabella, i dati nello stream continuano a essere leggibili per 24 ore. Trascorso questo periodo, i dati scadono e i record vengono eliminati automaticamente.

Come funziona la scadenza dei dati Time to Live (TTL) con i flussi CDC in Amazon Keyspaces

Amazon Keyspaces mostra l'ora di scadenza a livello e a column/cell livello di riga in un campo di metadati chiamato expirationTime nei record delle modifiche CDC. Quando Amazon Keyspaces TTL rileva la scadenza di una cella, CDC crea un nuovo record di modifica che mostra TTL come origine della modifica. Per ulteriori informazioni sul TTL, consulta. Fai scadere i dati con Time to Live (TTL) per Amazon Keyspaces (per Apache Cassandra)

Come funzionano le operazioni in batch per gli stream CDC in Amazon Keyspaces

Le operazioni in batch sono suddivise internamente in singole modifiche a livello di riga. Amazon Keyspaces conserva tutti i record all'interno dei flussi CDC a livello di riga, anche se la modifica è avvenuta in un'operazione in batch. Amazon Keyspaces mantiene l'ordine dei record all'interno del flusso CDC nella stessa sequenza dell'ordine di mutazione che si è verificato a livello di riga o sulla chiave primaria.

Come funzionano le colonne statiche nei flussi CDC in Amazon Keyspaces

I valori statici delle colonne sono condivisi tra tutte le righe di una partizione in Cassandra. A causa di questo comportamento, Amazon Keyspaces acquisisce tutti gli aggiornamenti di una colonna statica come record separato nel flusso CDC. I seguenti esempi riassumono il comportamento delle mutazioni statiche delle colonne:

• Quando viene aggiornata solo la colonna statica, lo stream CDC contiene una modifica di riga per la colonna statica come unica colonna della riga.

• Quando una riga viene aggiornata senza alcuna modifica alla colonna statica, lo stream CDC contiene una modifica di riga che contiene tutte le colonne tranne la colonna statica.

• Quando una riga viene aggiornata insieme alla colonna statica, lo stream CDC contiene due modifiche di riga separate, una per la colonna statica e l'altra per il resto della riga.

Come funziona la crittografia a riposo per gli stream CDC in Amazon Keyspaces

Per crittografare i dati inattivi nel log ordinato dal CDC, Amazon Keyspaces utilizza la stessa chiave di crittografia già utilizzata per la tabella. Per ulteriori informazioni sulla crittografia dei dati inattivi, consultare Crittografia inattiva in Amazon Keyspaces.

Come funziona la replica multiregionale per i flussi CDC in Amazon Keyspaces

Puoi abilitare e disabilitare i flussi CDC per le singole repliche di una tabella multiregionale utilizzando l'API o il comando CQL. update-table ALTER TABLE A causa della replica asincrona e della risoluzione dei conflitti, i flussi CDC per le tabelle multiregionali non sono coerenti tra loro. Regioni AWS Pertanto, i record che Amazon Keyspaces acquisisce nello stream potrebbero apparire in un ordine diverso in diverse regioni.

Per ulteriori informazioni sulla replica in più regioni, consulta. Replica multiregionale per Amazon Keyspaces (per Apache Cassandra)

Stream CDC e integrazione con i servizi AWS

Come utilizzare gli endpoint VPC per flussi CDC in Amazon Keyspaces

Puoi utilizzare gli endpoint VPC per accedere ai flussi CDC di Amazon Keyspaces. Per informazioni su come creare e accedere agli endpoint VPC per gli stream, consulta. Utilizzo dei flussi CDC di Amazon Keyspaces con endpoint VPC di interfaccia

Come CloudWatch funziona il monitoraggio con per gli stream CDC in Amazon Keyspaces

Puoi utilizzare Amazon CloudWatch per monitorare le chiamate API effettuate all'endpoint CDC di Amazon Keyspaces. Per ulteriori informazioni sui parametri disponibili, consulta. Metriche per Amazon Keyspaces change data capture (CDC)

Come CloudTrail funziona la registrazione con per i flussi CDC in Amazon Keyspaces

Amazon Keyspaces CDC è integrato con AWS CloudTrail un servizio che fornisce una registrazione delle azioni intraprese da un utente, un ruolo o un servizio AWS in Amazon Keyspaces. CloudTrail acquisisce le chiamate API Data Definition Language (DDL) e le chiamate API Data Manipulation Language (DML) per Amazon Keyspaces come eventi. Le chiamate acquisite includono chiamate dalla console Amazon Keyspaces e chiamate programmatiche alle operazioni dell'API Amazon Keyspaces.

Per ulteriori informazioni sugli eventi CDC acquisiti da, consulta. CloudTrail Registrazione delle chiamate API Amazon Keyspaces con AWS CloudTrail

Come funziona il tagging per gli stream CDC in Amazon Keyspaces

Gli stream CDC di Amazon Keyspaces sono una risorsa etichettabile. Puoi taggare uno stream quando crei una tabella a livello di codice utilizzando CQL, l'SDK o il. AWS AWS CLI Puoi anche taggare stream esistenti, eliminare tag o visualizzare i tag di uno stream. Per ulteriori informazioni, consulta Aggiungi tag a keyspace, tabelle e stream in Amazon Keyspaces.