So funktionieren Change Data Capture (CDC) -Streams in Amazon Keyspaces

Dieser Abschnitt bietet einen Überblick darüber, wie Change Data Capture (CDC) -Streams in Amazon Keyspaces funktionieren.

Amazon Keyspaces Change Data Capture (CDC) zeichnet eine geordnete Abfolge von Änderungen auf Zeilenebene in Amazon Keyspaces-Tabellen auf und speichert diese Informationen bis zu 24 Stunden in einem Protokoll namens Stream. Jede Änderung auf Zeilenebene generiert einen neuen CDC-Datensatz, der die Informationen zur Primärschlüsselspalte sowie den Status „Vorher“ und „Nachher“ der Zeile einschließlich aller Spalten enthält. Anwendungen können auf den Stream zugreifen und die Mutationen nahezu in Echtzeit anzeigen.

Wenn Sie CDC für Ihre Tabelle aktivieren, erstellt Amazon Keyspaces einen neuen CDC-Stream und beginnt, Informationen über jede Änderung in der Tabelle zu erfassen. Der CDC-Stream hat einen Amazon-Ressourcennamen (ARN) mit dem folgenden Format:

arn:${Partition}:cassandra:{Region}:${Account}:/keyspace/${keyspaceName}/table/${tableName}/stream/${streamLabel}

Sie können den Informationstyp oder den Ansichtstyp auswählen, den der CDC-Stream für jeden Datensatz sammelt, wenn Sie den CDC-Stream zum ersten Mal aktivieren. Sie können den Ansichtstyp des Streams anschließend nicht mehr ändern. Amazon Keyspaces unterstützt die folgenden Ansichtstypen:

• NEW_AND_OLD_IMAGES— Erfasst die Versionen der Zeile vor und nach der Mutation. Dies ist die Standardeinstellung.

• NEW_IMAGE— Erfasst die Version der Zeile nach der Mutation.

• OLD_IMAGE— Erfasst die Version der Zeile vor der Mutation.

• KEYS_ONLY— Erfasst die Partitions- und Clusterschlüssel der Zeile, die mutiert wurde.

Jeder CDC-Stream besteht aus Datensätzen. Jeder Datensatz steht für eine einzelne Zeilenänderung in einer Amazon Keyspaces-Tabelle. Datensätze sind logisch in Gruppen organisiert, die als Shards bezeichnet werden. Diese Gruppen sind logisch nach Bereichen des Primärschlüssels (Kombination aus Partitionsschlüssel, Clusterschlüsselbereichen) organisiert und sind ein internes Konstrukt von Amazon Keyspaces. Jeder Shard fungiert als Container für mehrere Datensätze und enthält Informationen, die für den Zugriff auf diese Datensätze und die Iteration durch diese Datensätze erforderlich sind.

Jedem CDC-Datensatz wird eine Sequenznummer zugewiesen, die die Reihenfolge widerspiegelt, in der der Datensatz innerhalb des Shards veröffentlicht wurde. Es ist garantiert, dass die Sequenznummer zunimmt und innerhalb jedes Shards einzigartig ist.

Amazon Keyspaces erstellt und löscht Shards automatisch. Basierend auf der Traffic-Auslastung kann Amazon Keyspaces auch Shards im Laufe der Zeit aufteilen oder zusammenführen. Amazon Keyspaces kann beispielsweise einen Shard in mehrere neue Shards aufteilen oder Shards zu einem neuen einzelnen Shard zusammenführen. Amazon Keyspaces APIs veröffentlicht die Shard- und CDC-Stream-Informationen, damit verbrauchende Anwendungen Datensätze in der richtigen Reihenfolge verarbeiten können, indem sie auf das gesamte Lineage-Diagramm eines Shards zugreifen.

Amazon Keyspaces CDC basiert auf den folgenden Prinzipien, auf die Sie sich beim Erstellen Ihrer Anwendung verlassen können:

• Jeder Mutationsdatensatz auf Zeilenebene erscheint genau einmal im CDC-Stream.

• Wenn Sie Shards in der Reihenfolge ihrer Abstammung konsumieren, erscheint jeder Mutationsdatensatz auf Zeilenebene in derselben Reihenfolge wie die tatsächliche Reihenfolge der Mutationen auf dem Primärschlüssel.

So funktioniert die Datenspeicherung für CDC-Streams in Amazon Keyspaces

Amazon Keyspaces bewahrt die Datensätze im CDC-Stream für einen Zeitraum von 24 Stunden auf. Sie können die Aufbewahrungsfrist nicht ändern. Wenn Sie CDC für eine Tabelle deaktivieren, sind die Daten im Stream weiterhin 24 Stunden lang lesbar. Nach dieser Zeit laufen die Daten ab und die Datensätze werden automatisch gelöscht.

So funktioniert der Ablauf von Time to Live (TTL) -Daten mit CDC-Streams in Amazon Keyspaces

Amazon Keyspaces zeigt die Ablaufzeit sowohl auf column/cell Ebene als auch auf Zeilenebene in einem Metadatenfeld an, das expirationTime in den CDC-Änderungsdatensätzen aufgerufen wird. Wenn Amazon Keyspaces TTL den Ablauf einer Zelle feststellt, erstellt CDC einen neuen Änderungsdatensatz, der TTL als Ursprung der Änderung anzeigt. Weitere Informationen zu TTL finden Sie unter. Daten mit Time to Live (TTL) für Amazon Keyspaces (für Apache Cassandra) ablaufen lassen

So funktionieren Batch-Operationen für CDC-Streams in Amazon Keyspaces

Batch-Operationen sind intern in einzelne Änderungen auf Zeilenebene unterteilt. Amazon Keyspaces speichert alle Datensätze innerhalb von CDC-Streams auf Zeilenebene, auch wenn die Änderung in einem Batch-Vorgang erfolgte. Amazon Keyspaces behält die Reihenfolge der Datensätze innerhalb des CDC-Streams in derselben Reihenfolge bei wie die Reihenfolge der Mutationen, die auf Zeilenebene oder auf dem Primärschlüssel aufgetreten sind.

So funktionieren statische Spalten in CDC-Streams in Amazon Keyspaces

Statische Spaltenwerte werden von allen Zeilen in einer Partition in Cassandra gemeinsam genutzt. Aufgrund dieses Verhaltens erfasst Amazon Keyspaces alle Aktualisierungen einer statischen Spalte als separaten Datensatz im CDC-Stream. Die folgenden Beispiele fassen das Verhalten statischer Spaltenmutationen zusammen:

• Wenn nur die statische Spalte aktualisiert wird, enthält der CDC-Stream eine Zeilenänderung für die statische Spalte als einzige Spalte in der Zeile.

• Wenn eine Zeile aktualisiert wird, ohne dass die statische Spalte geändert wird, enthält der CDC-Stream eine Zeilenänderung, die alle Spalten außer der statischen Spalte enthält.

• Wenn eine Zeile zusammen mit der statischen Spalte aktualisiert wird, enthält der CDC-Stream zwei separate Zeilenänderungen, eine für die statische Spalte und die andere für den Rest der Zeile.

So funktioniert Verschlüsselung im Ruhezustand für CDC-Streams in Amazon Keyspaces

Um die ruhenden Daten im vom CDC georderten Protokoll zu verschlüsseln, verwendet Amazon Keyspaces denselben Verschlüsselungsschlüssel, der bereits für die Tabelle verwendet wird. Weitere Informationen zur Verschlüsselung im Ruhezustand finden Sie unter Verschlüsselung im Ruhezustand in Amazon Keyspaces.

So funktioniert die regionsübergreifende Replikation für CDC-Streams in Amazon Keyspaces

Sie können CDC-Streams für einzelne Replikate einer Tabelle mit mehreren Regionen aktivieren und deaktivieren, indem Sie entweder die API oder den update-table CQL-Befehl verwenden. ALTER TABLE Aufgrund der asynchronen Replikation und Konfliktlösung sind CDC-Streams für Tabellen mit mehreren Regionen nicht einheitlich. AWS-Regionen Daher können die Datensätze, die Amazon Keyspaces im Stream erfasst, in verschiedenen Regionen in einer anderen Reihenfolge angezeigt werden.

Weitere Informationen zur Replikation in mehreren Regionen finden Sie unter. Multi-Region-Replikation für Amazon Keyspaces (für Apache Cassandra)

CDC-Streams und Integration mit Diensten AWS

So arbeiten Sie mit VPC-Endpunkten für CDC-Streams in Amazon Keyspaces

Sie können VPC-Endpunkte verwenden, um auf Amazon Keyspaces CDC-Streams zuzugreifen. Informationen zum Erstellen und Zugreifen auf VPC-Endpunkte für Streams finden Sie unter. Verwendung von Amazon Keyspaces CDC-Streams mit Schnittstellen-VPC-Endpunkten

So CloudWatch funktioniert die Überwachung mit für CDC-Streams in Amazon Keyspaces

Sie können Amazon verwenden CloudWatch , um API-Aufrufe zu überwachen, die an den Amazon Keyspaces CDC-Endpunkt gesendet werden. Weitere Informationen zu den verfügbaren Metriken finden Sie unter. Metriken für Amazon Keyspaces Change Data Capture (CDC)

So CloudTrail funktioniert die Protokollierung mit für CDC-Streams in Amazon Keyspaces

Amazon Keyspaces CDC ist in einen Service integriert AWS CloudTrail, der eine Aufzeichnung der Aktionen eines Benutzers, einer Rolle oder eines AWS Dienstes in Amazon Keyspaces bereitstellt. CloudTrail erfasst Data Definition Language (DDL) -API-Aufrufe und Data Manipulation Language (DML) -API-Aufrufe für Amazon Keyspaces als Ereignisse. Zu den aufgezeichneten Aufrufen gehören Aufrufe von der Amazon Keyspaces-Konsole und programmatische Aufrufe der Amazon Keyspaces-API-Operationen.

Weitere Informationen zu den von erfassten CDC-Ereignissen finden Sie unter. CloudTrail Protokollieren von Amazon Keyspaces-API-Aufrufen mit AWS CloudTrail

So funktioniert das Tagging für CDC-Streams in Amazon Keyspaces

Amazon Keyspaces CDC-Streams sind eine Ressource, die mit Tags versehen werden kann. Sie können einen Stream taggen, wenn Sie eine Tabelle programmgesteuert mit CQL, dem SDK oder dem erstellen. AWS AWS CLI Sie können auch bestehende Streams taggen, Tags löschen oder Tags eines Streams anzeigen. Weitere Informationen finden Sie unter Taggen Sie Schlüsselräume, Tabellen und Streams in Amazon Keyspaces.