Aufgabeneinstellungen zur Datenvalidierung

Sie können sicherstellen, dass Ihre Daten korrekt von der Quelle zum Ziel migriert wurden. Wenn Sie die Validierung für eine Aufgabe aktivieren, AWS DMS beginnt der Vergleich der Quell- und Zieldaten unmittelbar nach dem vollständigen Laden einer Tabelle. Weitere Informationen zur Aufgabendatenvalidierung, deren Anforderungen, den Umfang des Datenbank-Supports und die gemeldeten Metriken finden Sie unter Datenvalidierung mit AWS DMS. Informationen zur Verwendung einer Aufgabenkonfigurationsdatei zum Festlegen von Aufgabeneinstellungen finden Sie unter Beispiel für Aufgabeneinstellungen.

Zu den Datenvalidierungseinstellungen und deren Werten gehören:

• EnableValidation – Aktiviert die Datenvalidierung bei Einstellung von „true“. Andernfalls wird die Validierung für die Aufgabe deaktiviert. Der Standardwert ist "false".

• ValidationMode – Steuert, wie DMS die Daten in der Zieltabelle anhand der Quelltabelle validiert. AWS DMS bietet diese Einstellung für künftige Erweiterungsmöglichkeiten. Derzeit ist der Standard- und einzig gültige WertROW_LEVEL. AWS DMS validiert alle Zeilen zwischen den Quell- und Zieltabellen.

• FailureMaxCount – Gibt die maximale Anzahl der Datensätze an, bei denen die Validierung fehlschlagen kann, bevor die Validierung für die Aufgabe ausgesetzt wird. Der Standardwert lautet 10.000. Wenn Sie möchten, dass die Validierung unabhängig von der Anzahl der Datensätze, bei denen die Validierung fehlgeschlagen ist, fortgesetzt wird, setzen Sie diesen Wert höher als die Anzahl der Datensätze in der Quelle.

• HandleCollationDiff – Wenn diese Option auf true gesetzt ist, werden bei der Validierung Unterschiede bei der Spaltensortierung in PostgreSQL-und Microsoft-SQL-Server-Endpunkten berücksichtigt, wenn zu vergleichende Quellen- und Zieldatensätze identifiziert werden. Andernfalls werden jegliche Unterschiede bei der Spaltensortierung für die Validierung ignoriert. Die Spaltensortierung kann die Reihenfolge der Zeilen bestimmen, was für die Datenvalidierung wichtig ist. Das Festlegen von HandleCollationDiff auf "true" behebt diese Sortierungsunterschiede automatisch und verhindert Fehlalarme bei der Datenvalidierung. Der Standardwert ist false.

• RecordFailureDelayInMinutes – Gibt die Verzögerung in Minuten an, bevor Informationen über das Fehlschlagen der Validierung gemeldet werden.

• RecordFailureDelayLimitInMinutes – Gibt die Verzögerung an, bevor Informationen über das Fehlschlagen der Validierung gemeldet werden. Normalerweise verwendet AWS DMS die Aufgabenlatenz, um die tatsächliche Verzögerung von Änderungen, die am Ziel durchgeführt werden, zu erkennen und Fehlalarme zu verhindern. Diese Einstellung überschreibt den tatsächlichen Verzögerungswert und Sie können eine größere Verzögerung festlegen, bevor Validierungsmetriken gemeldet werden. Der Standardwert lautet 0.

• RecordSuspendDelayInMinutes – Gibt die Wartezeit in Minuten an, bevor die Validierung von Tabellen aufgrund des in FailureMaxCount festgelegten Fehlerschwellenwerts ausgesetzt wird.

• SkipLobColumns— Wenn diese Option auf gesetzt isttrue, wird die Datenvalidierung für alle LOB-Spalten im Teil der Aufgabenvalidierung AWS DMS übersprungen. Der Standardwert ist false.

• TableFailureMaxCount – Gibt die maximale Anzahl der Zeilen in einer Tabelle an, bei denen die Validierung fehlschlagen kann, bevor sie für die Tabelle ausgesetzt wird. Der Standardwert lautet 1.000.

• ThreadCount— Gibt die Anzahl der Ausführungs-Threads an, die bei der Validierung AWS DMS verwendet werden. Jeder Thread wählt not-yet-validated Daten aus der Quelle und dem Ziel aus, um sie zu vergleichen und zu validieren. Der Standardwert ist 5. Wenn Sie eine ThreadCount höhere Zahl angeben, AWS DMS kann die Validierung schneller abgeschlossen werden. Allerdings führt AWS DMS dann auch mehr simultane Abfragen aus, sodass bei Quelle und Ziel mehr Ressourcen verbraucht werden.

• ValidationOnly – Wenn diese Option auf true gesetzt ist, führt die Aufgabe eine Datenvalidierung durch, ohne eine Migration oder Replikation von Daten vorzunehmen. Der Standardwert ist false. Sie können die Einstellung ValidationOnly nicht ändern, nachdem die Aufgabe erstellt wurde.

  Sie müssen TargetTablePrepModeauf DO_NOTHING (die Standardeinstellung für reine Validierungsaufgaben) und den Migrationstyp auf einen der folgenden Werte festlegen:

  • Volllast — Stellen Sie den Migrationstyp der Aufgabe in der AWS DMS Konsole auf Vorhandene Daten migrieren ein. Oder legen Sie in der AWS DMS API den Migrationstyp auf FULL-LOAD fest.

  • CDC – Legen Sie für Migrationstyp in der AWS DMS -Konsole Nur Replizieren von Datenänderungen fest. Oder legen Sie in der AWS DMS API den Migrationstyp auf CDC fest.

  Unabhängig vom ausgewählten Migrationstyp werden Daten während einer reinen Validierungsaufgabe nicht wirklich migriert oder repliziert.

  Weitere Informationen finden Sie unter Reine Validierungsaufgaben.

  Wichtig

  Die Einstellung ValidationOnly ist unveränderlich. Nach dem Erstellen einer Aufgabe kann sie für diese Aufgabe nicht mehr geändert werden.

• ValidationPartialLobSize – Gibt an, ob Sie eine teilweise Validierung für LOB-Spalten durchführen möchten, anstatt alle in der Spalte gespeicherten Daten zu validieren. Dies ist möglicherweise nützlich, wenn Sie nur einen Teil der LOB-Daten und nicht den gesamten LOB-Datensatz migrieren. Der Wert wird in KB-Einheiten angegeben. Der Standardwert ist 0. Dies bedeutet, dass AWS DMS alle LOB-Spaltendaten validiert. "ValidationPartialLobSize": 32Bedeutet beispielsweise, dass AWS DMS nur die ersten 32 KB der Spaltendaten sowohl in der Quelle als auch im Ziel validiert werden.

• PartitionSize – Gibt die Stapelgröße der Datensätze an, die für den Vergleich aus der Quelle und dem Ziel gelesen werden sollen. Der Standardwert ist 10 000.

• ValidationQueryCdcDelaySeconds – Die Zeitspanne, um die sich die erste Validierungsabfrage bei jeder CDC-Aktualisierung sowohl an der Quelle als auch am Ziel verzögert. Bei einer hohen Migrationslatenz kann diese Einstellung dazu beitragen, Ressourcenkonflikte zu reduzieren. Bei einer reinen Validierungsaufgabe werden für diese Option automatisch 180 Sekunden festgelegt. Der Standardwert ist 0.

Beispielsweise kann mit der folgenden JSON die Datenvalidierung mit der doppelten Standard-Anzahl an Threads ausgeführt werden. Außerdem kommt dies für die Unterschiede in der Reihenfolge von Datensätzen auf, die durch Unterschiede bei der Spaltensortierung in PostgreSQL-Endpunkten bedingt wurden. Auch wird eine Validierungs-Berichtverzögerung bereitgestellt, um für zusätzliche Zeit aufzukommen, die benötigt wird, um Validierungsfehler zu verarbeiten.

"ValidationSettings": {
     "EnableValidation": true,
     "ThreadCount": 10,
     "HandleCollationDiff": true,
     "RecordFailureDelayLimitInMinutes": 30
  }
            

Anmerkung

AWS DMS Verwendet für einen Oracle-Endpunkt DBMS_CRYPTO, um BLOBs zu validieren. Wenn Ihr Oracle-Endpunkt BLOBs verwendet, erteilen Sie dem Benutzerkonto, das auf den Oracle-Endpunkt zugreift, die Berechtigung execute für DBMS_CRYPTO. Führen Sie dazu die folgende Anweisung aus.

grant execute on sys.dbms_crypto to dms_endpoint_user;