Angeben von Aufgabeneinstellungen für Aufgaben des AWS Database Migration Service

Jede Aufgabe hat Einstellungen, die entsprechend den Anforderungen Ihrer Datenbankmigration konfiguriert werden können. Sie erstellen diese Einstellungen in einer JSON Datei oder bei einigen Einstellungen können Sie die Einstellungen mithilfe der AWS DMS Konsole angeben. Informationen zur Verwendung einer Aufgabenkonfigurationsdatei zum Festlegen von Aufgabeneinstellungen finden Sie unter Beispiel für Aufgabeneinstellungen.

Es gibt mehrere Hauptarten von Aufgabeneinstellungen, wie nachfolgend aufgelistet:

Themen

• Beispiel für Aufgabeneinstellungen
• Ziel-Metadaten-Aufgabeneinstellungen
• Aufgabeneinstellungen für vollständiges Laden
• Time-Travel-Aufgabeneinstellungen
• Einstellungen für das Protokollieren von Aufgaben
• Kontrolltabellen-Aufgabeneinstellungen
• Stream-Puffer-Aufgabeneinstellungen
• Einstellungen für die Optimierung der Verarbeitung von Änderungen
• Aufgabeneinstellungen zur Datenvalidierung
• Aufgabeneinstellungen für die Bearbeitung DDL von Änderungen
• Einstellungen der Zeichenersetzungsaufgabe
• Vorher-Abbild-Aufgabeneinstellungen
• Aufgabeneinstellungen zur Fehlerbehandlung
• Speichern der Aufgabeneinstellungen

Task settings (Aufgabeneinstellungen)	Relevante Dokumentation
Erstellen eines Aufgabenbewertungsberichts Sie können einen Aufgabenbewertungsbericht erstellen, der alle nicht unterstützten Datentypen aufzeigt, die während der Migration zu Problemen führen könnten. Sie können diesen Bericht vor der Ausführung Ihrer Aufgabe ausführen, um potenzielle Probleme aufzuzeigen.	Aktivieren und Verwenden von Vormigrationsbewertungen für eine Aufgabe
Erstellen einer Aufgabe Wenn Sie eine Aufgabe erstellen, geben Sie die Quelle, das Ziel und die Replikations-Instance zusammen mit den Migrationseinstellungen an.	Erstellen einer Aufgabe
Erstellen einer fortlaufenden Replikationsaufgabe Sie können eine Aufgabe einrichten, um die fortlaufende Replikation zwischen Quelle und Ziel bereitzustellen.	Erstellen von Aufgaben für die laufende Replikation mit AWS DMS
Anwenden von Aufgabeneinstellungen Jede Aufgabe hat Einstellungen, die entsprechend den Anforderungen Ihrer Datenbankmigration konfiguriert werden können. Sie erstellen diese Einstellungen in einer JSON Datei, oder bei einigen Einstellungen können Sie die Einstellungen mithilfe der AWS DMS Konsole angeben.	Angeben von Aufgabeneinstellungen für Aufgaben des AWS Database Migration Service
Datenvalidierung Verwenden Sie die Datenüberprüfung, um die Daten in Ihrem Zieldatenspeicher mit den Daten aus Ihrem Quelldatenspeicher zu AWS DMS vergleichen.	AWS DMS-Datenvalidierung
Ändern einer Aufgabe Wenn eine Aufgabe angehalten wird, können Sie die Einstellungen für die Aufgabe ändern.	Ändern einer Aufgabe
Erneutes Laden von Tabellen während einer Aufgabe Sie können eine Tabelle während einer Aufgabe neu laden, wenn während einer Aufgabe ein Fehler auftritt.	Erneutes Laden von Tabellen während einer Aufgabe
Verwenden der Tabellenzuweisung Die Tabellenzuweisung verwendet mehrere Arten von Aufgabeneinstellungen für die Angabe der Datenquelle, des Quellschemas, der Daten und aller Transformationen, die während der Aufgabe auftreten sollten.	Auswahlregeln Auswahlregeln und Aktionen Transformationsregeln Transformationsregeln und Aktionen
Anwenden von Filtern Sie können Quellfilter verwenden, um Anzahl und Art der Datensätze zu beschränken, die von Ihrer Quelle auf Ihr Ziel übertragen werden. So können Sie beispielsweise festlegen, dass nur die am Hauptsitz ansässigen Angestellten in die Zieldatenbank übertragen werden. Sie wenden Filter auf eine Datenspalte an.	Verwenden von Quellfiltern
Überwachen einer Aufgabe Es gibt mehrere Möglichkeiten, um Informationen über die Durchführung einer Aufgabe und die von der Aufgabe verwendeten Tabellen zu erhalten.	AWS DMSAufgaben überwachen
Verwalten von Aufgabenprotokollen Sie können Task-Protokolle mit der Taste AWS DMS API oder anzeigen und löschen AWS CLI.	Anzeigen und Verwalten von AWS DMS-Aufgabenprotokollen

Beispiel für Aufgabeneinstellungen

Sie können entweder das AWS Management Console oder verwenden AWS CLI , um eine Replikationsaufgabe zu erstellen. Wenn Sie den verwenden AWS CLI, legen Sie die Task-Einstellungen fest, indem Sie eine JSON Datei erstellen und anschließend file://URIder JSON Datei als ReplicationTaskSettingsParameter für den CreateReplicationTaskVorgang angeben.

Das folgende Beispiel zeigt, wie der AWS CLI zum Aufrufen der CreateReplicationTask Operation verwendet wird:

aws dms create-replication-task \
--replication-task-identifier MyTask \
--source-endpoint-arn arn:aws:dms:us-west-2:123456789012:endpoint:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--target-endpoint-arn arn:aws:dms:us-west-2:123456789012:endpoint:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--replication-instance-arn arn:aws:dms:us-west-2:123456789012:rep:ABCDEFGHIJKLMNOPQRSTUVWXYZ1234567890ABC \
--migration-type cdc \
--table-mappings file://tablemappings.json \
--replication-task-settings file://settings.json
 

Im vorherigen Beispiel wurde eine Tabellenzuweisungsdatei namens tablemappings.json verwendet. Beispiele für Tabellenzuweisungen finden Sie unter Verwenden der Tabellenzuweisung zum Angeben von Aufgabeneinstellungen.

Eine JSON Datei mit Aufgabeneinstellungen kann wie folgt aussehen.

{
  "TargetMetadata": {
    "TargetSchema": "",
    "SupportLobs": true,
    "FullLobMode": false,
    "LobChunkSize": 64,
    "LimitedSizeLobMode": true,
    "LobMaxSize": 32,
    "InlineLobMaxSize": 0,
    "LoadMaxFileSize": 0,
    "ParallelLoadThreads": 0,
    "ParallelLoadBufferSize":0,
    "ParallelLoadQueuesPerThread": 1,
    "ParallelApplyThreads": 0,
    "ParallelApplyBufferSize": 100,
    "ParallelApplyQueuesPerThread": 1,    
    "BatchApplyEnabled": false,
    "TaskRecoveryTableEnabled": false
  },
  "FullLoadSettings": {
    "TargetTablePrepMode": "DO_NOTHING",
    "CreatePkAfterFullLoad": false,
    "StopTaskCachedChangesApplied": false,
    "StopTaskCachedChangesNotApplied": false,
    "MaxFullLoadSubTasks": 8,
    "TransactionConsistencyTimeout": 600,
    "CommitRate": 10000
  },
    "TTSettings" : {
    "EnableTT" : true,
    "TTS3Settings": {
        "EncryptionMode": "SSE_KMS",
        "ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-west-2:112233445566:key/myKMSKey",
        "ServiceAccessRoleArn": "arn:aws:iam::112233445566:role/dms-tt-s3-access-role",
        "BucketName": "myttbucket",
        "BucketFolder": "myttfolder",
        "EnableDeletingFromS3OnTaskDelete": false
      },
    "TTRecordSettings": {
        "EnableRawData" : true,
        "OperationsToLog": "DELETE,UPDATE",
        "MaxRecordSize": 64
      }
  },
  "Logging": {
    "EnableLogging": false
  },
  "ControlTablesSettings": {
    "ControlSchema":"",
    "HistoryTimeslotInMinutes":5,
    "HistoryTableEnabled": false,
    "SuspendedTablesTableEnabled": false,
    "StatusTableEnabled": false
  },
  "StreamBufferSettings": {
    "StreamBufferCount": 3,
    "StreamBufferSizeInMB": 8
  },
  "ChangeProcessingTuning": { 
    "BatchApplyPreserveTransaction": true, 
    "BatchApplyTimeoutMin": 1, 
    "BatchApplyTimeoutMax": 30, 
    "BatchApplyMemoryLimit": 500, 
    "BatchSplitSize": 0, 
    "MinTransactionSize": 1000, 
    "CommitTimeout": 1, 
    "MemoryLimitTotal": 1024, 
    "MemoryKeepTime": 60, 
    "StatementCacheSize": 50 
  },
  "ChangeProcessingDdlHandlingPolicy": {
    "HandleSourceTableDropped": true,
    "HandleSourceTableTruncated": true,
    "HandleSourceTableAltered": true
  },
  "LoopbackPreventionSettings": {
    "EnableLoopbackPrevention": true,
    "SourceSchema": "LOOP-DATA",
    "TargetSchema": "loop-data"
  },

  "CharacterSetSettings": {
    "CharacterReplacements": [ {
        "SourceCharacterCodePoint": 35,
        "TargetCharacterCodePoint": 52
      }, {
        "SourceCharacterCodePoint": 37,
        "TargetCharacterCodePoint": 103
      }
    ],
    "CharacterSetSupport": {
      "CharacterSet": "UTF16_PlatformEndian",
      "ReplaceWithCharacterCodePoint": 0
    }
  },
  "BeforeImageSettings": {
    "EnableBeforeImage": false,
    "FieldName": "",  
    "ColumnFilter": "pk-only"
  },
  "ErrorBehavior": {
    "DataErrorPolicy": "LOG_ERROR",
    "DataTruncationErrorPolicy":"LOG_ERROR",
    "DataErrorEscalationPolicy":"SUSPEND_TABLE",
    "DataErrorEscalationCount": 50,
    "TableErrorPolicy":"SUSPEND_TABLE",
    "TableErrorEscalationPolicy":"STOP_TASK",
    "TableErrorEscalationCount": 50,
    "RecoverableErrorCount": 0,
    "RecoverableErrorInterval": 5,
    "RecoverableErrorThrottling": true,
    "RecoverableErrorThrottlingMax": 1800,
    "ApplyErrorDeletePolicy":"IGNORE_RECORD",
    "ApplyErrorInsertPolicy":"LOG_ERROR",
    "ApplyErrorUpdatePolicy":"LOG_ERROR",
    "ApplyErrorEscalationPolicy":"LOG_ERROR",
    "ApplyErrorEscalationCount": 0,
    "FullLoadIgnoreConflicts": true
  },
  "ValidationSettings": {
    "EnableValidation": false,
    "ValidationMode": "ROW_LEVEL",
    "ThreadCount": 5,
    "PartitionSize": 10000,
    "FailureMaxCount": 1000,
    "RecordFailureDelayInMinutes": 5,
    "RecordSuspendDelayInMinutes": 30,
    "MaxKeyColumnSize": 8096,
    "TableFailureMaxCount": 10000,
    "ValidationOnly": false,
    "HandleCollationDiff": false,
    "RecordFailureDelayLimitInMinutes": 1,
    "SkipLobColumns": false,
    "ValidationPartialLobSize": 0,
    "ValidationQueryCdcDelaySeconds": 0
  }
}