创建任务 - AWS Database Migration Service

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建任务

要创建 AWS DMS 迁移任务,请执行以下操作:

  • 在创建迁移任务之前,创建源终端节点、目标终端节点以及复制实例。

  • 选择迁移方法:

    • 将数据迁移到目标数据库 – 该过程将在目标数据库中创建文件或表,并自动定义目标所需的元数据。它还会用源数据填充表。为提高效率,系统将并行加载表中的数据。此过程是中的 “迁移现有数据” 选项, AWS Management Console Full Load在中调用API。

    • 迁移期间捕获更改 – 该过程捕获在将数据从源迁移到目标时对源数据库进行的更改。当最初请求的数据迁移完成后,变更数据捕获 (CDC) 进程随后会将捕获的更改应用于目标数据库。捕获更改并以单个提交事务为单位应用更改,并且可以将多个不同的目标表作为单个源提交进行更新。此方法可保证目标数据库中的事务完整性。此过程是控制台中的 “迁移现有数据并复制正在进行的更改” 选项,full-load-and-cdc在中调用API。

    • 仅复制源数据库上的数据更改-此过程读取源数据库管理系统 (DBMS) 的恢复日志文件,并将每个事务的条目组合在一起。在某些情况下, AWS DMS 无法在合理的时间内对目标应用更改(例如,如果目标不可访问)。在这些情况下,只要有必要,就会在复制服务器上 AWS DMS 缓冲更改的时间。它不会重读源DBMS日志,这可能需要很长时间。该过程是 控制台中的仅复制数据更改 AWS DMS 选项。

  • 确定任务应如何处理源代码上的大型二进制对象 (LOBs)。有关更多信息,请参阅 在 AWS DMS 任务中设置对源数据库的LOB支持

  • 指定迁移任务设置。这些设置包括设置日志记录,指定写入到迁移控制表的数据,如何处理错误以及其他设置。有关任务设置的更多信息,请参阅为 AWS Database Migration Service 任务指定任务设置

  • 设置表映射以定义用于选择和筛选要迁移的数据的规则。有关表映射的更多信息,请参阅使用表映射指定任务设置。在指定映射之前,请确保查看有关源数据库和目标数据库之间的数据类型映射的文档部分。

  • 在运行任务之前,启用并运行迁移前任务评估。有关迁移前评估的更多信息,请参阅为任务启用和使用迁移前评估

  • 指定迁移数据的任务所需的任何补充数据。有关更多信息,请参阅 指定任务设置的补充数据

您可以选择在 Create task (创建任务) 页面上指定任务的信息后立即启动任务。或者,您也可以稍后从控制面板页面启动任务。

以下过程假定您已经指定了复制实例信息和终端节点。有关设置端点的更多信息,请参阅创建源和目标终端节点

创建迁移任务
  1. 登录 AWS Management Console 并在 https://console.aws.amazon.com/dms/v2/上打开 AWS DMS 控制台。

    如果您以 AWS Identity and Access Management (IAM) 用户身份登录,请确保您拥有相应的访问权限 AWS DMS。有关所需权限的更多信息,请参阅IAM使用所需的权限 AWS DMS

  2. 在导航窗格中选择数据库迁移任务,然后选择创建任务

  3. 创建数据库迁移任务页面的任务配置部分,指定任务选项。下表描述了设置。

    创建任务
    对于该选项 请执行该操作

    任务标识符

    输入任务的名称。

    描述性亚马逊资源名称 (ARN)-可选

    一个用于覆盖默认值的友好名称 AWS DMS ARN。您在创建任务后无法更改该名称。

    复制实例

    显示要使用的复制实例。

    源数据库端点

    显示要使用的源终端节点。

    目标数据库端点

    显示要使用的目标终端节点。

    迁移类型

    选择要使用的迁移方法。您可以选择仅让现有数据迁移到目标数据库,或将持续更改以及迁移的数据发送到目标数据库。

  4. “任务设置” 部分,指定用于编辑任务、目标表格准备模式、停止任务、LOB设置、验证和记录的值。

    对于该选项 请执行该操作

    编辑模式

    选择是使用向导还是使用JSON编辑器来指定任务设置。如果选择向导,将显示以下选项。

    CDC源交易的启动模式

    只有在前一部分中为迁移类型选择仅复制数据更改时,此设置才可见。

    禁用自定义CDC启动模式-如果选择此选项,则可以使用后面的 “创建时自动启动” 选项自动启动任务,也可以使用控制台手动启动任务。

    启用自定义CDC启动模式-如果选择此选项,则可以指定UTC开始处理更改的自定义开始时间。

    Target table preparation mode (目标表准备模式)

    只有在前一部分中为迁移类型选择迁移现有数据迁移现有数据并复制持续更改时,此设置才可见。

    什么都不做 — 在 “什么都不做” 模式下, AWS DMS 假设目标表已在目标系统上预先创建。如果表不为空,则在数据迁移期间可能会发生冲突并可能导致DMS任务错误。如果目标表不存在,则会为您DMS创建表。您的表结构将保留原样,并且任何现有数据将保留在表中。当目标表已从源回填并应用持续复制以保持源表和目标同步时,不执行任何操作模式适用于CDC仅限于执行的任务。要预先创建表,您可以使用 AWS Schema Conversion Tool (AWS SCT)。有关更多信息,请参阅安装 AWS SCT

    删除目标中的表 – 在删除目标中的表模式下,开始迁移之前会删除目标表,然后重新创建它们。这种方法可确保迁移开始时目标表为空。 AWS DMS 仅创建高效迁移数据所需的对象:表、主键,在某些情况下还会创建唯一索引。 AWS DMS 不会创建二级索引、非主键约束或列数据默认值。如果您正在执行满载加值CDC或CDC仅限满载任务,我们建议您此时暂停迁移。然后,创建支持筛选更新和删除语句的二级索引。

    使用删除目标中的表模式时,您可能需要在目标数据库上执行某些配置。例如,对于 Oracle 目标,出于安全原因 AWS DMS 无法创建架构(数据库用户)。在这种情况下,您可以预先创建架构用户,以便 AWS DMS 可以在迁移开始时创建表。对于大多数其他目标类型,使用正确的配置参数 AWS DMS 创建架构和所有关联表。

    截断-在 T run AWS DMS cate 模式下,在迁移开始之前截断所有目标表。如果目标表不存在,则会为您DMS创建表。您的表结构保持原样,但表在目标位置被截断。Truncate 模式适用于满载或满载以及CDC迁移,其中目标架构是在迁移开始之前预先创建的。要预先创建表,您可以使用 AWS SCT。有关更多信息,请参阅安装 AWS SCT

    注意

    如果您的目标是 MongoDB,则截断模式不会在目标位置截断表。相反,它会删除集合并丢失所有索引。当您的目标是 MongoDB 时,请避免使用截断模式。

    在完全加载完成后停止任务

    只有在前一部分中为迁移类型选择迁移现有数据并复制持续更改时,此设置才可见。

    不停止 – 不停止任务,但立即应用缓存的更改,然后继续。

    在应用缓存的更改前停止 – 在应用缓存的更改之前停止任务。使用此方式时,可以添加可能会加速更改应用的辅助索引。

    在应用缓存的更改之后停止 – 在应用缓存的更改后停止任务。使用此方式时,可以在使用事务应用时添加外键。

    在复制中包含LOB列

    不包括LOBLOB列 — 列不包括在迁移范围内。

    完整LOB模式-无论大小LOBs如何,都完成迁移。 AWS DMS LOBs按块大小参数控制的分块进行分段迁移。LOB此模式比使用受限LOB模式慢。

    受限LOB模式-截断LOBs到最大LOB大小参数的值。此模式比使用完整LOB模式更快。

    最大LOB大小 (kb)

    限制LOB模式下,超过 “最大LOB大小” 设置的LOB列会被截断为指定的 “最大LOB大小” 值。

    启用验证

    启用数据验证,以确认准确地将数据从源迁移到目标。有关更多信息,请参阅 AWS DMS 数据验证

    启用 CloudWatch 日志

    启用 Amazon 的日志记录 CloudWatch。

  5. 迁移前评估部分,选择是否运行迁移前评估。在启动数据库迁移任务之前,迁移前评估会提醒您注意潜在的迁移问题。有关更多信息,请参阅 启用和使用迁移前评估

  6. 迁移任务启动配置部分,指定是否在创建任务后自动启动。

  7. 标签部分,指定组织任务所需的任意标签。您可以使用标签来管理您的IAM角色和策略,并跟踪DMS成本。有关更多信息,请参阅 为资源添加标签

  8. 完成任务设置后,请选择 Create task (创建任务)