本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
将 MongoDB 作为 AWS DMS 源
AWS DMS支持将 MongoDB 版本 3.x 和 4.0 作为数据库源。从启动AWS DMS3.4.5AWS DMS支持 MongoDB 版本 4.2 和 4.4 版本。从 MongoDB 版本 4.2 开始,AWS DMS支持分布式事务。有关 MongoDB 分布式事务的更多信息,请参阅。事务
如果您是初次使用 MongoDB,请注意以下关于 MongoDB 数据库的重要概念:
-
MongoDB 中的记录是一个文档,它是由字段和值对构成的数据结构。字段值可以包含其他文档、数组和文档数组。文档大致相当于关系数据库表中的行。
-
MongoDB 中的集合 是一组文档,并且大致相当于关系数据库表。
-
一个数据库MongoDB 中是一组集合,大致相当于关系数据库中的模式。
-
在内部,MongoDB 文档以压缩格式存储为二进制 JSON (BSON) 文件,包含文档中每个字段的类型。每个文档都有唯一的 ID。
AWS DMS将 MongoDB 作为源时,支持两种迁移模式,文档模式要么表模式. 您可以在创建 MongoDB 终端节点时或通过设置元数据模式来自的参数AWS DMS控制台。您可以选择创建另一个名为的列_id
通过选择的复选标记按钮充当主键_id 作为单独的列在端点配置面板中。
您选择的迁移模式将影响目标数据的结果格式,如下所述。
- 文档模式
-
在文档模式下,MongoDB 文档按“原样”迁移,这意味着文档数据将并入目标表中一个名为
_doc
的列中。文档模式是您将 MongoDB 作为源终端节点时的默认设置。例如,请考虑名为 myCollection 的 MongoDB 集合中的以下文档。
> db.myCollection.find() { "_id" : ObjectId("5a94815f40bd44d1b02bdfe0"), "a" : 1, "b" : 2, "c" : 3 } { "_id" : ObjectId("5a94815f40bd44d1b02bdfe1"), "a" : 4, "b" : 5, "c" : 6 }
在使用文档模式将数据迁移到关系数据库表后,数据结构如下所示。MongoDB 文档中的数据字段将并入
_doc
列。oid_id _doc 5a94815f40bd44d1b02bdfe0 { "a" : 1, "b" : 2, "c" : 3 }
5a94815f40bd44d1b02bdfe1 { "a" : 4, "b" : 5, "c" : 6 }
您可以选择将额外连接属性
extractDocID
设置为 true,以创建第二个名为"_id"
的列以作为主键。如果要使用 CDC,请将此参数设置为真的.在文档模式中,AWS DMS 按如下方式管理集合的创建和重命名:
-
如果您将一个新集合添加到源数据库,则 AWS DMS 将为该集合创建一个新的目标表并复制所有文档。
-
如果您重命名源数据库上的现有集合,AWS DMS不会重命名目标表。
如果目标终端节点是 Amazon DocumentDB,请在文档模式.
-
- 表模式
-
在表模式中,AWS DMS 将 MongoDB 文档中的每个顶级字段转换为目标表中的一个列。如果已嵌套字段,则 AWS DMS 会将嵌套值平展到单个列中。随后,AWS DMS 将关键字段和数据类型添加到目标表的列集。
对于每个 MongoDB 文档,AWS DMS 将每个键和类型添加到目标表的列集中。例如,通过使用表模式,AWS DMS 将上一个示例迁移到下表中。
oid_id a b c 5a94815f40bd44d1b02bdfe0 1 2 3 5a94815f40bd44d1b02bdfe1 4 5 6 嵌套值平展到包含键名 (以句点分隔) 的列中。该列的名称是为由句点分隔的平展字段名的联接。例如,AWS DMS 将具有嵌套值字段(如
{"a" : {"b" : {"c": 1}}}
)的 JSON 文档迁移到名为a.b.c.
的列中为了创建目标列,AWS DMS 将扫描指定数量的 MongoDB 文档并创建包含所有字段及其类型的集。随后,AWS DMS 使用此集创建目标表的列。如果您使用 控制台创建或修改 MongoDB 源终端节点,则可指定要扫描的文档的数量。默认值为 1000 个文档。如果您将AWS CLI,您可以使用额外连接属性
docsToInvestigate
.在表模式中,AWS DMS 按如下方式管理文档和集合:
-
当您将一个文档添加到现有集合时,将复制该文档。如果某些字段在目标中不存在,则不会复制这些字段。
-
当您更新文档时,复制更新后的文档。如果某些字段在目标中不存在,则不会复制这些字段。
-
完全支持文档删除。
-
在 CDC 任务期间,添加新集合不会导致在目标上生成新的表。
-
不支持重命名集合。
-
将 MongoDB 作为 AWS DMS 的源时所需的权限
对于使用 MongoDB 源的 AWS DMS 迁移,您可以创建具有根权限的用户账户,也可以仅在要迁移的数据库上创建具有权限的用户。
以下代码创建将作为根账户的用户。
use admin db.createUser( { user: "root", pwd: "
password
", roles: [ { role: "root", db: "admin" } ] } )
对于 MongoDB 3.x 源,以下代码在要迁移的数据库上创建具有最低权限的用户。
use
database_to_migrate
db.createUser( { user: "dms-user
", pwd: "password
", roles: [ { role: "read", db: "local" }, "read"] })
对于 MongoDB 4.x 源,以下代码将创建具有最低权限的用户。
{ resource: { db: "", collection: "" }, actions: [ "find", "changeStream" ] }
例如,在 “admin” 数据库中创建以下角色。
use admin db.createRole( { role: "changestreamrole", privileges: [ { resource: { db: "", collection: "" }, actions: [ "find","changeStream" ] } ], roles: [] } )
此外,在创建角色后,在数据库中创建要迁移的用户。
> use test > db.createUser( { user: "dms-user12345", pwd: "password", roles: [ { role: "changestreamrole", db: "admin" }, "read"] })
为 CDC 配置 MongoDB 副本集
要将正在进行的复制或 CDC 与 MongoDB 一起使用,AWS DMS需要具有对 MongoDB 操作日志 (oplog) 的访问权限。要创建 oplog,您需要部署一个副本集 (如果没有副本集)。有关更多信息,请参阅 MongoDB 文档
您可以将 CDC 用于作为源终端节点的 MongoDB 副本集的主要或次要节点。
将独立实例转换为副本集
-
使用命令行,连接到
mongo
.mongo localhost
-
停止
mongod
服务。service mongod stop
-
使用以下命令重新启动
mongod
:mongod --replSet "rs0" --auth -port
port_number
-
使用以下命令测试与副本集的连接:
mongo -u root -p
password
--host rs0/localhost:port_number
--authenticationDatabase "admin"
如果您打算执行文档模式迁移,请在创建 MongoDB 终端节点时选择选项 _id as a
separate column
。通过选择此选项,将创建另一个名为 _id
的列以作为主键。AWS DMS 需要第二列以支持数据操作语言 (DML) 操作。
将 MongoDB 作为 AWS DMS 源时的安全要求
AWSMongoDB 支持两种身份验证方法。这两种身份验证方法用于加密密码,因此它们仅在将 authType
参数设置为 PASSWORD 时使用。
MongoDB 身份验证方法如下:
-
MONGODB-CR— 为了向后兼容
-
SCRAM-SHA-1使用 MongoDB 版本 3.x 和 4.0 时的默认值
如果未指定身份验证方法,AWSMongoDB 源版本使用默认方法。
对 MongoDB 集合进行分段 parallel 迁移
为了提高迁移任务的性能,MongoDB 源端点支持两个用于表映射中 parallel 完全负载的选项。
换句话说,您可以通过 parallel JSON 设置中使用自动分段或带表映射的范围细分来 parallel 迁移集合。使用自动分段,您可以指定AWS DMS以便在每个线程中自动对源进行分段以便迁移。通过范围细分,你可以告诉AWS DMS要在每个线程中迁移 DMS 的每个区段的具体范围。有关这些设置的更多信息,请参阅。表和集合设置规则和操作.
使用自动分段范围 parallel 迁移 MongoDB 数据库
您可以通过指定标准 parallel 迁移文档AWS DMS自动对每个线程的数据进行分区(分段)。特别是,您可以指定每个线程要迁移的文档数量。使用这种方法,AWS DMS尝试优化区段边界以实现每个线程的最大性能。
您可以使用表映射中的表格设置选项指定分段条件。
表设置选项 |
描述 |
---|---|
|
(必填)设置为 |
|
(可选)用于迁移的分区(分段)总数。默认值为 16。 |
|
(可选)如果此选项设置为 |
|
(可选)在确定每个分区的边界时一次跳过的记录数。AWS DMS使用分页跳过方法来确定分区的最小边界。默认值为 10,000。 设置相对较大的值可能会导致游标超时和任务失败。设置相对较低的值会导致每页操作更多,满载速度更慢。 |
|
(可选)限制一批返回的文档数量。每批都需要往返服务器。如果批处理大小为零 (0),光标将使用服务器定义的最大批处理大小。默认值为 0。 |
下面的示例显示了用于自动分段的表映射。
{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "admin", "table-name": "departments" }, "rule-action": "include", "filters": [] }, { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "admin", "table-name": "departments" }, "parallel-load": { "type": "partitions-auto", "number-of-partitions": 5, "collection-count-from-metadata": "true", "max-records-skip-per-page": 1000000, "batch-size": 50000 } } ] }
自动分段有以下限制。每个区段的迁移将获取集合计数和最小值_id
单独收藏。然后,它使用分页跳过来计算该区段的最小边界。
因此,请确保最低_id
在计算集合中的所有区段边界之前,每个集合的值一直保持不变。如果你更改最小值_id
集合在区段边界计算期间的值,则可能会导致数据丢失或重复行错误。
使用范围分段 parallel 迁移 MongoDB 数据库
您可以通过为主题中的每个区段指定范围来 parallel 迁移文档。使用这种方法,你告诉AWS DMS根据您选择的每个线程的文档范围,在每个主题中迁移的特定文档。
下图显示了一个 MongoDB 集合,其中有七个物品,以及_id
作为主键。

将收藏分为三个特定的细分AWS DMS要 parallel 迁移,可以将表映射规则添加到迁移任务中。如下 JSON 示例所示。
{ // Task table mappings: "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "testdatabase", "table-name": "testtable" }, "rule-action": "include" }, // "selection" :"rule-type" { "rule-type": "table-settings", "rule-id": "2", "rule-name": "2", "object-locator": { "schema-name": "testdatabase", "table-name": "testtable" }, "parallel-load": { "type": "ranges", "columns": [ "_id", "num" ], "boundaries": [ // First segment selects documents with _id less-than-or-equal-to 5f805c97873173399a278d79 // and num less-than-or-equal-to 2. [ "5f805c97873173399a278d79", "2" ], // Second segment selects documents with _id > 5f805c97873173399a278d79 and // _id less-than-or-equal-to 5f805cc5873173399a278d7c and // num > 2 and num less-than-or-equal-to 5. [ "5f805cc5873173399a278d7c", "5" ] // Third segment is implied and selects documents with _id > 5f805cc5873173399a278d7c. ] // :"boundaries" } // :"parallel-load" } // "table-settings" :"rule-type" ] // :"rules" } // :Task table mappings
该表映射定义将源集合拆分为三个区段并 parallel 迁移。以下是细分边界。
Data with _id less-than-or-equal-to "5f805c97873173399a278d79" and num less-than-or-equal-to 2 (2 records) Data with _id > "5f805c97873173399a278d79" and num > 2 and _id less-than-or-equal-to "5f805cc5873173399a278d7c" and num less-than-or-equal-to 5 (3 records) Data with _id > "5f805cc5873173399a278d7c" and num > 5 (2 records)
迁移任务完成后,您可以从任务日志中验证表是否 parallel 加载,如以下示例所示。您也可以验证 MongoDBfind
用于从源表中卸载每个区段的子句。
[TASK_MANAGER ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752) [SOURCE_UNLOAD ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) [SOURCE_UNLOAD ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328) [SOURCE_UNLOAD ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent. [TASK_MANAGER ] I: Start loading segment #1 of 3 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. Start load timestamp 0005B191D638FE86 (replicationtask_util.c:752) [SOURCE_UNLOAD ] I: Range Segmentation filter for Segment #0 is initialized. (mongodb_unload.c:157) [SOURCE_UNLOAD ] I: Range Segmentation filter for Segment #0 is: { "_id" : { "$lte" : { "$oid" : "5f805c97873173399a278d79" } }, "num" : { "$lte" : { "$numberInt" : "2" } } } (mongodb_unload.c:328) [SOURCE_UNLOAD ] I: Unload finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 2 rows sent. [TARGET_LOAD ] I: Load finished for segment #1 of segmented table 'testdatabase'.'testtable' (Id = 1). 1 rows received. 0 rows skipped. Volume transfered 480. [TASK_MANAGER ] I: Load finished for segment #1 of table 'testdatabase'.'testtable' (Id = 1) by subtask 1. 2 records transferred.
目前,AWS DMS支持以下 MongoDB 数据类型作为区段键列:
-
Double
-
字符串
-
ObjectId
-
32 位整数
-
64 位整数
将 MongoDB 作为的源时,迁移多个数据库AWS DMS
AWS DMS3.4.5 及更高版本支持在单个任务中迁移多个数据库,适用于所有受支持的 MongoDB 版本。如果要迁移多个数据库,请执行以下步骤:
-
创建 MongoDB 源终端节点时,请执行以下操作之一:
-
在 DMS 控制台上创建端节点页面,请确保数据库名称下面为空端节点配置.
-
使用AWS CLI
CreateEndpoint
命令中,将空字符串值分配给DatabaseName
中的参数MongoDBSettings
.
-
-
对于要从 MongoDB 源迁移的每个数据库,请在任务的表映射中指定数据库名称作为架构名称。您可以使用控制台中的指导输入或直接在 JSON 中完成此操作。有关指导输入的更多信息,请参阅。 通过控制台指定表选择和转换规则. 有关 JSON 的更多信息,请参阅。选择规则和操作.
例如,您可以指定以下 JSON 以迁移三个 MongoDB 数据库。
例 迁移架构中的所有表
下面的 JSON 将从Customers
、Orders
, 和Suppliers
源终端节点中的数据库到目标终端节点。
{ "rules": [ { "rule-type": "selection", "rule-id": "1", "rule-name": "1", "object-locator": { "schema-name": "Customers", "table-name": "%" }, "object-locator": { "schema-name": "Orders", "table-name": "%" }, "object-locator": { "schema-name": "Inventory", "table-name": "%" }, "rule-action": "include" } ] }
将 MongoDB 作为 AWS DMS 源时的限制
将 MongoDB 作为 AWS DMS 源时,存在以下限制:
-
当
_id
选项设置为单独一列时,ID 字符串不能超过 200 个字符。 -
在表模式下,对象 ID 和数组类型键将转换为具有
oid
和array
前缀的列。将使用具有前缀的名称在内部引用这些列。如果你在中使用转换规则AWS DMS请确保指定具有前缀的列。例如,指定
${oid__id}
而不是${_id}
,或者指定${array__addresses}
而不是${_addresses}
。 -
集合名称和密钥名称不能包含美元符号 ($)。
-
表模式和文档模式具有前面描述的限制。
-
使用自动分段 parallel 迁移具有前面描述的限制。
-
MongoDB 不支持源筛选器。
将 MongoDB 作为的源时的终端节点配置设置AWS DMS
当您设置 MongoDB 源终端节点时,您可以使用AWS DMS控制台。
下表介绍了将 MongoDB 数据库用作AWS DMS源。
设置(属性) | 有效值 | 默认值和描述 |
---|---|---|
身份验证模式 |
|
值 |
源身份验证 |
有效的 MongoDB 数据库名称。 |
要用于验证凭据以进行身份验证的 MongoDB 数据库的名称。原定设置值为 |
验证机制 |
|
身份验证机制。 |
元数据模式 |
文档和表格 |
选择文档模式或表模式。 |
要扫描的文档数(docsToInvestigate) |
大于 |
在表模式下使用此选项仅用于定义目标表定义。 |
_id 作为单独的列 |
在框中选中标记 |
可选复选标记框,用于创建名为 |
如果选择文档如同元数据模式,有不同的选项。
如果目标终端节点是 DocumentDB,请确保在文档模式此外,修改源终端节点并选择该选项_id 作为单独的列. 如果您的源 MongoDB 工作负载涉及事务,这是必需的先决条件。
MongoDB 的源数据类型
将 MongoDB 作为 AWS DMS 源的数据迁移支持大多数 MongoDB 数据类型。在下表中,您可以找到使用 AWS DMS 时支持的 MongoDB 源数据类型以及来自 AWS DMS 数据类型的默认映射。有关 MongoDB 数据类型的更多信息,请参阅 MongoDB 文档中的 BSON 类型
有关如何查看目标中映射的数据类型的信息,请参阅有关所使用的目标终端节点的部分。
有关 AWS DMS 数据类型的其他信息,请参阅的数据类型AWSDatabase Migration Service。
MongoDB 数据类型 |
AWS DMS 数据类型 |
---|---|
布尔值 |
Bool |
Binary |
BLOB |
日期 |
日期 |
时间戳 |
日期 |
Int |
INT4 |
长整型 |
INT8 |
Double |
REAL8 |
字符串 (UTF-8) |
CLOB |
数组 |
CLOB |
OID |
字符串 |
REGEX |
CLOB |
CODE |
CLOB |