数据库迁移服务DMS——手把手教你玩转MongoDB到DynamoDB之间数据库迁移

1. 前言

AWS最近刚刚宣布了一项关于数据库迁移的新feature，支持Mongodb数据库作为源端，迁移到目标端Dynamodb中，这样可以使MongoDB的用户充分利用DynamoDB数据库提供的技术优势，譬如完全托管服务，高性能低延迟（毫秒级），精细化粒度控制等等。由于最近项目中涉及很多数据库迁移的事情，同时也对NOSQL数据库异构平台迁移非常感兴趣，写了这篇文档供大家参考。

2. DMS服务介绍

DMS作为数据迁移服务支持下面三种迁移类型：

迁移源库中存在的数据到目标库
迁移源库中存在的数据并且复制新增加的数据到目标库
只复制新增加的数据库

数据迁移时源端和目标端设置

MongoDB作为源端

AWS DMS支持Mongodb作为源端的版本为2.6.x和3.0.x，MongoDB 作为一个基于文档存储的数据库，数据模式非常灵活，支持JSON和BJSON格式进行存储。当前AWS DMS 支持MongoDB作为源端以两种模式进行迁移，它们分别是文档模式和表模式。在文档模式中，需要设置参数extractDocID＝true和nestingLevel＝none，在复制时不支持collection的重命名。在表模式中需要启用表模式需要设置nestingLevel＝one，另外在选择CDC时它不支持添加新的collection和重名collection。

DynamoDB作为目标端

使用Dynamodb作为目标端时需要配置partion key和Object mapping。

具体注意事项请参考官方文档链接：

http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Source.MongoDB.html

3. 配置步骤

3.1 安装Mongodb

安装Mongodb的方式有多种方法，可以选择Marketplace或者AWS提供的cloudformation以及手动下载Mongodb软件进行安装，我选择手动安装Mongodb2.6.12版本。

A、登录EC2，获取如下软件：

ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org_2.6.12_amd64.deb

ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-mongos_2.6.12_amd64.deb

ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-tools_2.6.12_amd64.deb

ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-server_2.6.12_amd64.deb

ubuntu@ip-172-31-60-214:~$ wget http://downloads-distro.mongodb.org/repo/ubuntu-upstart/dists/dist/10gen/binary-amd64/mongodb-org-shell_2.6.12_amd64.deb

B、安装软件包：

ubuntu@ip-172-31-60-214:~$ sudo dpkg -i mongodb-org*

ubuntu@ip-172-31-60-214:~$ sudo mkdir /data /log

D、启动mongodb数据库服务：

ubuntu@ip-172-31-60-214:~$ sudo mongod –dbpath /data –logpath /log/mongodb.log –smallfiles –oplogSize 50 –fork

打开mongodb的shell，验证服务启动成功。

ubuntu@ip-172-31-60-214:~$ mongo

MongoDB shell version: 2.6.12

connecting to: test

如下图所示：

3.2 通过脚本生成数据

for (var i = 1; i <= 793308; i++) {

db.testData.insert( { x : i , name: "MACLEAN" , name1:"MACLEAN", name2:"MACLEAN", name3:"MACLEAN"} )

db.contacts.insert( { name: "Amanda", status:

"Updated" } )

db.contacts.insert( { name: "tom", status: "Updated" } )

db.contacts.insert( { name: "jack", status: "Updated" } )

db.contacts.insert( { name: "jack1", status: "Updated" } )

db.contacts.insert( { name: "steph", status: "Updated" } )

3.3 验证数据生成

运行如下命令：

3.4配置mongodb的副本集

A、启动mongodb数据库

ubuntu@ip-172-31-60-214:~$ sudo mongod –dbpath /data –replSet rs0 –logpath /log/mongodb.log –smallfiles –oplogSize 50 -fork

如下图：

B、登录到mongodb中，进行副本的初始化，如下图所示：

ubuntu@ip-172-31-60-214:~$ mongo localhost

MongoDB shell version: 2.6.12

connecting to: localhost

rs.initiate()

C、验证部署配置

> rs.conf()

D、创建管理员角色

rs0:PRIMARY> use admin

switched to db admin

rs0:PRIMARY> db.createUser(

… {

… user: “root”,

… pwd: “rootpass”,

… roles: [ { role: “root”, db: “admin” } ]

… }

… )

如下图所示：

E、停止mongodb，然后重启mongodb：

ubuntu@ip-172-31-60-214:~$ sudo mongod –dbpath /data –replSet rs0 –logpath /log/mongodb.log –smallfiles –oplogSize 50 -fork –auth

如下图所示：

至此，Mongodb的数据库准备工作完成。

3.5 使用global账号登录到DMS服务，如下图所示：

A、创建复制实例：

指定Name，Instance class,Allocated storage,VPC选择创建，如下图所示：

创建mongodb源端的Endpoint，输入Endpoint identifier，Source engine指定为mongodb，Servername为Mongodb数据库主机IP，Port，Authentication mode,username等信息，如下所示：

注意在高级设置中指定extraDocID=true;nestingLevel=none

点击test connection验证连接成功。

点击创建完成。

B、创建目标端DynamoDB的endpoint

在endpoint console中选择create endpoint，并输入信息：Endpoint identifier，Endpoint type为Target，Target engine为dynamodb，指定Service Aceess Role ARN，并在advanced中设置：extractDOcID=true;nestingLevel=none

如下图所示：

点击test connection，验证成功，选择create 完成创建。

此处主要角色的设置需要指定：dms-vpc-role，同时attached 3个policy，如下图所示：

endpoint创建完成，如下所示：

C、创建task

点击create task，输入如下信息：task name，source endpoint，target endpoint，migrate type，Enable loging，同时根据实际需求进行相应的任务设置。

创建table mappings，点击json tab，进行手动输入设置：

注意，json文件内容需要根据各自创建的表进行手动创建。

点击创建任务，任务创建完成。

D、验证数据导入成功

返回任务列表，选择table statistics，查看表的导入是否成功，如下图所示：

MongoDb记录成功导入到dynamodb中，选择log可以通过cloudwatch查看DMS导入过程的记录。

登录到DynamoDb中，发现表成功创建，并且导入成功，如下图：

至此整个利用DMS进行Mongodb到Dynamodb的数据库迁移完成。

关于如何设置Table mapping 请参阅官方文档：

http://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.DynamoDB.html

附录

测试中我使用的Table Mapping json内容如下：

{

"rules": [

{

"rule-type": "selection",

"rule-id": "1",

"rule-name": "1",

"object-locator": {

"schema-name": "test",

"table-name": "%"

},

"rule-action": "include"

},

{

"rule-type": "object-mapping",

"rule-id": "2",

"rule-name": "TransformToDDB",

"rule-action": "map-record-to-record",

"object-locator": {

"schema-name": "test",

"table-name": "contacts"

},

"target-table-name": "contacts",

"mapping-parameters": {

"partition-key-name": "id",

"exclude-columns": [

"_id"

],

"attribute-mappings":[

{

"target-attribute-name": "id",

"attribute-type":"scalar",

"attribute-sub-type":"string",

"value": "${_id}"

}

]

}

},

{

"rule-type": "object-mapping",

"rule-id": "3",

"rule-name": "TransformToinventory",

"rule-action": "map-record-to-record",

"object-locator": {

"schema-name": "test",

"table-name": "inventory"

},

"target-table-name": "inventory",

"mapping-parameters": {

"partition-key-name": "id",

"exclude-columns": [

"_id"

],

"attribute-mappings":[

{

"target-attribute-name": "id",

"attribute-type":"scalar",

"attribute-sub-type":"string",

"value": "${_id}"

}

]

}

},

{

"rule-type": "object-mapping",

"rule-id": "2",

"rule-name": "TransformToEC2test",

"rule-action": "map-record-to-record",

"object-locator": {

"schema-name": "test",

"table-name": "ec2Test"

},

"target-table-name": "ec2Test",

"mapping-parameters": {

"partition-key-name": "id",

"exclude-columns": [

"_id"

],

"attribute-mappings":[

{

"target-attribute-name": "id",

"attribute-type":"scalar",

"attribute-sub-type":"string",

"value": "${_id}"

}

]

}

},

{

"rule-type": "object-mapping",

"rule-id": "2",

"rule-name": "TransformToDDB",

"rule-action": "map-record-to-record",

"object-locator": {

"schema-name": "test",

"table-name": "testData"

},

"target-table-name": "testData",

"mapping-parameters": {

"partition-key-name": "id",

"exclude-columns": [

"_id"

],

"attribute-mappings":[

{

"target-attribute-name": "id",

"attribute-type":"scalar",

"attribute-sub-type":"string",

"value": "${_id}"

}

]

}

]

}

作者介绍

王友升

AWS解决方案架构师，拥有超过13年的IT从业经验，负责基于AWS的云计算方案架构咨询和设计，推广AWS云平台技术和各种解决方案。在加入AWS之前，曾在中地数码，浪潮，惠普等公司担任软件开发工程师，DBA和解决方案架构师。在服务器，存储，数据库优化方面拥有多年的经验，同时对大数据，Openstack及AI方面也进行一定的研究和积累。

亚马逊AWS官方博客

数据库迁移服务DMS——手把手教你玩转MongoDB到DynamoDB之间数据库迁移

1. 前言

2. DMS服务介绍

3. 配置步骤

3.1 安装Mongodb

3.2 通过脚本生成数据

3.4配置mongodb的副本集

3.5 使用global账号登录到DMS服务，如下图所示：

附录