MongoDB备份与还原

备份恢复工具介绍

1）mongoexport/mongoimport

2）mongodump/mongorestore

备份工具区别

mongoexport/mongoimport  导入/导出的是JSON格式或者CSV格式

mongodump/mongorestore  导入/导出的是BSON格式。二进制方式，速度快

1）JSON可读性强但体积较大，BSON则是二进制文件，体积小但对人类几乎没有可读性。

2）在一些mongodb版本之间，BSON格式可能会随版本不同而有所不同，所以不同版本之间用mongodump/mongorestore可能不会成功，具体要看版本之间的兼容性。当无法使用BSON进行跨版本的数据迁移的时候，使用JSON格式即mongoexport/mongoimport是一个可选项。跨版本的mongodump/mongorestore个人并不推荐，实在要做请先检查文档看两个版本是否兼容（大部分时候是的）。

3）JSON虽然具有较好的跨版本通用性，但其只保留了数据部分，不保留索引，账户等其他基础信息。使用时应该注意。

应用场景

mongoexport/mongoimport：json csv

1）异构平台迁移  mysql  <---> mongodb

2）同平台，跨大版本：mongodb 3  ----> mongodb 4

mongodump/mongorestore

日常备份恢复时使用

导出工具mongoexport

Mongodb中的mongoexport工具可以把一个collection导出成JSON格式或CSV格式的文件。

可以通过参数指定导出的数据项，也可以根据指定的条件导出数据。

1）版本差异较大

2）异构平台数据迁移

mongoexport具体用法如下：

mongoexport --help

参数说明：

-h：指明数据库宿主机的IP

-u：指明数据库的用户名

-p：指明数据库的密码

-d：指明数据库的名字

-c：指明collection的名字

-f：指明要导出那些列

-o：指明到要导出的文件名

-q：指明导出数据的过滤条件

--authenticationDatabase admin

导入工具mongoimport

Mongodb中的mongoimport工具可以把一个特定格式文件中的内容导入到指定的collection中。该工具可以导入JSON格式数据，也可以导入CSV格式数据。

mongoimport具体用法如下：

mongoimport --help

参数说明：

-h：指明数据库宿主机的IP

-u：指明数据库的用户名

-p：指明数据库的密码

-d：指明数据库的名字

-c：指明collection的名字

-f：指明要导入那些列

-j：并行多开线程，默认4个

实验环境

192.168.8.5安装好MongoDB

192.168.8.6安装好MySQL

实验步骤

1、安装备份工具（MongoDB）

将mongodb-database-tools-rhel70-x86_64-100.3.1.tgz包拖入/root目录

tar xf mongodb-database-tools-rhel70-x86_64-100.3.1.tgz

cd mongodb-database-tools-rhel70-x86_64-100.3.1/bin/

cp * /mongodb/bin/

chown -R mongod.mongod /mongodb/

2、创建超级管理员root用户（MongoDB）

su - mongod

mongo

use admin

db.createUser(

{

user: "root",

pwd: "root123",

roles: [ { role: "root",db: "admin" } ]

}

)

3、创建haha库和log集合并写入一万行数据（MongoDB）

use haha

db.createCollection("log")

for(i=0;i<10000;i++){db.log.insert({"uid":i,"name":"mysql","age":6,"date":new Date()})}

db.log.count()

4、将log集合备份成json格式文件（MongoDB）

mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log -o /mongodb/log.json

注：备份文件的名字可以自定义，默认导出了JSON格式的数据。

5、恢复json格式备份文件“log.json”到log1集合中（MongoDB）

mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log1 /mongodb/log.json

登录查看数据

mongo --port 27017 admin

use haha

show tables

db.log1.count()

db.log1.find()

6、将log集合备份成csv格式文件（csv格式适合跨平台迁移，迁移到MySQL）（MongoDB）

如果需要导出CSV格式的数据，则需要使用--type=csv参数指定导入格式

mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv

7、恢复csv格式备份文件（MongoDB）

如果要导入CSV格式文件中的内容，则需要使用--type=csv参数指定导入格式

方法1：

恢复csv格式备份文件“log.csv”到log2集合中

注意：csv格式的文件头行，有列名字

mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log2 --type=csv --headerline --file /mongodb/log.csv

--headerline：指明第一行是列名，不需要导入。

登录查看数据

mongo --port 27017 admin

use haha

show tables

db.log2.count()

db.log2.find()

方法2：

恢复csv格式备份文件“log1.csv”到log3集合中

注意：csv格式的文件头行，有列名字

备份导出的csv格式的数据备份文件

cd /mongodb/

cp log.csv log1.csv

vim log1.csv

删除第一行红线部分内容：

mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log3 --type=csv -f id,name,age,date --file /mongodb/log1.csv

这时就不用指定--headerline参数指明第一行是列名，不需要导入，需要指定导入的列名

登录查看数据

mongo --port 27017 admin

use haha

show tables

db.log3.count()

db.log3.find()

异构平台迁移数据

MySQL ----> MongoDB

1、修改MySQL配置文件，开启安全路径（MySQL）

vim /etc/my.cnf

添加：

secure-file-priv=/tmp

限制文件的读取和写入只能在设定的文件夹中

重启MySQL

systemctl restart mysqld

2、导入world.sql数据库（MySQL）

将world.sql文件拖入/root目录

登录MySQL导入world数据库

source /root/world.sql

3、导出csv格式的world库中的city表，导出文件为city.csv（MySQL）

MySQL导出csv格式语法：

select * from world.city

into outfile '/tmp/city.csv'

fields terminated by ','         ——定义字段间以“,”分隔

optionally enclosed by '"'          ——定义字符串使用双引号括起来

escaped by '"'           ——定义字段中使用的转义符为“””

lines terminated by '\r\n';          ——定义行分隔符为换行符

select * from world.city into outfile '/tmp/city.csv' fields terminated by ',';

fields terminated by ',' ：字段间以“,”分隔

4、将数据备份文件city.csv拷贝到MongoDB（MySQL）

scp /tmp/city.csv root@192.168.8.5:/tmp/

5、查看city表结构，MongoDB导入数据使用（MySQL）

desc world.city;

6、在MongoDB导入数据备份文件city.csv（MongoDB）

mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city --type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city.csv

必须指定列名

7、登录查看数据（MongoDB）

mongo --port 27017

show dbs

use world

show tables

db.city.count()

db.city.find()

当MySQL需要迁移到MongoDB的表太多时，使用下面语句生成库中所有表的备份文件（MySQL）

select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';") from information_schema.tables where table_schema ='world';

将MongoDB中以csv格式备份的表导入MySQL中

1、将MongoDB的数据备份文件log.csv拷贝到MySQL（MongoDB）

scp /mongodb/log.csv root@192.168.8.6:/tmp/

2、查看log.csv文件（MySQL）

vim /tmp/log.csv

删除第一行内容

第一行内容为列名，在备份csv格式时会记录列名，在导入MySQL时需要删除

3、必须先创建相应的库和表（MySQL）

create database haha;

use haha;

创表时需要和备份文件中的列名相同

create table log(uid int,name varchar(10),age int,date varchar(30));

4、导入log.csv文件（MySQL）

MySQL导入csv格式语法：

load data infile '/tmp/log.csv'

into table log

fields terminated by ','         ——定义字段间以“,”分隔

optionally enclosed by '"'          ——定义字符串使用双引号括起来

escaped by '"'           ——定义字段中使用的转义符为“””

lines terminated by '\r\n';          ——定义行分隔符为换行符

load data infile '/tmp/log.csv' into table log fields terminated by ',';

查看数据

select * from log;

mongodump和mongorestore介绍

mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。但使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作，则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。

mongodump用法如下：

mongodump --help

参数说明：

-h:指明数据库宿主机的IP

-u:指明数据库的用户名

-p:指明数据库的密码

-d:指明数据库的名字

-c:指明collection的名字

-o:指明到要导出的文件名

-q:指明导出数据的过滤条件

-j:并行备份的线程数默认是4

--oplog  备份的同时备份oplog

mongodump和mongorestore基本使用

1、创建备份文件存放目录（MongoDB）

mkdir /mongodb/backup /mongodb/backup{1..5}

2、全库备份（MongoDB）

mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup

查看备份文件

3、备份单库world库（MongoDB）

mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -o /mongodb/backup1

查看备份文件

4、备份haha库下的log集合（MongoDB）

mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log -o /mongodb/backup2

查看备份文件

5、压缩备份全库（MongoDB）

mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup3 --gzip

对比全库备份和压缩全库备份的占用大小

压缩备份后占用空间更小

6、压缩备份单库haha库（MongoDB）

mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -o /mongodb/backup4 --gzip

7、压缩备份单表，world库中的city集合（MongoDB）

mongodump -uroot -p root123 --port 27017 --authenticationDatabase admin -d world -c city -o /mongodb/backup5 --gzip

8、恢复world库（MongoDB）

先删除world库

mongo --port 27017 admin

show dbs

use world

db.dropDatabase()

show dbs

恢复

mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world /mongodb/backup/world/

查看数据库

mongo --port 27017 admin

show dbs

9、恢复压缩备份haha库下的log集合（MongoDB）

删除haha库下的log集合

use haha

show tables

db.log.drop()

show tables

恢复

mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d haha -c log --gzip /mongodb/backup3/haha/log.bson.gz

查看数据

mongo --port 27017 admin

use haha

show tables

mongodump和mongorestore高级企业应用（oplog）

注意：这是replica set或者master/slave模式专用

oplog介绍

在replica set中oplog是一个定容集合（capped collection），它的默认大小是磁盘空间的5%（可以通过--oplogSizeMB参数修改），位于local库的db.oplog.rs，有兴趣可以看看里面到底有些什么内容。其中记录的是整个mongod实例一段时间内数据库的所有变更（插入/更新/删除）操作。当空间用完时新记录自动覆盖最老的记录。其覆盖范围被称作oplog时间窗口。需要注意的是，因为oplog是一个定容集合，所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化。

实验环境

三台MongoDB或者实例，本人使用三个实例分别为（28017、28018、28019）

实验步骤

1、创建多实例MongoDB目录（MongoDB）

mkdir -p /mongodb/280{17..19}/{conf,data,log}

2、创建配置文件（MongoDB）

cat > /mongodb/28017/conf/mongod.conf <<EOF

systemLog:

  destination: file

  path: /mongodb/28017/log/mongodb.log

  logAppend: true

storage:

  journal:

    enabled: true

  dbPath: /mongodb/28017/data

  directoryPerDB: true

  #engine: wiredTiger

  wiredTiger:

    engineConfig:

      cacheSizeGB: 1

      directoryForIndexes: true

    collectionConfig:

      blockCompressor: zlib

    indexConfig:

      prefixCompression: true

processManagement:

  fork: true

net:

  bindIp: 192.168.8.5,127.0.0.1

  port: 28017

replication:

  oplogSizeMB: 2048

  replSetName: my_repl

EOF

cp  /mongodb/28017/conf/mongod.conf  /mongodb/28018/conf/

cp  /mongodb/28017/conf/mongod.conf  /mongodb/28019/conf/

sed 's#28017#28018#g' /mongodb/28018/conf/mongod.conf -i

sed 's#28017#28019#g' /mongodb/28019/conf/mongod.conf -i

3、启动MongoDB多实例（MongoDB）

mongod -f /mongodb/28017/conf/mongod.conf

mongod -f /mongodb/28018/conf/mongod.conf

mongod -f /mongodb/28019/conf/mongod.conf

netstat -anpt | grep mongod

4、配置复制集（1主2从）（MongoDB）

mongo -port 28017 admin

config = {_id: 'my_repl', members: [

{_id: 0, host: '192.168.8.5:28017'},

{_id: 1, host: '192.168.8.5:28018'},

{_id: 2, host: '192.168.8.5:28019'}]

}

初始化副本集

rs.initiate(config)

自动选择主从

输入命令前面变成复制集的状态，一开始是SECONARY等待变成PRIMARY

查看复制集状态

rs.status()

5、查看操作日志（MongoDB）

use local

db.oplog.rs.find().pretty()

6、查看当前oplog时间窗口预计值（MongoDB）

rs.printReplicationInfo()

oplog 配合mongodump实现热备

背景：

每天0点全备，oplog恢复窗口为48小时。某天，上午10点base.c1业务表被误删除。

恢复思路：

1.停应用

2.找测试库

3.恢复昨天晚上全备

4.截取全备之后到base.c1误删除时间点的oplog，并恢复到测试库

5.将误删除表导出，恢复到生产库

1、先写入原始数据（MongoDB）

mongo --port 28017

use base

for(var i = 1;i < 20;i++) { db.c1.insert({a:i});}

查看数据

show tables

db.c1.count()

2、进行全备（MongoDB）

创建备份目录

mkdir /mongodb/oplog

mongodump --port 28017 --oplog -o /mongodb/oplog/

--oplog功能：在备份同时将备份过程中产生的日志进行备份

查看备份文件

oplog.bson是自动备份的日志

3、再次写入数据（MongoDB）

mongo --port 28017

use base

for(var i = 1;i < 20;i++) { db.c1.insert({a:i});}

查看数据

db.c1.count()

4、模拟上午10点误删除c1表（MongoDB）

db.c1.drop()

5、备份oplog.rs表（MongoDB）

mongodump --port 28017 -d local -c oplog.rs -o /mongodb/oplog/

6、截取oplog（MongoDB）

mongo --port 28017

use local

查看oplog日志中的其他操作“i”是insert操作，“u”是update操作，“d”是delete操作，“c”是其他操作

db.oplog.rs.find({op:"c"}).pretty()

获取到oplog误删除时间点位置“1736930382”

7、恢复全备+oplog日志（MongoDB）

cd /mongodb/oplog/local/

cp oplog.rs.bson ../oplog.bson

mongorestore --port 28017 --oplogReplay --oplogLimit "1736930382:1" --drop /mongodb/oplog/

8、查看数据（MongoDB）

mongo --port 28017

use base

show tables

db.c1.count()

误删除数据已恢复

分片集群的备份思路

1、你要备份什么？

config server

shard 节点

复制集单独进行备份

2、备份有什么困难和问题

1）chunk迁移的问题

人为控制在备份的时候，避开迁移的时间窗口

2）shard节点之间的数据不在同一时间点。

选业务量较少的时候

Ops Manager 收费软件：监控免费，备份收费