DBSyncer开源数据同步中间件

一、简介

DBSyncer(英[dbsɪŋkɜː(r)]，美[dbsɪŋkɜː(r) 简称dbs)是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

二、安装

临时启动

docker run -d --name dbsyncer -p 18686:18686 crazylife/dbsyncer-web:latest

拷贝数据

mkdir -p /data/dbsyncer

docker cp dbsyncer:/app /data/dbsyncer/

设置文件权限

chmod 777 -R /data/dbsyncer

正式启动

docker run -d \
--name dbsyncer \
-p 18686:18686 \
-e TZ=Asia/Shanghai \
-v /data/dbsyncer/app:/app \
crazylife/dbsyncer-web:latest

三、配置mysql表实时同步

访问web页面

http://192.168.10.13:18686

默认用户名密码，都是admin

登录之后，效果如下：

接下来，要实现，将mid_test库下的表players，同步到dms_test库下的表players2

点击添加链接

选择类型为：MySQL

名称：dev-dms-mid_test

账号：root

密码：***

URL：这里要注意修改为mysql地址，以及数据库名

最后点击保存

 然后再添加驱动dev-dms-dms_test

点击添加驱动

数据源，选择：dev-dms-mid_test

目标源，选择：dev-dms-dms_test

名称：test1

点击上面的保存

点击增量同步，注意：全量同步，是一次性任务，因此后续的表修改不会同步，所以这里必须选增量同步。

数据源表，选择players

目标源表，选择players2

点击添加

 

高级设置，保持默认即可，点击保存按钮

点击齿轮图标

点击运行

这里会出现运行中，总数会显示，这个数字会动态显示，挺不错的。

四、测试数据写入

使用python脚本，直接写入1万条数据

import pymysql# 替换为您的数据库信息
connection = pymysql.connect(host='mysql-xxx.mysql.database.aliyun.com',port=3306,user='root',password='***',database='mid_test',charset='utf8mb4',cursorclass=pymysql.cursors.DictCursor)try:with connection.cursor() as cursor:for i in range(0,10000):# SQL 插入语句sql = """insert into players (player_id,team_id,player_name,height) values (200%s,200%s,'韦德%s','1%s');"""%(i,i,i,i)print(sql)cursor.execute(sql)# 提交事务connection.commit()# print(connection.__dict__)
except pymysql.MySQLError as e:print(e)
finally:connection.close()

执行脚本，效果如下：

上面的也会动态显示数字，同步1万条

注意：增量同步，支持表数据的增删改查，但是不支持DDL语句，比如：修改表结构，添加索引，截断表等操作。