Canal环境搭建并实现和ES数据同步

作者：田超凡

日期：2025年6月7日

Canal安装，启动端口11111、8082：

安装canal-deployer服务端：

https://github.com/alibaba/canal/releases/1.1.7/canal.deployer-1.1.7.tar.gz

 

cd  /opt/homebrew/etc

mkdir canal-deployer

tar -zxvf canal.deployer-1.1.7.tar.gz

 

修改配置文件：

vi conf/canal.properties

canal.ip = 127.0.0.1

 

vi example/instance.properties

# 需要同步数据的MySQL地址

canal.instance.master.address=127.0.0.1:3306

canal.instance.master.journal.name=

canal.instance.master.position=

canal.instance.master.timestamp=

canal.instance.master.gtid=

# 用于同步数据的数据库账号

canal.instance.dbUsername=账号

# 用于同步数据的数据库密码

canal.instance.dbPassword=密码

# 数据库连接编码

canal.instance.connectionCharset = UTF-8

# 需要订阅binlog的表过滤正则表达式

canal.instance.filter.regex=.*\\..*

 

启动canal-deployer

到 bin 目录下，执行命令：./startup.sh

日志：logs/canal

 

踩坑：

1 canal-deployer启动报错

canal/logs/canal/canal_stdout.log 报错：

Unrecognized VM option 'AggressiveOpts'Error: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.

Plain Text

 

解决方案：

修改canal/bin/startup.sh：

移除AggressiveOpts、UseBiasedLocking 等 JDK 21中已经不在支持的配置，重新启动.

 

2 安装canal-adapter客户端：

https://github.com/alibaba/canal/releases/1.1.7/canal.adapter-1.1.7.tar.gz

 

cd  /opt/homebrew/etc

mkdir canal-adapter

tar -zxvf canal.adapter-1.1.7.tar.gz

 

修改配置文件：

vi conf/application.properties

port:8082

踩坑：hosts要配置成：http://127.0.0.1:9200，不然会报错

java.lang.RuntimeException: java.lang.IllegalArgumentException: Illegal character in scheme name at index 0: 127.0.0.1:9200

 

继续修改es8配置文件：

vi conf/es8/mytest_user.yml

dataSourceKey: defaultDS

destination: example

groupId: g1

esMapping:

  _index: users

  _id: _id

  #  upsert: true

  #  pk: id

  sql: "select t.id as _id, t.nick_name as  nick_name, t.state as state,t.telephone as telephone  from users as t"

  #  objFields:

  #    _labels: array:;

  #etlCondition: "where a.c_time>={}"

  commitBatch: 3000  

 

修改bin/start.sh

移除AggressiveOpts、UseBiasedLocking 等 JDK 21中已经不在支持的配置，重新启动.

 

启动canal-adapter客户端：

cd canal-adapter/bin

./startup.sh

日志目录：logs/adapter/adapter.log

踩坑：必须先启动mysql8和es8，否则无法启动canal-deployer和canal-adapter

 

canal-deployer服务端(Canal Server)运行端口：11111

canal-adapter客户端(Canal Client)运行端口：8082

 

 

 

测试同步mysql到es8：

登录Kibana，DevTool:

PUT users

{

  "mappings": {

    "properties": {

      "nickname": {

        "type": "text"

      },

      "telephone": {

        "type": "text"

      },

      "state": {

        "type": "text"

      }

    }

  }

}

 

user表插入一条数据:

INSERT INTO `users` (`id`,`gmt_create`,`gmt_modified`,`nick_name`,`password_hash`,`state`,`telephone`,`user_role`) VALUES (14,'2024-04-18 17:47:40','2024-04-18 17:47:42','test11111','c2975f0faec10adca0ecd729c8cbc0aa','INIT','13000000000','CUSTOMER')

 

GET users/_search

{"_source": ["nick_name","telephone","state"],

  "query": {

    "match": {

      "nick_name": "test11111"

    }

  }

}

 

 

DELETE users