当前位置： 首页 > news >正文

Golang通过alibabaCanal订阅MySQLbinlog

news 2026/2/9 15:32:43

最近在做redis和MySQL的缓存一致性，一个方式是订阅MySQL的BinLog文件，我们使用阿里巴巴的Canal的中间件来做。

Canal是服务端和客户端两部分构成，我们需要先启动Canal的服务端，然后在Go程序里面连接Canal服务端，即可监听到MySQL的数据变化。
 

启动Canal服务

QuickStart · alibaba/canal Wiki (github.com)

步骤都很简单，我们重点看一下/tmp/canal/conf/example/instance.properties里面配置文件

 Canal之所以能订阅MySQL的binlog是把自己伪装成了一个MySQL从机，主机会不停的给MySQL的从机传输binlog文件。 等于启动Canal服务的过程包含了主从复制的配置过程，主从服务的过程是告诉从机主机的账号密码

 补充

基于docker启动的canal服务，按照官方文档操作出现了问题，所以使用了普通的启动方式

Go连接Canal服务端

 Canal支持Go连接
withlin/canal-go: Alibaba mysql database binlog incremental subscription & consumer components Canal's golang client[阿里巴巴mysql数据库binlog的增量订阅&消费组件 Canal 的 go 客户端 ] https://github.com/alibaba/canalhttps://github.com/withlin/canal-go

 官方文档上面没有任何说明，我们需要自己翻一下代码

 把代码拷贝下来即可

关于上面配置信息，具体可以参考Go操作阿里开源的框架Canal用于MySQL实时binlog同步 - 简书 (jianshu.com)

还有最最重要的一步，开启阿里云服务器安全组11111端口

监听数据变化

相关文章：

Golang通过alibabaCanal订阅MySQLbinlog

最近在做redis和MySQL的缓存一致性，一个方式是订阅MySQL的BinLog文件，我们使用阿里巴巴的Canal的中间件来做。 Canal是服务端和客户端两部分构成，我们需要先启动Canal的服务端，然后在Go程序里面连接Canal服务端，即可监…...

编程日记 2023/8/13 1:04:44

Python flask-restful 框架讲解

1、简介 Django 和 Flask 一直都是 Python 开发 Web 的首选，而 Flask 的微内核更适用于现在的云原生微服务框架。但是 Flask 只是一个微型的 Web 引擎，所以我们需要扩展 Flask 使其发挥出更强悍的功能。 python flask框架详解：https://blog.…...

编程日记 2023/8/13 1:03:43

MySQL_约束、多表关系

约束 概念：就是用来作用表中字段的规则，用于限制存储在表中的数据。 目的：保证数据库中数据的正确性，有效性和完整性。 约束演示 #定义一个学生表，表中要求如下： #sn 表示学生学号，要求使用 …...

编程日记 2023/8/13 1:02:42

在Qt中使用LoadLibrary无法加载DLL

Qt系列文章目录 文章目录 Qt系列文章目录前言一、问题分析 前言 最近因项目需要使用qt做开发，之前使用LoadLibrary加载dll成功，很庆幸，当一切都那么顺风顺水的时候，测试同事却发现，在windows平台上个别电脑上加载dll会…...

编程日记 2023/8/13 1:01:40

如何将区块链新闻稿发布到海外媒体?

随着区块链技术的不断发展，越来越多的区块链项目涌现出来，各大媒体也开始关注和报道区块链新闻。然而，如何将区块链新闻稿发布到海外媒体成为了许多区块链项目所面临的难题。本文将介绍一些有效的方法，帮助区块链项目将新闻稿发布…...

编程日记 2023/8/13 1:00:39

基于 CentOS 7 构建 LVS-DR 群集。

1.准备实验环境 本次实验我准备了4台虚拟机 DS:DIP--192.168.163.138 VIP--192.168.163.200 RIP1(web1)--192.168.163.140 RIP2(web2)--192.168.163.141 Client：user--192.168.163.142 2.配置服务器环境 1)搭建简易的web服务 RIP1 [rootlocalhost ~]# yum …...

编程日记 2023/8/13 0:59:37

防火墙组建双击热备后，点击管理对端设备，老是打不开，怎么办？

环境： 防火墙 8.0.75 AF-2000-FH2130B-SC 问题描述： 防火墙组建双击热备后，点击管理对端设备，老是打不开，怎么办？ 浏览器老是加载 解决方案： 1.打开设置查看双机连接的心跳接口是哪个端口 …...

编程日记 2023/8/13 0:58:35

【Kubernetes】Kubernetes之Pod详解

Pod 一、 Pod1. Pod 基础概念2. 在 Kubrenetes 集群中 Pod 使用方式2.1 pasue 容器2.2 kubernetes 中的 pause 容器提供的功能 3. Pod 的概念和结构组成4. Pod 的分类5. Pod 容器的分类5.1 基础容器（infrastructure container）5.2 初始化容器&#xff08…...

编程日记 2023/8/13 0:57:34

电商与客服系统完美对接指南源码-无缝对接唯一客服系统-提升电商客户体验...

提升电商客户体验，无缝对接唯一客服系统，助您商城腾飞！ 在如今竞争激烈的电商领域，除了优质的商品和吸引人的价格，出色的客户服务同样不可或缺。一个高效的客服系统能够为您的电商商城带来更多的机会，建立顾…...

编程日记 2023/8/13 0:56:32

新知识：Monkey 改进版之 App Crawler

原生Monkey 大家知道Monkey是Android平台上进行压力稳定性测试的工具，通过Monkey可以模拟用户触摸屏幕、滑动、按键等伪随机用户事件来对设备上的程序进行压力测试。而原生的Android Monkey存在一些缺陷： 事件太过于随机，测试有效性大打折扣…...

编程日记 2023/8/13 0:55:31

黑马头条项目学习--Day3: 自媒体文章发布

Day3: 自媒体文章发布 Day3: 自媒体文章发布1) 素材管理-图片上传a) 前期微服务搭建b) 具体实现 2) 素材管理-图片列表a) 接口定义b) 具体实现 3) 素材管理-照片删除/收藏a) 图片删除a1) 接口定义a2) 代码实现 b) 收藏与取消b1) 接口定义b2) 代码实现 4) 文章管理-频道列表查询…...

编程日记 2023/8/13 0:54:30

使用frp实现内网穿透

1、介绍 ​ 当我们想把内网的一些资源暴露在公网上时，可以使用内网穿透功能。比如公司的内网服务器，部署了平时需要开发的项目，但是回到家中无法访问，就可以使用内网穿透，将公司内网的接口映射到一台公网的服务器上&a…...

编程日记 2023/8/13 0:53:29

安装 opendr 踩坑记

复现早期的优化算法需要用到opendr，踩坑一天记录！！！ 测试是否成功安装的命令 >>> import opendr >>> opendr.demo("texture")失败案例 python 3.8.15 numpy1.23.0 mayavi4.8.1 chumpy0.70 cpython…...

编程日记 2023/8/13 0:52:26

各地区-各行业法人单位、区划数63个指标（2010-2022年）

一、数据介绍 数据名称：各地区-各行业法人单位、区划数63个指标 数据年份：2010-2022年（法人单位至2021年） 数据样本：404条 数据来源：自我整理 二、指标说明 行政区划代码 地区 长江经济带 经度 纬…...

编程日记 2023/8/13 0:51:25

W5500-EVB-PICO作为TCP Client 进行数据回环测试（五）

前言 上一章我们用W5500-EVB-PICO开发板通过DNS解析www.baidu.com（百度域名）成功得到其IP地址，那么本章我们将用我们的开发板作为客户端去连接服务器，并做数据回环测试：收到服务器发送的数据，并回传给服务器…...

编程日记 2023/8/13 0:50:24

web前端面试--递归（斐波那契数列）

web面试题 本人是一个web前端开发工程师，主要是vue框架，整理了一些面试题，今后也会一直更新，有好题目的同学欢迎评论区分享 ;-） web面试题专栏：点击此处 文章目录 web面试题定义源码测试示例 之前去笔试&…...

编程日记 2023/8/13 0:49:23

Vue3 Props组件简单应用(父组件获取子组件数据)

去官网学习→Props | Vue.js 运行示例&#xff1a; 代码&#xff1a;App.vue <template><img alt"Vue logo" src"./assets/logo.png"><h2>Vue Props数据传递</h2><h4>子组件中的数据&#xff1a;{{ content }}</h4>…...

编程日记 2023/8/13 0:48:21

Mybatis查询

返回实体类&#xff0c;必须指定返回类型&#xff0c; resultType不能省略&#xff0c;并且数据库字段名与实体类不一致会填充NULL&#xff0c;实体类我们一般都是驼峰&#xff0c;数据库字段一般都是下划线&#xff0c;所以在查询的时候可以起别名解决,属性填充本质上调用的是…...

编程日记 2023/8/13 0:47:20

如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级&#xff0c;写入压力和业务成本压力大&#xff0c;为了提升ES的写入性能&#xff0c;我们让ES支持ZSTD压缩算法&#xff0c;本篇文章详细展开滴滴…...

编程日记 2023/8/13 0:46:19

[数据集][目标检测]PCB板缺陷目标检测数据集VOC格式693张6类别

数据集格式&#xff1a;Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件&#xff0c;仅仅包含jpg图片和对应的xml) 图片数量(jpg文件个数)&#xff1a;693 标注数量(xml文件个数)&#xff1a;693 标注类别数&#xff1a;6 标注类别名称:["missing_hole",…...

编程日记 2023/8/13 0:45:16

云启出海，智联未来｜阿里云网络「企业出海」系列客户沙龙上海站圆满落地

借阿里云中企出海大会的东风&#xff0c;以**「云启出海&#xff0c;智联未来&#xff5c;打造安全可靠的出海云网络引擎」为主题的阿里云企业出海客户沙龙云网络&安全专场于5.28日下午在上海顺利举办&#xff0c;现场吸引了来自携程、小红书、米哈游、哔哩哔哩、波克城市、…...

编程新知 2026/1/30 0:00:28

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2026/2/8 12:24:34

HTML 列表、表格、表单

1 列表标签 作用&#xff1a;布局内容排列整齐的区域 列表分类&#xff1a;无序列表、有序列表、定义列表。 例如&#xff1a; 1.1 无序列表 标签&#xff1a;ul 嵌套 li&#xff0c;ul是无序列表&#xff0c;li是列表条目。 注意事项&#xff1a; ul 标签里面只能包裹 li…...

编程新知 2026/1/24 22:33:33

linux 下常用变更-8

1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行&#xff0c;YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID&#xff1a; YW3…...

编程新知 2025/10/7 15:08:22

12.找到字符串中所有字母异位词

&#x1f9e0; 题目解析 题目描述&#xff1a; 给定两个字符串 s 和 p&#xff0c;找出 s 中所有 p 的字母异位词的起始索引。 返回的答案以数组形式表示。 字母异位词定义&#xff1a; 若两个字符串包含的字符种类和出现次数完全相同&#xff0c;顺序无所谓&#xff0c;则互为…...

编程新知 2026/1/31 12:52:29

3403. 从盒子中找出字典序最大的字符串 I

3403. 从盒子中找出字典序最大的字符串 I 题目链接&#xff1a;3403. 从盒子中找出字典序最大的字符串 I 代码如下&#xff1a; class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...

编程新知 2025/10/31 5:18:02

【JavaWeb】Docker项目部署

引言 之前学习了Linux操作系统的常见命令&#xff0c;在Linux上安装软件&#xff0c;以及如何在Linux上部署一个单体项目&#xff0c;大多数同学都会有相同的感受&#xff0c;那就是麻烦。 核心体现在三点&#xff1a; 命令太多了&#xff0c;记不住 软件安装包名字复杂&…...

编程新知 2026/2/4 16:07:02

鸿蒙DevEco Studio HarmonyOS 5跑酷小游戏实现指南

1. 项目概述 本跑酷小游戏基于鸿蒙HarmonyOS 5开发&#xff0c;使用DevEco Studio作为开发工具&#xff0c;采用Java语言实现&#xff0c;包含角色控制、障碍物生成和分数计算系统。 2. 项目结构 /src/main/java/com/example/runner/├── MainAbilitySlice.java // 主界…...

编程新知 2025/12/19 22:56:05

【生成模型】视频生成论文调研

工作清单 上游应用方向&#xff1a;控制、速度、时长、高动态、多主体驱动 类型工作基础模型WAN / WAN-VACE / HunyuanVideo控制条件轨迹控制ATI~镜头控制ReCamMaster~多主体驱动Phantom~音频驱动Let Them Talk: Audio-Driven Multi-Person Conversational Video Generation速…...

编程新知 2025/9/9 8:40:47

MacOS下Homebrew国内镜像加速指南（2025最新国内镜像加速）

macos brew国内镜像加速方法 brew install 加速formula.jws.json下载慢加速 &#x1f37a; 最新版brew安装慢到怀疑人生&#xff1f;别怕&#xff0c;教你轻松起飞&#xff01; 最近Homebrew更新至最新版&#xff0c;每次执行 brew 命令时都会自动从官方地址 https://formulae.…...

编程新知 2026/1/28 10:57:16