当前位置： 首页 > news >正文

Golang通过alibabaCanal订阅MySQLbinlog

news 2025/11/25 8:08:58

最近在做redis和MySQL的缓存一致性，一个方式是订阅MySQL的BinLog文件，我们使用阿里巴巴的Canal的中间件来做。

Canal是服务端和客户端两部分构成，我们需要先启动Canal的服务端，然后在Go程序里面连接Canal服务端，即可监听到MySQL的数据变化。
 

启动Canal服务

QuickStart · alibaba/canal Wiki (github.com)

步骤都很简单，我们重点看一下/tmp/canal/conf/example/instance.properties里面配置文件

 Canal之所以能订阅MySQL的binlog是把自己伪装成了一个MySQL从机，主机会不停的给MySQL的从机传输binlog文件。 等于启动Canal服务的过程包含了主从复制的配置过程，主从服务的过程是告诉从机主机的账号密码

 补充

基于docker启动的canal服务，按照官方文档操作出现了问题，所以使用了普通的启动方式

Go连接Canal服务端

 Canal支持Go连接
withlin/canal-go: Alibaba mysql database binlog incremental subscription & consumer components Canal's golang client[阿里巴巴mysql数据库binlog的增量订阅&消费组件 Canal 的 go 客户端 ] https://github.com/alibaba/canalhttps://github.com/withlin/canal-go

 官方文档上面没有任何说明，我们需要自己翻一下代码

 把代码拷贝下来即可

关于上面配置信息，具体可以参考Go操作阿里开源的框架Canal用于MySQL实时binlog同步 - 简书 (jianshu.com)

还有最最重要的一步，开启阿里云服务器安全组11111端口

监听数据变化

相关文章：

Golang通过alibabaCanal订阅MySQLbinlog

最近在做redis和MySQL的缓存一致性，一个方式是订阅MySQL的BinLog文件，我们使用阿里巴巴的Canal的中间件来做。 Canal是服务端和客户端两部分构成，我们需要先启动Canal的服务端，然后在Go程序里面连接Canal服务端，即可监…...

编程日记 2023/8/13 1:04:44

Python flask-restful 框架讲解

1、简介 Django 和 Flask 一直都是 Python 开发 Web 的首选，而 Flask 的微内核更适用于现在的云原生微服务框架。但是 Flask 只是一个微型的 Web 引擎，所以我们需要扩展 Flask 使其发挥出更强悍的功能。 python flask框架详解：https://blog.…...

编程日记 2023/8/13 1:03:43

MySQL_约束、多表关系

约束 概念：就是用来作用表中字段的规则，用于限制存储在表中的数据。 目的：保证数据库中数据的正确性，有效性和完整性。 约束演示 #定义一个学生表，表中要求如下： #sn 表示学生学号，要求使用 …...

编程日记 2023/8/13 1:02:42

在Qt中使用LoadLibrary无法加载DLL

Qt系列文章目录 文章目录 Qt系列文章目录前言一、问题分析 前言 最近因项目需要使用qt做开发，之前使用LoadLibrary加载dll成功，很庆幸，当一切都那么顺风顺水的时候，测试同事却发现，在windows平台上个别电脑上加载dll会…...

编程日记 2023/8/13 1:01:40

如何将区块链新闻稿发布到海外媒体?

随着区块链技术的不断发展，越来越多的区块链项目涌现出来，各大媒体也开始关注和报道区块链新闻。然而，如何将区块链新闻稿发布到海外媒体成为了许多区块链项目所面临的难题。本文将介绍一些有效的方法，帮助区块链项目将新闻稿发布…...

编程日记 2023/8/13 1:00:39

基于 CentOS 7 构建 LVS-DR 群集。

1.准备实验环境 本次实验我准备了4台虚拟机 DS:DIP--192.168.163.138 VIP--192.168.163.200 RIP1(web1)--192.168.163.140 RIP2(web2)--192.168.163.141 Client：user--192.168.163.142 2.配置服务器环境 1)搭建简易的web服务 RIP1 [rootlocalhost ~]# yum …...

编程日记 2023/8/13 0:59:37

防火墙组建双击热备后，点击管理对端设备，老是打不开，怎么办？

环境： 防火墙 8.0.75 AF-2000-FH2130B-SC 问题描述： 防火墙组建双击热备后，点击管理对端设备，老是打不开，怎么办？ 浏览器老是加载 解决方案： 1.打开设置查看双机连接的心跳接口是哪个端口 …...

编程日记 2023/8/13 0:58:35

【Kubernetes】Kubernetes之Pod详解

Pod 一、 Pod1. Pod 基础概念2. 在 Kubrenetes 集群中 Pod 使用方式2.1 pasue 容器2.2 kubernetes 中的 pause 容器提供的功能 3. Pod 的概念和结构组成4. Pod 的分类5. Pod 容器的分类5.1 基础容器（infrastructure container）5.2 初始化容器&#xff08…...

编程日记 2023/8/13 0:57:34

电商与客服系统完美对接指南源码-无缝对接唯一客服系统-提升电商客户体验...

提升电商客户体验，无缝对接唯一客服系统，助您商城腾飞！ 在如今竞争激烈的电商领域，除了优质的商品和吸引人的价格，出色的客户服务同样不可或缺。一个高效的客服系统能够为您的电商商城带来更多的机会，建立顾…...

编程日记 2023/8/13 0:56:32

新知识：Monkey 改进版之 App Crawler

原生Monkey 大家知道Monkey是Android平台上进行压力稳定性测试的工具，通过Monkey可以模拟用户触摸屏幕、滑动、按键等伪随机用户事件来对设备上的程序进行压力测试。而原生的Android Monkey存在一些缺陷： 事件太过于随机，测试有效性大打折扣…...

编程日记 2023/8/13 0:55:31

黑马头条项目学习--Day3: 自媒体文章发布

Day3: 自媒体文章发布 Day3: 自媒体文章发布1) 素材管理-图片上传a) 前期微服务搭建b) 具体实现 2) 素材管理-图片列表a) 接口定义b) 具体实现 3) 素材管理-照片删除/收藏a) 图片删除a1) 接口定义a2) 代码实现 b) 收藏与取消b1) 接口定义b2) 代码实现 4) 文章管理-频道列表查询…...

编程日记 2023/8/13 0:54:30

使用frp实现内网穿透

1、介绍 ​ 当我们想把内网的一些资源暴露在公网上时，可以使用内网穿透功能。比如公司的内网服务器，部署了平时需要开发的项目，但是回到家中无法访问，就可以使用内网穿透，将公司内网的接口映射到一台公网的服务器上&a…...

编程日记 2023/8/13 0:53:29

安装 opendr 踩坑记

复现早期的优化算法需要用到opendr，踩坑一天记录！！！ 测试是否成功安装的命令 >>> import opendr >>> opendr.demo("texture")失败案例 python 3.8.15 numpy1.23.0 mayavi4.8.1 chumpy0.70 cpython…...

编程日记 2023/8/13 0:52:26

各地区-各行业法人单位、区划数63个指标（2010-2022年）

一、数据介绍 数据名称：各地区-各行业法人单位、区划数63个指标 数据年份：2010-2022年（法人单位至2021年） 数据样本：404条 数据来源：自我整理 二、指标说明 行政区划代码 地区 长江经济带 经度 纬…...

编程日记 2023/8/13 0:51:25

W5500-EVB-PICO作为TCP Client 进行数据回环测试（五）

前言 上一章我们用W5500-EVB-PICO开发板通过DNS解析www.baidu.com（百度域名）成功得到其IP地址，那么本章我们将用我们的开发板作为客户端去连接服务器，并做数据回环测试：收到服务器发送的数据，并回传给服务器…...

编程日记 2023/8/13 0:50:24

web前端面试--递归（斐波那契数列）

web面试题 本人是一个web前端开发工程师，主要是vue框架，整理了一些面试题，今后也会一直更新，有好题目的同学欢迎评论区分享 ;-） web面试题专栏：点击此处 文章目录 web面试题定义源码测试示例 之前去笔试&…...

编程日记 2023/8/13 0:49:23

Vue3 Props组件简单应用(父组件获取子组件数据)

去官网学习→Props | Vue.js 运行示例&#xff1a; 代码&#xff1a;App.vue <template><img alt"Vue logo" src"./assets/logo.png"><h2>Vue Props数据传递</h2><h4>子组件中的数据&#xff1a;{{ content }}</h4>…...

编程日记 2023/8/13 0:48:21

Mybatis查询

返回实体类&#xff0c;必须指定返回类型&#xff0c; resultType不能省略&#xff0c;并且数据库字段名与实体类不一致会填充NULL&#xff0c;实体类我们一般都是驼峰&#xff0c;数据库字段一般都是下划线&#xff0c;所以在查询的时候可以起别名解决,属性填充本质上调用的是…...

编程日记 2023/8/13 0:47:20

如何让ES低成本、高性能？滴滴落地ZSTD压缩算法的实践分享

前文分别介绍了滴滴自研的ES强一致性多活是如何实现的、以及如何提升ES的性能潜力。由于滴滴ES日志场景每天写入量在5PB-10PB量级&#xff0c;写入压力和业务成本压力大&#xff0c;为了提升ES的写入性能&#xff0c;我们让ES支持ZSTD压缩算法&#xff0c;本篇文章详细展开滴滴…...

编程日记 2023/8/13 0:46:19

[数据集][目标检测]PCB板缺陷目标检测数据集VOC格式693张6类别

数据集格式&#xff1a;Pascal VOC格式(不包含分割路径的txt文件和yolo格式的txt文件&#xff0c;仅仅包含jpg图片和对应的xml) 图片数量(jpg文件个数)&#xff1a;693 标注数量(xml文件个数)&#xff1a;693 标注类别数&#xff1a;6 标注类别名称:["missing_hole",…...

编程日记 2023/8/13 0:45:16

python/java环境配置

环境变量放一起 python&#xff1a; 1.首先下载Python Python下载地址&#xff1a;Download Python | Python.org downloads ---windows -- 64 2.安装Python 下面两个&#xff0c;然后自定义&#xff0c;全选 可以把前4个选上 3.环境配置 1&#xff09;搜高级系统设置 2…...

编程新知 2025/11/25 0:57:10

DAY 47

三、通道注意力 3.1 通道注意力的定义 # 新增&#xff1a;通道注意力模块&#xff08;SE模块&#xff09; class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...

编程新知 2025/11/24 11:43:46

数据库分批入库

今天在工作中&#xff0c;遇到一个问题&#xff0c;就是分批查询的时候&#xff0c;由于批次过大导致出现了一些问题&#xff0c;一下是问题描述和解决方案&#xff1a; 示例&#xff1a; // 假设已有数据列表 dataList 和 PreparedStatement pstmt int batchSize 1000; // …...

编程新知 2025/7/18 1:50:27

Unit 1 深度强化学习简介

Deep RL Course ——Unit 1 Introduction 从理论和实践层面深入学习深度强化学习。学会使用知名的深度强化学习库&#xff0c;例如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。在独特的环境中训练智能体&#xff0c;比如 SnowballFight、Huggy the Do…...

编程新知 2025/9/18 1:39:03

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

编程新知 2025/11/18 5:41:46

C# 求圆面积的程序（Program to find area of a circle）

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...

编程新知 2025/11/22 16:35:21

PAN/FPN

import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...

编程新知 2025/10/20 4:39:36

基于IDIG-GAN的小样本电机轴承故障诊断

目录 🔍 核心问题 一、IDIG-GAN模型原理 1. 整体架构 2. 核心创新点 (1) ​梯度归一化（Gradient Normalization）​​ (2) ​判别器梯度间隙正则化（Discriminator Gradient Gap Regularization）​​ (3) ​自注意力机制（Self-Attention）​​ 3. 完整损失函数 二…...

编程新知 2025/11/18 19:24:47

Redis：现代应用开发的高效内存数据存储利器

一、Redis的起源与发展 Redis最初由意大利程序员Salvatore Sanfilippo在2009年开发&#xff0c;其初衷是为了满足他自己的一个项目需求&#xff0c;即需要一个高性能的键值存储系统来解决传统数据库在高并发场景下的性能瓶颈。随着项目的开源&#xff0c;Redis凭借其简单易用、…...

编程新知 2025/11/15 1:41:43

【从零开始学习JVM | 第四篇】类加载器和双亲委派机制(高频面试题)

前言&#xff1a; 双亲委派机制对于面试这块来说非常重要&#xff0c;在实际开发中也是经常遇见需要打破双亲委派的需求&#xff0c;今天我们一起来探索一下什么是双亲委派机制&#xff0c;在此之前我们先介绍一下类的加载器。 目录 ​编辑 前言&#xff1a; 类加载器 1. …...

编程新知 2025/11/25 4:27:11