当前位置： 首页 > news >正文

Canal增量数据订阅和消费——原理详解

news 2026/3/30 11:51:32

文章目录

  • 简介
  • 工作原理
    • MySQL主备复制原理
    • canal 工作原理
  • Canal-HA机制
  • 应用场景
    • 同步缓存 Redis /全文搜索 ES
    • 下发任务
    • 数据异构

简介

canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。

早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

  1. 数据库镜像；
  2. 数据库实时备份；
  3. 索引构建和实时维护（拆分异构索引、倒排索引等）；
  4. 业务 cache 刷新；
  5. 带业务逻辑的增量数据处理；
    当前的 canal 支持源端 MySQL 的版本包括 5.1.x，5.5.x，5.6.x，5.7.x，8.0.x。

相关文章：

Canal增量数据订阅和消费——原理详解

文章目录 简介工作原理MySQL主备复制原理canal 工作原理Canal-HA机制应用场景同步缓存 Redis /全文搜索 ES下发任务数据异构简介 canal 翻译为管道，主要用途是基于 MySQL 数据库的增量日志 Binlog 解析，提供增量数据订阅和消费。 早期阿里巴巴因为杭州和美国双机房部署，存…...

编程日记 2023/5/17 21:52:41

为什么要使用线程池

Java线程的创建非常昂贵，需要JVM和OS（操作系统）配合完成大量的工作： (1)必须为线程堆栈分配和初始化大量内存块，其中包含至少1MB的栈内存。 (2)需要进行系统调用，以便在OS（操作系统）…...

编程日记 2023/5/15 20:53:29

在云服务部署前后端以及上传数据库

1.上传数据库(sql文件) 首先建立一个目录，用于存放要部署的sql文件，然后在此目录中进入mysql 进入后建立一个数据库，create database 数据库名 完成后，通过select * from 表名可以查到数据说明导入成功。 2.部署Maven后端 将Ma…...

编程日记 2023/5/22 12:42:30

Onedrive for Business迁移方案 | 分享一

文章目录 前言 一、Onedrive for Business迁移方案应用范围？ 1.准备目标平台 2.导出源平台数据 <...

编程日记 2023/4/29 4:05:06

pt01数据类型、语句选择

python01 pycharm常用快捷键 (1) 移动到本行开头&#xff1a;home键 (2) 移动到本行末尾&#xff1a;end键盘 (3) 注释代码&#xff1a;ctrl / (4) 复制行&#xff1a;ctrl d #光标放行上 (5) 删除行&#xff1a;shift delete (6) 选择列&#xff1a;shift alt 鼠标左键…...

编程日记 2023/5/27 14:21:17

ChatGPT 存在很大的隐私问题

当 OpenAI 发布时 2020 年 7 月的 GPT-3&#xff0c;它提供了用于训练大型语言模型的数据的一瞥。 根据一篇技术论文&#xff0c;从网络、帖子、书籍等中收集的数百万页被用于创建生成文本系统。 在此数据中收集的是您在网上分享的一些关于您自己的个人信息,这些数据现在让 O…...

编程日记 2023/5/26 20:09:47

图的迭代深度优先遍历

图的深度优先遍历（或搜索）类似于树的深度优先遍历（DFS）。这里唯一的问题是，与树不同，图可能包含循环，因此一个节点可能会被访问​​两次。为避免多次处理一个节点，请使用布尔访问数组。 例子： 输入： n = 4, e = 6 0 -> 1, 0 -> 2, 1 -> 2, 2 -> 0, …...

编程日记 2023/5/15 20:55:52

华为OD机试-开放日活动-2022Q4 A卷-Py/Java/JS

某部门开展Family Day开放日活动&#xff0c;其中有个从桶里取球的游戏&#xff0c;游戏规则如下:有N个容量一样的小桶等距排开&#xff0c;且每个小桶都默认装了数量不等的小球&#xff0c; 每个小桶装的小球数量记录在数组 bucketBallNums 中,游戏开始时&#xff0c;要求所有…...

编程日记 2023/5/13 21:28:33

两亲性聚合物：Lauric acid PEG Maleimide，Mal-PEG-Lauric acid，月桂酸PEG马来酰亚胺，试剂知识分享

Lauric acid PEG Maleimide&#xff0c;Lauric acid PEG Mal| 月桂酸PEG马来酰亚胺 | CAS&#xff1a;N/A | 端基取代率&#xff1a;95%一、试剂参数信息&#xff1a; 外观&#xff08;Appearance&#xff09;&#xff1a;灰白色/白色固体或粘性液体取决于分子量 溶解性&am…...

编程日记 2023/4/28 4:09:26

FB使用入口点函数例子

一、DLL的入口点 1.1 VFB的自带DLL模式入口 FB是把代码转成C&#xff08;GCC编译&#xff09;或者汇编&#xff08;GAS编译&#xff09;后编译的&#xff0c;本身就有一个main函数&#xff0c;所以在程序里其实不需要入口点&#xff0c;直接写就可以顺序执行&#xff0c;而有的…...

编程日记 2023/5/14 17:21:01

学习周报4/9

文章目录前言文献阅读摘要简介方法结论时间序列预测总结前言 本周阅读文献《Improving LSTM hydrological modeling with spatiotemporal deep learning and multi-task learning: A case study of three mountainous areas on the Tibetan Plateau》&#xff0c;文章主要基于…...

编程日记 2023/5/25 6:09:04

49天精通Java，第14天，Java泛型方法的定义和使用

目录一、基本介绍1、Java泛型的基本语法格式为&#xff1a;2、在使用泛型时&#xff0c;还需要注意以下几点&#xff1a;二、泛型的优点1、类型安全2、消除强制类型转换3、更高的效率4、潜在的性能收益三、常见泛型字母含义四、使用泛型时的注意事项五、泛型的使用1、泛型类2、…...

编程日记 2023/5/22 12:45:21

20230402英语学习

reasonable adj.合理的&#xff1b;通情达理的&#xff1b;明智的&#xff0c;理智的 abstract adj.抽象的&#xff0c;理论的 reflection n.反射; 映像, 倒影; 反映; 表达, 抒发; (长相等)酷似的人; 惟妙惟肖的事物; 深思; 考虑 instruction n.教授; 教导, 指导; 指示, 命令…...

编程日记 2023/5/22 12:45:37

Java知识复习（十七）SpringCloud

1、什么是微服务架构 微服务架构就是将单体的应用程序分成多个应用程序&#xff0c;这多个应用程序就成为微服务&#xff0c;每个微服务运行在自己的进程中&#xff0c;并使用轻量级的机制通信这些服务围绕业务能力来划分&#xff0c;并通过自动化部署机制来独立部署。这些服务…...

编程日记 2023/5/22 12:47:43

MySQL 数据库操作

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、关系模型二、数据库的操作 创建数据库查看数据库选择数据库删除数据库三、MySQL 数据库命名规范总结一、关系模型 关系数据库是建立在关系模型上的。而关系模…...

编程日记 2023/5/30 9:29:47

Cesium更换地球背景

设置背景图片 #cesiumContainer {width: 100%;height: 100%;background-image: url("/assets/image/背景.png"); }设置渲染, 用来去掉地球表面的大气效果的黑圈问题 this.viewer new Cesium.Viewer("cesiumContainer", {......// 设置渲染orderIndepe…...

编程日记 2023/5/25 15:51:06

测试人员的瓶颈期

测试人员的瓶颈期 做测试久了&#xff0c;会在所难免地碰到职业瓶颈期&#xff0c;这很正常&#xff0c;从事任何职业的工作人员都会遇到&#xff0c;关键是要看你如何去克服它。对优秀的软件测试人员来讲&#xff0c;除了要具备全面的技能、丰富的经验、良好的心理素质&#x…...

编程日记 2023/5/28 18:59:42

HTML5 ＜form＞ 标签

HTML5 <form> 标签 实例 带有两个输入字段和一个提交按钮的 HTML 表单&#xff1a; <form action"demo_form.php" method"get">First name: <input type"text" name"fname"><br>Last name: <input type&qu…...

编程日记 2023/5/22 12:49:47

编译技术-词法理论

一、文法的种类 1.1 分类定义 Chomsky 文法定义&#xff1a; G(V,Vt,P,Z)G (V, V_t, P, Z)G(V,Vt​,P,Z)VVV&#xff1a;符号集合VtV_tVt​&#xff1a;终结符号集合PPP &#xff1a;有穷规则集合ZZZ&#xff1a;是被符号&#xff0c;不能是终结符 关于不同文法的区别 类型…...

编程日记 2023/5/14 7:05:36

【20】核心易中期刊推荐——计算机科学电子通信（EI索引）

🚀🚀🚀NEW！！！核心易中期刊推荐栏目来啦 ~ 📚🍀 核心期刊在国内的应用范围非常广，核心期刊发表论文是国内很多作者晋升的硬性要求，并且在国内属于顶尖论文发表，具有很高的学术价值。在中文核心目录体系中，权威代表有CSSCI、CSCD和北大核心。其中，中文期刊的数…...

编程日记 2023/5/1 23:02:43

Qwen-Image-2512-SDNQ Web服务实战：WebUI下载功能与浏览器兼容性全平台测试

Qwen-Image-2512-SDNQ Web服务实战&#xff1a;WebUI下载功能与浏览器兼容性全平台测试 1. 项目概述与核心价值 今天我要和大家分享一个特别实用的AI图片生成项目——基于Qwen-Image-2512-SDNQ-uint4-svd-r32模型的Web服务。这个项目最大的亮点在于&#xff0c;它把复杂的AI图…...

编程新知 2026/3/30 11:25:49

知识管理工具选型指南：从Confluence、语雀到Notion、Sward的深度场景适配

1. 知识管理工具的核心价值与选型逻辑 第一次搭建团队知识库时&#xff0c;我犯了个典型错误——直接选了当时最火的工具。结果三个月后&#xff0c;技术团队抱怨Markdown支持太弱&#xff0c;产品团队嫌弃界面太复杂&#xff0c;最终这个价值十几万的系统成了摆设。这个教训让…...

编程新知 2026/3/30 11:01:32

从RS-485到MQTT：手把手教你为BMS Modbus设备搭建物联网网关（Node-RED实战）

从RS-485到MQTT&#xff1a;手把手教你为BMS Modbus设备搭建物联网网关&#xff08;Node-RED实战&#xff09; 当工业现场的BMS设备还在使用Modbus-RTU协议时&#xff0c;如何让这些"信息孤岛"融入现代物联网架构&#xff1f;这个问题困扰着许多能源管理系统工程师。…...

编程新知 2026/3/30 10:01:59

遥感图像质量评价实战：用imgvision 1.7.3计算SAM、ERGAS等指标（附Python代码）

遥感图像质量评估实战&#xff1a;从理论到代码的完整指南 遥感图像处理是地理信息系统、环境监测和农业估产等领域的关键技术。当我们对高光谱图像进行压缩、融合或重建时&#xff0c;如何客观评价处理后的图像质量&#xff1f;本文将深入探讨五种核心评价指标(SAM、PSNR、MSE…...

编程新知 2026/3/30 9:33:52

Unity游戏模组革命：MelonLoader新手10分钟完全指南

Unity游戏模组革命&#xff1a;MelonLoader新手10分钟完全指南 【免费下载链接】MelonLoader The Worlds First Universal Mod Loader for Unity Games compatible with both Il2Cpp and Mono 项目地址: https://gitcode.com/gh_mirrors/me/MelonLoader 你是否想过为喜爱…...

编程新知 2026/3/30 8:35:27

OpenCV插值方法实战指南：从原理到性能优化

1. 图像插值&#xff1a;为什么它如此重要&#xff1f; 想象一下你在手机上查看一张老照片&#xff0c;想把它放大看清楚细节。这时候&#xff0c;手机就需要"创造"出原本不存在的像素来填充放大后的空白区域。这就是图像插值最直观的应用场景。作为计算机视觉的基础…...

编程新知 2026/3/30 5:54:34

图片压缩与懒加载的完美结合：提升网站性能的终极指南

图片压缩与懒加载的完美结合&#xff1a;提升网站性能的终极指南 【免费下载链接】compressorjs compressorjs: 是一个JavaScript图像压缩库&#xff0c;使用浏览器原生的canvas.toBlob API进行图像压缩。 项目地址: https://gitcode.com/gh_mirrors/co/compressorjs 在…...

编程新知 2026/3/30 3:59:21

OpenClaw自动化测试：百川2-13B-4bits模型驱动UI操作与结果验证

OpenClaw自动化测试&#xff1a;百川2-13B-4bits模型驱动UI操作与结果验证 1. 为什么选择OpenClaw百川做自动化测试&#xff1f; 去年接手一个老项目重构时&#xff0c;我遇到了一个典型困境&#xff1a;前端页面有200多个交互点需要回归测试&#xff0c;但团队只有我一个开发…...

编程新知 2026/3/30 2:58:41

Xilinx FPGA FIFO IP核复位机制深度解析与实战调试

1. Xilinx FPGA FIFO IP核复位机制基础解析 第一次接触Xilinx FPGA的FIFO IP核时&#xff0c;很多人都会在复位环节栽跟头。我刚开始用Vivado生成FIFO IP核时&#xff0c;就遇到过复位信号处理不当导致数据丢失的问题。FIFO&#xff08;First In First Out&#xff09;作为数据…...

编程新知 2026/3/30 2:06:27

突破GEE内置限制：将本地Python机器学习模型部署至云端

1. 为什么需要将本地模型部署到GEE平台 Google Earth Engine&#xff08;GEE&#xff09;作为全球领先的地理空间分析平台&#xff0c;虽然内置了丰富的遥感数据处理算法&#xff0c;但在机器学习模型方面仍然存在明显短板。我去年在做内蒙古草原退化监测项目时就深有体会——G…...

编程新知 2026/3/30 1:56:23