当前位置： 首页 > news >正文

04_Redis与mysql数据双写一致性案例

news 2026/5/13 16:15:05

04——redis与mysql数据双写一致性

一、canal

  1. 是什么

    canal[ka’nel,中文翻译为水道/管道/沟渠/运河，主要用途是用于MySQL数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的,采用Java语言开发；

    历史背景是早期阿里巴巴因为杭州和美国双机房部署，存在跨机房数据同步的业务需求，实现方式主要是基野业务tig9er(触发器)获取增量变更。从2010年开始，阿里巴巴逐步尝试采用解析数据库日志获取增量变更进行同步，由此衍生出了canal 项目；

  2. 能干嘛

    1. 数据库镜像

    2. 数据库实时备份

    3. 索引构建和实时维护（拆分异构索引、倒排索引等）

    4. 业务cache刷新

    5. 带业务逻辑的增量数据处理

  3. 下载地址

二、工作原理

  1. 传统mysql主从复制工作原理

    image-20230308221044481

    MySQL的主从复制将经过如下步骤：

    1、当master主服务器上的数据发生改变时，则将其改变写入二进制事件日志文件中；

    2、salve从服务器会在一定时间间隔内对master主服务器上的二进制日志进行探测，探测其是否发生过改变，

    如果探测到master主服务器的二进制事件日志发生了改变，则开始一个/O Thread请求master二进制事件日志；

    3、同时master主服务器为每个l/O Thread启动一个dump Thread,用于向其发送二进制事件日志；

    4、slve从服务器将接收到的二进制事件日志保存至自己本地的中继日志文件中；

    S、save从服务器将启动SQL Thread从中继日志中读取二进制日志，在本地重放，使得其数据和主服务器保持一致；

    6、最后l/O Thread和SQL Thread将进入睡眠状态，等待下一次被唤醒；

  2. canal工作原理

    image-20230308221329535

    canal模拟MySQL slave的交互协议，伪装自己为MySQL slave,向MySQL master发送dump协议

    1. MySQL master收到dump请求，开始推送binary log给slave(即canal)

    2. canal解析binary log对象（原始为byte流）

三、mysql-canal-redis双写一致性

相关文章：

04_Redis与mysql数据双写一致性案例

04——redis与mysql数据双写一致性 一、canal 是什么 canal[ka’nel,中文翻译为水道/管道/沟渠/运河，主要用途是用于MySQL数据库增量日志数据的订阅、消费和解析，是阿里巴巴开发并开源的,采用Java语言开发； 历史背景是早期阿里巴巴因为杭州和…...

编程日记 2023/8/21 4:03:57

vue的开发者工具下载『保姆级别』

1.先进官网 极简插件_Chrome扩展插件商店_优质crx应用下载 (zzzmh.cn) 2.搜索vue devtools，点击进去 3.下载插件 4.下载到文件下你自己的文件下：我的是下载到E盘下。 5.压缩到当前目录下 6.电脑进入拓展程序（不同的浏览器操作不同&#xff…...

编程日记 2023/8/21 4:02:56

vue的scrollTop手机环境设置值失效，本地正常可以赋值

获取div盒子ref或者document获取都行 监听方法 一定要加this.$nexttick,在本地测试只用nexttick是没有问题的，但是到手机测试就不行了，原因是因为手机渲染比本地更快，所以结合setTimeout使用 如果有更好的处理方法，恳请大佬指点一…...

编程日记 2023/8/21 4:01:51

[前端系列第7弹]Vue：一个渐进式的 JavaScript 框架

Vue 是一个用于构建用户界面的 JavaScript 框架，它具有以下特点： 渐进式：Vue 可以根据不同的使用场景，灵活地选择使用库或者框架的方式，从而实现渐进式的开发。响应式：Vue 通过数据绑定和虚拟 DOM 技术&am…...

编程日记 2023/8/21 4:00:50

C#键盘按键对应Keys类大全

...

编程日记 2023/8/21 3:59:48

SpringBoot 学习(03): 弱语言的注解和SpringBoot注解的异同

弱语言代表：Hyperf，一个基于 PHP Swoole 扩展的常驻内存框架 注解概念的举例说明； 说白了就是，你当领导，破烂事让秘书帮你去安排，你只需要批注一下，例如下周要举办一场活动，秘书将方…...

编程日记 2023/8/21 3:58:46

CloudQuery：更好地管理你的 OceanBase 数据库

前言：作为 OceanBase 的生态合作伙伴，CloudQuery（简称“CQ”） 最新发布的社区版 2.2.0 新增了 OceanBase 数据库，为企业使用 OceanBase 数据库提供全面的支持。包括连接与认证、查询与分析、数据安全与权限管理&#x…...

编程日记 2023/8/21 3:57:44

php的password_verify 和 password_hash密码验证

password_hash() 使用足够强度的单向散列算法创建密码的散列(hash)。 当前支持的算法： PASSWORD_DEFAULT - 使用 bcrypt 算法 (PHP 5.5.0 默认)。 注意，该常量会随着 PHP 加入更新更高强度的算法而改变。 所以，使用此常量生成结果的长度将在未…...

编程日记 2023/8/21 3:56:42

JAVA免杀学习与实验

1 认识Webshell 创建一个JSP文件&#xff1a; <% page import"java.io.InputStream" %> <% page import"java.io.BufferedReader" %> <% page import"java.io.InputStreamReader" %> <% page language"java" p…...

编程日记 2023/8/21 3:55:42

Apche Kafka + Spring的消息监听容器

目录 一、消息的接收1.1、消息监听器 二、消息监听容器2.1、 实现方法2.1.1、KafkaMessageListenerContainer2.1.1.1、 基本概念2.1.1.2、如何使用 KafkaMessageListenerContainer 2.1.2、ConcurrentMessageListenerContainer 三、偏移 四、监听器容器自动启动 一、消息的接收 …...

编程日记 2023/8/21 3:54:41

[JavaWeb]【五】web后端开发-Tomcat SpringBoot解析

目录 一 介绍Tomcat 二 基本使用 2.1 解压绿色版 2.2 启动TOMCAT 2.3 关闭TOMCAT 2.4 常见问题 2.5 修改端口号 2.6 部署应用程序 三 SpringBootWeb入门程序解析 前言&#xff1a;tomcat与SpringBoot解析 一 介绍Tomcat 二 基本使用 2.1 解压绿色版 2.2 启动TOMCAT 2…...

编程日记 2023/8/21 3:53:40

css 用过渡实现，鼠标离开li时，背景色缓慢消息的样式

要实现鼠标悬停时背景颜色变为黄色&#xff0c;鼠标离开时背景颜色慢慢消失并变回白色的效果&#xff0c; 可以使用CSS的过渡&#xff08;transition&#xff09;属性 li {background: #fff;color: #000;transition: background 0.5s ease-out; }li:hover {background: #fbb31…...

编程日记 2023/8/21 3:52:38

pytorch 线性层Linear详解

线性层就是全连接层&#xff0c;以一个输入特征数为2&#xff0c;输出特征数为3的线性层为例&#xff0c;其网络结构如下图所示&#xff1a; 输入输出数据的关系如下&#xff1a; 写成矩阵的形式就是&#xff1a; 下面通过代码进行验证&#xff1a; import torch.nn as nn …...

编程日记 2023/8/21 3:51:34

LeetCode 833. 字符串中的查找与替换

2235. 两整数相加 添加链接描述 给你两个整数 num1 和 num2&#xff0c;返回这两个整数的和。 示例 1&#xff1a; 输入&#xff1a;num1 12, num2 5 输出&#xff1a;17 解释&#xff1a;num1 是 12&#xff0c;num2 是 5 &#xff0c;它们的和是 12 5 17 &#xff0c;…...

编程日记 2023/8/21 3:50:32

Oracle故障案例之-19C时区补丁DSTV38更新

&#x1f4e2;&#x1f4e2;&#x1f4e2;&#x1f4e3;&#x1f4e3;&#x1f4e3; 哈喽&#xff01;大家好&#xff0c;我是【IT邦德】&#xff0c;江湖人称jeames007&#xff0c;10余年DBA工作经验 一位上进心十足的【大数据领域博主】&#xff01;&#x1f61c;&#x1f61…...

编程日记 2023/8/21 3:49:30

设计模式之组合模式（Composite）的C++实现

1、组合模式的提出 在软件开发过程中&#xff0c;使用者Client过多依赖所操作对象内部的实现结构&#xff0c;如果对象内部的实现结构频繁发生变化&#xff0c;则使用者的代码结构将要频繁地修改&#xff0c;不利于代码地维护和扩展性&#xff1b;组合模式可以解决此类问题。组…...

编程日记 2023/8/21 3:48:28

mongo的include方法踩坑

前言 又是不认识自己代码的一天 问题 Query query new Query(); if(StringUtils.isNotNull(reqVO.getFieldLimitList()) && reqVO.getFieldLimitList().size() > 0){for(String filedName : reqVO.getFieldLimitList()){query.fields().include(filedName);} }看到…...

编程日记 2023/8/21 3:47:25

阿里云无影云电脑/云桌面收费价格表_使用申请方法

阿里云无影云电脑配置具体收费价格表&#xff0c;4核8G企业办公型云电脑可以免费使用3个月&#xff0c;无影云电脑地域不同价格不同&#xff0c;无影云电脑费用是由云桌面配置、云盘、互联网访问带宽、AD Connector 、桌面组共用桌面session 等费用组成&#xff0c;阿里云百科分…...

编程日记 2023/8/21 3:46:24

jvm内存溢出排查（使用idea自带的内存泄漏分析工具)

文章目录 1.确保生成内存溢出文件2.使用idea自带的内存泄漏分析工具3.具体实验一下 1.确保生成内存溢出文件 想分析堆内存溢出&#xff0c;一定在运行jar包时就写上参数-XX:HeapDumpOnOutOfMemoryError&#xff0c;可以看我之前关于如何运行jar包的文章。若你没有写。可以写上…...

编程日记 2023/8/21 3:45:22

JS内存泄漏

JS内存泄漏 1.意外的全局变量 全局变量的生命周期很长&#xff0c;直到页面关闭&#xff0c;它都存活&#xff0c;所以全局变量上的内存一直都不会被回收 当全局变量使用不当&#xff0c;没有及时回收&#xff08;手动赋值null&#xff09;&#xff0c;或者拼写错误等将某个变…...

编程日记 2023/8/21 3:44:22

手机号到QQ号查询技术实现原理与TEA加密通信架构解析

手机号到QQ号查询技术实现原理与TEA加密通信架构解析 【免费下载链接】phone2qq 项目地址: https://gitcode.com/gh_mirrors/ph/phone2qq phone2qq是一个基于Python实现的逆向工程工具&#xff0c;通过分析腾讯QQ客户端的通信协议&#xff0c;实现了通过手机号查询对应…...

编程新知 2026/5/13 15:41:11

TrguiNG汉化版：三招彻底改变你的Transmission远程管理体验

TrguiNG汉化版&#xff1a;三招彻底改变你的Transmission远程管理体验 【免费下载链接】TrguiNG Transmission WebUI 基于 openscopeproject/TrguiNG 汉化和改进 项目地址: https://gitcode.com/gh_mirrors/tr/TrguiNG 你是否还在忍受Transmission原生的简陋Web界面&…...

编程新知 2026/5/13 15:30:54

缠论可视化插件：3个步骤让你的技术分析不再迷茫

缠论可视化插件&#xff1a;3个步骤让你的技术分析不再迷茫 【免费下载链接】Indicator 通达信缠论可视化分析插件 项目地址: https://gitcode.com/gh_mirrors/ind/Indicator 你是否曾经面对复杂的K线图感到无从下手&#xff1f;缠论作为技术分析的重要理论&#xff0c;…...

编程新知 2026/5/13 14:19:56

别再为混合仿真发愁了！手把手教你用Cadence AMS搭建Verilog+模拟电路联合仿真环境

混合仿真实战&#xff1a;从零搭建Verilog与模拟电路的联合仿真环境 第一次接触混合仿真的工程师们&#xff0c;往往会在数字与模拟世界的交界处感到迷茫。Verilog的离散事件与SPICE的连续波形如何共存&#xff1f;信号在不同域之间传递时会出现哪些意想不到的问题&#xff1f…...

编程新知 2026/5/13 14:15:08

基于ASR与NLP的法庭音频智能分析系统：架构、微调与法律场景实践

1. 项目概述&#xff1a;当法庭记录“开口说话” 在司法与法律科技领域&#xff0c;数据正以前所未有的方式重塑工作流程。传统的法庭记录&#xff0c;无论是书记员手写的笔录&#xff0c;还是后来普及的录音录像&#xff0c;其核心价值在于“记录”本身——它们是静态的、被动…...

编程新知 2026/5/13 14:09:20

VS2019编译OpenSceneGraph 3.6.5踩坑全记录：从CMake配置到解决第三方库缺失

VS2019编译OpenSceneGraph 3.6.5实战避坑指南 第一次在Windows平台用VS2019编译OpenSceneGraph 3.6.5时&#xff0c;我原以为按照官方文档就能轻松搞定。直到CMake报出一连串第三方库缺失的红色警告&#xff0c;才意识到这趟编译之旅远没有想象中简单。如果你也正对着Could NOT…...

编程新知 2026/5/13 14:00:35

MemOS：为AI智能体构建统一记忆操作系统，提升长期对话与RAG性能

1. 项目概述&#xff1a;MemOS&#xff0c;为AI智能体装上“记忆大脑” 如果你正在开发基于大语言模型的AI智能体&#xff0c;或者在使用RAG&#xff08;检索增强生成&#xff09;技术&#xff0c;那么你一定遇到过这个核心痛点&#xff1a; 对话上下文太短&#xff0c;智能体…...

编程新知 2026/5/13 13:19:34

HDLbits实战解析：从异步复位到同步复位，掌握三段式FSM的核心差异与设计要点

1. 异步复位与同步复位的本质区别 在数字电路设计中&#xff0c;复位信号就像电脑的重启按钮&#xff0c;它能将电路恢复到初始状态。但很多初学者第一次在HDLbits上做FSM练习题时&#xff0c;会被"asynchronous reset"和"synchronous reset"这两个概念搞…...

编程新知 2026/5/13 13:09:20

基于Azure AI Search与OpenAI构建企业级智能问答系统实战指南

1. 项目概述&#xff1a;当企业级搜索遇上生成式AI 如果你正在为如何让公司内部的知识库、产品文档或客服系统变得更“聪明”而头疼&#xff0c;那么你很可能已经听说过或将接触到这个项目&#xff1a; Azure-Samples/azure-search-openai-demo 。这不仅仅是一个简单的代码示…...

编程新知 2026/5/13 12:24:42

ARM Fast Models MTI插件开发与性能优化实战

1. Fast Models中的Model Trace Interface架构解析在嵌入式系统仿真领域&#xff0c;ARM Fast Models提供的Model Trace Interface&#xff08;MTI&#xff09;是一套高效的仿真数据采集框架。作为一位长期从事嵌入式调试工具开发的工程师&#xff0c;我发现MTI的独特设计使其成…...

编程新知 2026/5/13 10:38:02