【redis-05】redis保证和mysql数据一致性
redis系列整体栏目
内容 | 链接地址 |
---|---|
【一】redis基本数据类型和使用场景 | https://zhenghuisheng.blog.csdn.net/article/details/142406325 |
【二】redis的持久化机制和原理 | https://zhenghuisheng.blog.csdn.net/article/details/142441756 |
【三】redis缓存穿透、缓存击穿、缓存雪崩 | https://zhenghuisheng.blog.csdn.net/article/details/142577507 |
【四】redisson实现分布式锁实战和源码剖析 | https://zhenghuisheng.blog.csdn.net/article/details/142646301 |
【五】redis保证和mysql数据一致性 | https://zhenghuisheng.blog.csdn.net/article/details/142687101 |
如需转载,请输入:https://blog.csdn.net/zhenghuishengq/article/details/142687101
redis保证和mysql数据一致性
- 一,redis保证和mysql数据一致性
- 1,数据不一致原因
- 1.1,更新缓存出现的问题
- 1.2,删除缓存出现的问题
- 1.3,理想情况
- 2,数据不一致解决方案
- 2.1,延迟双删(不推荐)
- 2.2,消息队列
- 2.3,分布式锁
- 2.4,canal同步
一,redis保证和mysql数据一致性
在项目中,redis一般作为缓存使用,从而加快系统的读写效率和吞吐量,但是数据最终一般是存储在mysql中,因此在实际开发中,尤其是在高并发的互联网项目中,经常会遇到这种mysql和redis数据不一致的情况。如在一个电商的扣减库存的场景中,如果redis中的数据和mysql中的数据没有保证一致,那么就很有可能造成超卖的问题,那么平台就可能会因为这个问题造成商家的损失
1,数据不一致原因
数据不一致原因无非就是那几种原因,在分布式场景中,并发带来的问题,网络抖动带来的问题,分布式事务不一致问题等。
1.1,更新缓存出现的问题
如下面这个场景,以扣减库存的场景为例,假设有100个库存,此时多个线程对该商品下单。如在一个4s的时间线内,线程1和线程2先后下单,在不考虑mysql事务的情况下,来查看以下会出现的问题,其流程如下:
- 首先在第一秒时线程1进行一个扣减库存操作,但是由于网络卡顿的原因,导致在第4秒才更新redis的缓存只为95,并且写入mysql的数据也为95;
- 在第二秒时线程2也下单10件商品,此时redis缓存还是100,因此操作的还是这个100,那么扣减库存之后的值变成90,然后在第三秒时更新缓存值为90;
- 由于暂时不考虑事务,因此此时mysql的值为100-10-5为85,而redis中的缓存值由于覆盖的问题导致还是95,此时就出现了mysql和redis值不一致的问题。
1.2,删除缓存出现的问题
更新缓存指的是在写完mysql数据之后立马就去更新缓存,效率可能会低一些,除了更新缓存还可以删除缓存,就是在写的时候不更新缓存,而是直接删掉缓存,再读数据的时候进行redis缓存数据的写入,如以下流程
- 首先线程1在第一秒时扣减5个库存,然后将缓存删除,此时redis中的值为95
- 第二秒一个线程3来读数据,发现缓存没有就读数据库,此时数据库的值为95
- 在第三秒有一个用户下单,扣减库存操作为10,此时mysql中为85,删除缓存
- 由于卡顿问题,在第四秒线程3才执行更新缓存操作,但是拿的值不是最新值,导致原本redis值为85的,由于覆盖的问题此时redis的值为95,导致redis和mysql数据不一致的问题
1.3,理想情况
在理想情况下,我们更希望的是每个命令都可以顺序执行,将各种无法预料的并发问题直接改成串行化操作。当然如果在此基础上进行优化的话,在加锁的同时,考虑加一把互斥锁,从而保证读读共享,其他互斥的操作
2,数据不一致解决方案
2.1,延迟双删(不推荐)
延迟双删顾名思义,就是延迟一段时间,删除某些线程因为卡顿原因导致更新缓存的值出错,如下图线程3由于卡顿,造成缓存覆盖的问题,从而导致了redis中缓存和mysql中的值出现不一致的问题,但是通过延迟双删的方式,对缓存做两次删除,并且两次删除间设置一定的时间间隔,从而解决部分卡顿问题
其伪代码如下,首先是第一次删除缓存,然后休眠个300秒,然后再次删除缓存。
#第一次删除缓存
redis.delKey(phone:1001)
#休眠300毫秒
Thread.sleep(300)
#再删除缓存
redis.delKey(phone:1001)
延迟双删的方式也不能完全解决这种数据不一致问题,只能减少这种数据不一致概率的事件发生,因为不能保证某些查询的线程要卡顿多久,比如我设置300毫秒,但是有的线程卡顿一秒,因此也不能够完全解决。
其次所有的写操作都得删除两次,这对redis来说会有一定的性能影响,除了本身的操作之外,还得额外的增加一段延时的时间,对于使用redis的初衷来说就没那么友好,更加的适用于 读多写少 的场景,如商品首页等。
2.2,消息队列
如果为了强一致性,那么可以直接使用消息队列来使用,其本质也很简单,将并行的操作,全部加入到消息队列中串行执行。
消息队列确实可以解决这种数据不一致问题,因为都串行执行,不会有那种并行和并发的问题。但是使用消息队列需要额外的引入中间件,还需要考虑数据的持久化,不丢失,以及顺序消费等问题,如果整个系统是已经有再使用消息中间件的话,如kafka、rocketMq这些,那么是可以考虑使用这种方式的
2.3,分布式锁
在上一篇中,讲解了redis分布式锁的使用和底层原理,分布式锁的机制和上面的消息队列的机制一样,都是将并行执行的操作方式改成串行的执行方式,直接通过redisson实现的分布式锁即可
RLock lock = redisson.getLock(PHONE_ID);
lock.lock();
lock.unlock();
通过这种分布所锁机制,可以保证数据的串行执行,不出现redis数据脏写问题和覆盖问题
当然也可以通过redis的 读写锁 进行优化,部分代码如下,直接在读的接口中使用读锁,使用后需要释放锁
//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取读锁
RLock readLock = readWriteLock.readLock();
//加锁
readLock.lock();
//解锁
readLock.unlock();
写的接口中使用写锁即可,使用后也许把锁释放。
//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取写锁
RLock writeLock = readWriteLock.writeLock();
//加锁
writeLock.lock();
//解锁
writeLock.unlock();
不管是原生的Redission锁还是这种读写锁,底层都是通过lua脚本实现,这种方式也更加的适用于 读多写少 的场景。相对于消息队列,可以选这种方式实现
2.4,canal同步
上面几种方式都是需要通过手动的删除缓存或者更新缓存的数据实现数据同步,除了上面几种方式之外,还可以用阿里的canal开源中间件来实现数据的同步,并且通过这种方式,不需要认为的去操作缓存
其原理也很简单,就类似于mysql的主从复制原理,伪装成一个从结点,监听mysql的binlog日志,然后将执行的mysql的操作,通过这个canal中间件同步到redis中。
这样的话,也不需要去考虑redis的更新和删除操作,只需要查即可,查不到再查mysql。
当然如果想直接使用这种canal中间件的话,需要手动的重新部署,也相当于重新引入了一个新的中间件。如果数据量大的话,可以考虑使用这种方式来解决数据不一致问题。
相关文章:

【redis-05】redis保证和mysql数据一致性
redis系列整体栏目 内容链接地址【一】redis基本数据类型和使用场景https://zhenghuisheng.blog.csdn.net/article/details/142406325【二】redis的持久化机制和原理https://zhenghuisheng.blog.csdn.net/article/details/142441756【三】redis缓存穿透、缓存击穿、缓存雪崩htt…...
写一个登录判断机制py
创建一个简单的登录机制涉及到用户输入的验证和与数据库中存储的凭证的比较。以下是一个使用Python语言和SQLite数据库的示例。这个例子仅用于教学目的,实际应用中应该使用更安全的方法来存储和验证密码,比如使用密码哈希。 首先,你需要安装…...
特征点检测与匹配是计算机视觉中的基础任务之一,广泛应用于图像配准、物体识别、运动估计、三维重建等领域。
特征点检测与匹配是计算机视觉中的基础任务之一,广泛应用于图像配准、物体识别、运动估计、三维重建等领域。下面是一些关键的知识点: 1. 特征点检测 特征点检测的目的是从图像中找到独特的、稳定的点,这些点在图像变化(如旋转、…...

python——Echarts现交互式动态可视化
数据展示 20192018201720162015201420132012北京5817.15785.91765430.78755081.264723.864027.16093661.10973314.934天津2410.252106.23972310.35522723.52667.112390.35182079.07161760.0201河北3742.673513.86433233.83322849.872649.182446.61662295.62032084.2825山西234…...

【含开题报告+文档+PPT+源码】基于SSM框架的民宿酒店预定系统的设计与实现
开题报告 随着人们旅游需求的增加,民宿行业呈现出快速发展的趋势。传统的住宿方式逐渐无法满足人们对个性化、舒适、便捷的需求,而民宿作为一种新型的住宿选择,逐渐受到人们的青睐。民宿的特点是具有独特的风格、便捷的地理位置、相对亲近的…...
正确理解协程
import asyncio# 定义一个异步函数(协程) async def say_after(delay, what):# 等待指定的时间await asyncio.sleep(delay)# 打印消息print(what)# 定义另一个异步函数 async def main():# 同时启动两个协程,并等待这2个协程结束await say_af…...
蒙特卡罗方法 - 采样和蒙特卡罗方法篇
序言 蒙特卡罗( Monte Carlo \text{Monte Carlo} Monte Carlo)方法,也被称为计算机随机模拟方法,是一种基于“随机数”的计算方法。这一方法源于美国在第二次世界大战期间研制原子弹的“曼哈顿计划”。其核心思想是使用随机数&am…...

论文阅读:InternVL v1.5| How Far Are We to GPT-4V? 通过开源模型缩小与商业多模式模型的差距
论文地址:https://arxiv.org/abs/2404.16821 Demo: https://internvl.opengvlab.com Model:https://huggingface.co/OpenGVLab/InternVL-Chat-V1-5 公开时间:2024年4月29日 InternVL1.5,是一个开源的多模态大型语言模…...

什么是电能表PTB认证
电能表PTB认证是指电能表产品经过德国国家计量研究所(Physikalisch-Technische Bundesanstalt,简称PTB)的认证和审核过程。PTB是德国联邦政府在计量、物理、材料和测试领域的技术专家和合作伙伴,拥有世界领先的技术水平和专业知识…...
C# 单例模式继承
简介:单例模式是软件工程中最著名的模式之一。从本质上讲,singleton 是一个只允许创建自身的单个实例的类,并且通常提供对该实例的简单访问。最常见的是,单例不允许在创建实例时指定任何参数 - 否则,对实例进行第二次请…...

ESP8266模块(WIFI STM32)
目录 一、介绍 二、传感器原理 1.原理图 2.引脚描述 3.ESP8266基础AT指令介绍 4.ESP8266基础工作模式 三、程序设计 main.c文件 esp8266.h文件 esp8266.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 ESP8266是一款嵌入式系统级芯片,它集成了Wi…...
微信小程序学习实录9:掌握wx.chooseMedia实现多图片文件上传功能(选择图片、预览图片、上传图片)
要实现多图片上传到服务器,需要在小程序前端和PHP后端分别进行相应的设置。 基本流程 微信小程序提供了丰富的API来支持多图片上传功能。在微信小程序中实现多图片的选择、预览以及上传到服务器的功能: 1. 选择图片 使用 wx.chooseImage API 可以让用…...

助动词的分类及其缩略形式
助动词的分类及其缩略形式 1. 助动词 (auxiliary verb)2. 基本助动词 (primary auxiliary)2.1. 基本助动词 be、do 和 have2.2. 实义动词 be、do 和 have 3. 情态助动词 (modal auxiliary)3.1. 情态助动词取代情态动词 4. 半助动词 (semi-auxiliary)4.1. 不能与 it ... that-cl…...

Redis——分布式锁
在一个分布式系统中,只要涉及到多个节点访问同一个公共资源的时候,就需要加锁来实现互斥,从而达到线程安全的问题。 但是呢,分布式系统不同一些,因为分布式系统部署在不同的服务器上,很可能大量的请求打到…...
C++面试速通宝典——13
208. class里面定义int a,如果不实现构造函数,实例化这个类,a的值是? 答:a的值是未定义的(在C标准中成为“未初始化”)。 解释: 在C中,如果一…...

数据结构(二叉树)
1. 树相关术语 父结点/双亲结点:如果一个结点有子结点那么它就是父结点或者双亲结点;例如A是BCDEFG的父结点,J是PQ的父结点等等;子结点:一个结点含有的子树的根节点称为该结点的子结点;如上图的H是D的子结点…...

Windows 通过 Docker 安装 GitLab
1. 安装 Docker Desktop 下载网站:Windows | Docker Docs 2. 拉取 GitLab Docker 镜像 打开 PowerShell 或 命令提示符,拉取 GitLab 镜像: docker pull gitlab/gitlab-ee:latest或则使用社区版: docker pull gitlab/gitlab-ce…...

SQL专项练习第六天
Hive 在处理不同数据需求时的灵活性和强大功能,包括间隔连续问题的处理、行列转换、交易数据查询、用户登录统计以及专利数据分析等方面。本文将介绍五个 Hive 数据处理问题的解决方案,并通过实际案例进行演示。 先在home文件夹下建一个hivedata文件夹&a…...

CSS——属性值计算
CSS——属性值计算 今天来详细讲解一下 CSS的属性值计算过程,这是 CSS 的核心之一(另一个是视觉可视化模型,个人理解,这个相对复杂,以后再讲)。 基本概念 层叠样式表:Cascade Style Sheet&am…...
408算法题leetcode--第26天
496. 下一个更大元素 I 题目地址:496. 下一个更大元素 I - 力扣(LeetCode) 题解思路:单调栈,如注释 时间复杂度:O(n m) 空间复杂度:O(n) 代码: class Solution { public:vector<int&g…...
生成xcframework
打包 XCFramework 的方法 XCFramework 是苹果推出的一种多平台二进制分发格式,可以包含多个架构和平台的代码。打包 XCFramework 通常用于分发库或框架。 使用 Xcode 命令行工具打包 通过 xcodebuild 命令可以打包 XCFramework。确保项目已经配置好需要支持的平台…...
从零实现富文本编辑器#5-编辑器选区模型的状态结构表达
先前我们总结了浏览器选区模型的交互策略,并且实现了基本的选区操作,还调研了自绘选区的实现。那么相对的,我们还需要设计编辑器的选区表达,也可以称为模型选区。编辑器中应用变更时的操作范围,就是以模型选区为基准来…...

YSYX学习记录(八)
C语言,练习0: 先创建一个文件夹,我用的是物理机: 安装build-essential 练习1: 我注释掉了 #include <stdio.h> 出现下面错误 在你的文本编辑器中打开ex1文件,随机修改或删除一部分,之后…...

MMaDA: Multimodal Large Diffusion Language Models
CODE : https://github.com/Gen-Verse/MMaDA Abstract 我们介绍了一种新型的多模态扩散基础模型MMaDA,它被设计用于在文本推理、多模态理解和文本到图像生成等不同领域实现卓越的性能。该方法的特点是三个关键创新:(i) MMaDA采用统一的扩散架构…...

C# 类和继承(抽象类)
抽象类 抽象类是指设计为被继承的类。抽象类只能被用作其他类的基类。 不能创建抽象类的实例。抽象类使用abstract修饰符声明。 抽象类可以包含抽象成员或普通的非抽象成员。抽象类的成员可以是抽象成员和普通带 实现的成员的任意组合。抽象类自己可以派生自另一个抽象类。例…...
React---day11
14.4 react-redux第三方库 提供connect、thunk之类的函数 以获取一个banner数据为例子 store: 我们在使用异步的时候理应是要使用中间件的,但是configureStore 已经自动集成了 redux-thunk,注意action里面要返回函数 import { configureS…...

使用LangGraph和LangSmith构建多智能体人工智能系统
现在,通过组合几个较小的子智能体来创建一个强大的人工智能智能体正成为一种趋势。但这也带来了一些挑战,比如减少幻觉、管理对话流程、在测试期间留意智能体的工作方式、允许人工介入以及评估其性能。你需要进行大量的反复试验。 在这篇博客〔原作者&a…...

Selenium常用函数介绍
目录 一,元素定位 1.1 cssSeector 1.2 xpath 二,操作测试对象 三,窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四,弹窗 五,等待 六,导航 七,文件上传 …...
解决:Android studio 编译后报错\app\src\main\cpp\CMakeLists.txt‘ to exist
现象: android studio报错: [CXX1409] D:\GitLab\xxxxx\app.cxx\Debug\3f3w4y1i\arm64-v8a\android_gradle_build.json : expected buildFiles file ‘D:\GitLab\xxxxx\app\src\main\cpp\CMakeLists.txt’ to exist 解决: 不要动CMakeLists.…...

从“安全密码”到测试体系:Gitee Test 赋能关键领域软件质量保障
关键领域软件测试的"安全密码":Gitee Test如何破解行业痛点 在数字化浪潮席卷全球的今天,软件系统已成为国家关键领域的"神经中枢"。从国防军工到能源电力,从金融交易到交通管控,这些关乎国计民生的关键领域…...