当前位置: 首页 > news >正文

【redis-05】redis保证和mysql数据一致性

redis系列整体栏目


内容链接地址
【一】redis基本数据类型和使用场景https://zhenghuisheng.blog.csdn.net/article/details/142406325
【二】redis的持久化机制和原理https://zhenghuisheng.blog.csdn.net/article/details/142441756
【三】redis缓存穿透、缓存击穿、缓存雪崩https://zhenghuisheng.blog.csdn.net/article/details/142577507
【四】redisson实现分布式锁实战和源码剖析https://zhenghuisheng.blog.csdn.net/article/details/142646301
【五】redis保证和mysql数据一致性https://zhenghuisheng.blog.csdn.net/article/details/142687101

如需转载,请输入:https://blog.csdn.net/zhenghuishengq/article/details/142687101

redis保证和mysql数据一致性

  • 一,redis保证和mysql数据一致性
    • 1,数据不一致原因
      • 1.1,更新缓存出现的问题
      • 1.2,删除缓存出现的问题
      • 1.3,理想情况
    • 2,数据不一致解决方案
      • 2.1,延迟双删(不推荐)
      • 2.2,消息队列
      • 2.3,分布式锁
      • 2.4,canal同步

一,redis保证和mysql数据一致性

在项目中,redis一般作为缓存使用,从而加快系统的读写效率和吞吐量,但是数据最终一般是存储在mysql中,因此在实际开发中,尤其是在高并发的互联网项目中,经常会遇到这种mysql和redis数据不一致的情况。如在一个电商的扣减库存的场景中,如果redis中的数据和mysql中的数据没有保证一致,那么就很有可能造成超卖的问题,那么平台就可能会因为这个问题造成商家的损失

1,数据不一致原因

数据不一致原因无非就是那几种原因,在分布式场景中,并发带来的问题,网络抖动带来的问题,分布式事务不一致问题等。

1.1,更新缓存出现的问题

如下面这个场景,以扣减库存的场景为例,假设有100个库存,此时多个线程对该商品下单。如在一个4s的时间线内,线程1和线程2先后下单,在不考虑mysql事务的情况下,来查看以下会出现的问题,其流程如下:

  • 首先在第一秒时线程1进行一个扣减库存操作,但是由于网络卡顿的原因,导致在第4秒才更新redis的缓存只为95,并且写入mysql的数据也为95;
  • 在第二秒时线程2也下单10件商品,此时redis缓存还是100,因此操作的还是这个100,那么扣减库存之后的值变成90,然后在第三秒时更新缓存值为90;
  • 由于暂时不考虑事务,因此此时mysql的值为100-10-5为85,而redis中的缓存值由于覆盖的问题导致还是95,此时就出现了mysql和redis值不一致的问题。

在这里插入图片描述

1.2,删除缓存出现的问题

更新缓存指的是在写完mysql数据之后立马就去更新缓存,效率可能会低一些,除了更新缓存还可以删除缓存,就是在写的时候不更新缓存,而是直接删掉缓存,再读数据的时候进行redis缓存数据的写入,如以下流程

  • 首先线程1在第一秒时扣减5个库存,然后将缓存删除,此时redis中的值为95
  • 第二秒一个线程3来读数据,发现缓存没有就读数据库,此时数据库的值为95
  • 在第三秒有一个用户下单,扣减库存操作为10,此时mysql中为85,删除缓存
  • 由于卡顿问题,在第四秒线程3才执行更新缓存操作,但是拿的值不是最新值,导致原本redis值为85的,由于覆盖的问题此时redis的值为95,导致redis和mysql数据不一致的问题

在这里插入图片描述

1.3,理想情况

在理想情况下,我们更希望的是每个命令都可以顺序执行,将各种无法预料的并发问题直接改成串行化操作。当然如果在此基础上进行优化的话,在加锁的同时,考虑加一把互斥锁,从而保证读读共享,其他互斥的操作

在这里插入图片描述

2,数据不一致解决方案

2.1,延迟双删(不推荐)

延迟双删顾名思义,就是延迟一段时间,删除某些线程因为卡顿原因导致更新缓存的值出错,如下图线程3由于卡顿,造成缓存覆盖的问题,从而导致了redis中缓存和mysql中的值出现不一致的问题,但是通过延迟双删的方式,对缓存做两次删除,并且两次删除间设置一定的时间间隔,从而解决部分卡顿问题

在这里插入图片描述

其伪代码如下,首先是第一次删除缓存,然后休眠个300秒,然后再次删除缓存。

#第一次删除缓存
redis.delKey(phone:1001)
#休眠300毫秒
Thread.sleep(300)
#再删除缓存
redis.delKey(phone:1001)

延迟双删的方式也不能完全解决这种数据不一致问题,只能减少这种数据不一致概率的事件发生,因为不能保证某些查询的线程要卡顿多久,比如我设置300毫秒,但是有的线程卡顿一秒,因此也不能够完全解决。

其次所有的写操作都得删除两次,这对redis来说会有一定的性能影响,除了本身的操作之外,还得额外的增加一段延时的时间,对于使用redis的初衷来说就没那么友好,更加的适用于 读多写少 的场景,如商品首页等。

2.2,消息队列

如果为了强一致性,那么可以直接使用消息队列来使用,其本质也很简单,将并行的操作,全部加入到消息队列中串行执行。

消息队列确实可以解决这种数据不一致问题,因为都串行执行,不会有那种并行和并发的问题。但是使用消息队列需要额外的引入中间件,还需要考虑数据的持久化,不丢失,以及顺序消费等问题,如果整个系统是已经有再使用消息中间件的话,如kafka、rocketMq这些,那么是可以考虑使用这种方式的

在这里插入图片描述

2.3,分布式锁

在上一篇中,讲解了redis分布式锁的使用和底层原理,分布式锁的机制和上面的消息队列的机制一样,都是将并行执行的操作方式改成串行的执行方式,直接通过redisson实现的分布式锁即可

RLock lock = redisson.getLock(PHONE_ID);
lock.lock();
lock.unlock();

通过这种分布所锁机制,可以保证数据的串行执行,不出现redis数据脏写问题和覆盖问题

在这里插入图片描述

当然也可以通过redis的 读写锁 进行优化,部分代码如下,直接在读的接口中使用读锁,使用后需要释放锁

//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取读锁
RLock readLock = readWriteLock.readLock();
//加锁
readLock.lock();
//解锁
readLock.unlock();

写的接口中使用写锁即可,使用后也许把锁释放。

//获取一把读写锁
RReadWriteLock readWriteLock = redissoon.getReadWriteLock(lockKey);
//获取写锁
RLock writeLock = readWriteLock.writeLock();
//加锁
writeLock.lock();
//解锁
writeLock.unlock();

不管是原生的Redission锁还是这种读写锁,底层都是通过lua脚本实现,这种方式也更加的适用于 读多写少 的场景。相对于消息队列,可以选这种方式实现

2.4,canal同步

上面几种方式都是需要通过手动的删除缓存或者更新缓存的数据实现数据同步,除了上面几种方式之外,还可以用阿里的canal开源中间件来实现数据的同步,并且通过这种方式,不需要认为的去操作缓存

其原理也很简单,就类似于mysql的主从复制原理,伪装成一个从结点,监听mysql的binlog日志,然后将执行的mysql的操作,通过这个canal中间件同步到redis中。

在这里插入图片描述

这样的话,也不需要去考虑redis的更新和删除操作,只需要查即可,查不到再查mysql。

当然如果想直接使用这种canal中间件的话,需要手动的重新部署,也相当于重新引入了一个新的中间件。如果数据量大的话,可以考虑使用这种方式来解决数据不一致问题。

相关文章:

【redis-05】redis保证和mysql数据一致性

redis系列整体栏目 内容链接地址【一】redis基本数据类型和使用场景https://zhenghuisheng.blog.csdn.net/article/details/142406325【二】redis的持久化机制和原理https://zhenghuisheng.blog.csdn.net/article/details/142441756【三】redis缓存穿透、缓存击穿、缓存雪崩htt…...

写一个登录判断机制py

创建一个简单的登录机制涉及到用户输入的验证和与数据库中存储的凭证的比较。以下是一个使用Python语言和SQLite数据库的示例。这个例子仅用于教学目的,实际应用中应该使用更安全的方法来存储和验证密码,比如使用密码哈希。 首先,你需要安装…...

特征点检测与匹配是计算机视觉中的基础任务之一,广泛应用于图像配准、物体识别、运动估计、三维重建等领域。

特征点检测与匹配是计算机视觉中的基础任务之一,广泛应用于图像配准、物体识别、运动估计、三维重建等领域。下面是一些关键的知识点: 1. 特征点检测 特征点检测的目的是从图像中找到独特的、稳定的点,这些点在图像变化(如旋转、…...

python——Echarts现交互式动态可视化

数据展示 20192018201720162015201420132012北京5817.15785.91765430.78755081.264723.864027.16093661.10973314.934天津2410.252106.23972310.35522723.52667.112390.35182079.07161760.0201河北3742.673513.86433233.83322849.872649.182446.61662295.62032084.2825山西234…...

【含开题报告+文档+PPT+源码】基于SSM框架的民宿酒店预定系统的设计与实现

开题报告 随着人们旅游需求的增加,民宿行业呈现出快速发展的趋势。传统的住宿方式逐渐无法满足人们对个性化、舒适、便捷的需求,而民宿作为一种新型的住宿选择,逐渐受到人们的青睐。民宿的特点是具有独特的风格、便捷的地理位置、相对亲近的…...

正确理解协程

import asyncio# 定义一个异步函数(协程) async def say_after(delay, what):# 等待指定的时间await asyncio.sleep(delay)# 打印消息print(what)# 定义另一个异步函数 async def main():# 同时启动两个协程,并等待这2个协程结束await say_af…...

蒙特卡罗方法 - 采样和蒙特卡罗方法篇

序言 蒙特卡罗( Monte Carlo \text{Monte Carlo} Monte Carlo)方法,也被称为计算机随机模拟方法,是一种基于“随机数”的计算方法。这一方法源于美国在第二次世界大战期间研制原子弹的“曼哈顿计划”。其核心思想是使用随机数&am…...

论文阅读:InternVL v1.5| How Far Are We to GPT-4V? 通过开源模型缩小与商业多模式模型的差距

论文地址:https://arxiv.org/abs/2404.16821 Demo: https://internvl.opengvlab.com Model:https://huggingface.co/OpenGVLab/InternVL-Chat-V1-5 公开时间:2024年4月29日 InternVL1.5,是一个开源的多模态大型语言模…...

什么是电能表PTB认证

电能表PTB认证是指电能表产品经过德国国家计量研究所(Physikalisch-Technische Bundesanstalt,简称PTB)的认证和审核过程。PTB是德国联邦政府在计量、物理、材料和测试领域的技术专家和合作伙伴,拥有世界领先的技术水平和专业知识…...

C# 单例模式继承

简介:单例模式是软件工程中最著名的模式之一。从本质上讲,singleton 是一个只允许创建自身的单个实例的类,并且通常提供对该实例的简单访问。最常见的是,单例不允许在创建实例时指定任何参数 - 否则,对实例进行第二次请…...

ESP8266模块(WIFI STM32)

目录 一、介绍 二、传感器原理 1.原理图 2.引脚描述 3.ESP8266基础AT指令介绍 4.ESP8266基础工作模式 三、程序设计 main.c文件 esp8266.h文件 esp8266.c文件 四、实验效果 五、资料获取 项目分享 一、介绍 ESP8266是一款嵌入式系统级芯片,它集成了Wi…...

微信小程序学习实录9:掌握wx.chooseMedia实现多图片文件上传功能(选择图片、预览图片、上传图片)

要实现多图片上传到服务器,需要在小程序前端和PHP后端分别进行相应的设置。 基本流程 微信小程序提供了丰富的API来支持多图片上传功能。在微信小程序中实现多图片的选择、预览以及上传到服务器的功能: 1. 选择图片 使用 wx.chooseImage API 可以让用…...

助动词的分类及其缩略形式

助动词的分类及其缩略形式 1. 助动词 (auxiliary verb)2. 基本助动词 (primary auxiliary)2.1. 基本助动词 be、do 和 have2.2. 实义动词 be、do 和 have 3. 情态助动词 (modal auxiliary)3.1. 情态助动词取代情态动词 4. 半助动词 (semi-auxiliary)4.1. 不能与 it ... that-cl…...

Redis——分布式锁

在一个分布式系统中,只要涉及到多个节点访问同一个公共资源的时候,就需要加锁来实现互斥,从而达到线程安全的问题。 但是呢,分布式系统不同一些,因为分布式系统部署在不同的服务器上,很可能大量的请求打到…...

C++面试速通宝典——13

208. class里面定义int a,如果不实现构造函数,实例化这个类,a的值是? ‌‌‌‌  答:a的值是未定义的(在C标准中成为“未初始化”)。 解释: ‌‌‌‌  在C中,如果一…...

数据结构(二叉树)

1. 树相关术语 父结点/双亲结点:如果一个结点有子结点那么它就是父结点或者双亲结点;例如A是BCDEFG的父结点,J是PQ的父结点等等;子结点:一个结点含有的子树的根节点称为该结点的子结点;如上图的H是D的子结点…...

Windows 通过 Docker 安装 GitLab

1. 安装 Docker Desktop 下载网站:Windows | Docker Docs 2. 拉取 GitLab Docker 镜像 打开 PowerShell 或 命令提示符,拉取 GitLab 镜像: docker pull gitlab/gitlab-ee:latest或则使用社区版: docker pull gitlab/gitlab-ce…...

SQL专项练习第六天

Hive 在处理不同数据需求时的灵活性和强大功能,包括间隔连续问题的处理、行列转换、交易数据查询、用户登录统计以及专利数据分析等方面。本文将介绍五个 Hive 数据处理问题的解决方案,并通过实际案例进行演示。 先在home文件夹下建一个hivedata文件夹&a…...

CSS——属性值计算

CSS——属性值计算 今天来详细讲解一下 CSS的属性值计算过程,这是 CSS 的核心之一(另一个是视觉可视化模型,个人理解,这个相对复杂,以后再讲)。 基本概念 层叠样式表:Cascade Style Sheet&am…...

408算法题leetcode--第26天

496. 下一个更大元素 I 题目地址&#xff1a;496. 下一个更大元素 I - 力扣&#xff08;LeetCode&#xff09; 题解思路&#xff1a;单调栈&#xff0c;如注释 时间复杂度&#xff1a;O(n m) 空间复杂度&#xff1a;O(n) 代码: class Solution { public:vector<int&g…...

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周&#xff0c;有很多同学在写期末Java web作业时&#xff0c;运行tomcat出现乱码问题&#xff0c;经过多次解决与研究&#xff0c;我做了如下整理&#xff1a; 原因&#xff1a; IDEA本身编码与tomcat的编码与Windows编码不同导致&#xff0c;Windows 系统控制台…...

Python爬虫实战:研究MechanicalSoup库相关技术

一、MechanicalSoup 库概述 1.1 库简介 MechanicalSoup 是一个 Python 库,专为自动化交互网站而设计。它结合了 requests 的 HTTP 请求能力和 BeautifulSoup 的 HTML 解析能力,提供了直观的 API,让我们可以像人类用户一样浏览网页、填写表单和提交请求。 1.2 主要功能特点…...

【位运算】消失的两个数字(hard)

消失的两个数字&#xff08;hard&#xff09; 题⽬描述&#xff1a;解法&#xff08;位运算&#xff09;&#xff1a;Java 算法代码&#xff1a;更简便代码 题⽬链接&#xff1a;⾯试题 17.19. 消失的两个数字 题⽬描述&#xff1a; 给定⼀个数组&#xff0c;包含从 1 到 N 所有…...

SCAU期末笔记 - 数据分析与数据挖掘题库解析

这门怎么题库答案不全啊日 来简单学一下子来 一、选择题&#xff08;可多选&#xff09; 将原始数据进行集成、变换、维度规约、数值规约是在以下哪个步骤的任务?(C) A. 频繁模式挖掘 B.分类和预测 C.数据预处理 D.数据流挖掘 A. 频繁模式挖掘&#xff1a;专注于发现数据中…...

聊聊 Pulsar:Producer 源码解析

一、前言 Apache Pulsar 是一个企业级的开源分布式消息传递平台&#xff0c;以其高性能、可扩展性和存储计算分离架构在消息队列和流处理领域独树一帜。在 Pulsar 的核心架构中&#xff0c;Producer&#xff08;生产者&#xff09; 是连接客户端应用与消息队列的第一步。生产者…...

UDP(Echoserver)

网络命令 Ping 命令 检测网络是否连通 使用方法: ping -c 次数 网址ping -c 3 www.baidu.comnetstat 命令 netstat 是一个用来查看网络状态的重要工具. 语法&#xff1a;netstat [选项] 功能&#xff1a;查看网络状态 常用选项&#xff1a; n 拒绝显示别名&#…...

【磁盘】每天掌握一个Linux命令 - iostat

目录 【磁盘】每天掌握一个Linux命令 - iostat工具概述安装方式核心功能基础用法进阶操作实战案例面试题场景生产场景 注意事项 【磁盘】每天掌握一个Linux命令 - iostat 工具概述 iostat&#xff08;I/O Statistics&#xff09;是Linux系统下用于监视系统输入输出设备和CPU使…...

零基础设计模式——行为型模式 - 责任链模式

第四部分&#xff1a;行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习&#xff01;行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。 核心思想&#xff1a;使多个对象都有机会处…...

【C++从零实现Json-Rpc框架】第六弹 —— 服务端模块划分

一、项目背景回顾 前五弹完成了Json-Rpc协议解析、请求处理、客户端调用等基础模块搭建。 本弹重点聚焦于服务端的模块划分与架构设计&#xff0c;提升代码结构的可维护性与扩展性。 二、服务端模块设计目标 高内聚低耦合&#xff1a;各模块职责清晰&#xff0c;便于独立开发…...

【数据分析】R版IntelliGenes用于生物标志物发现的可解释机器学习

禁止商业或二改转载&#xff0c;仅供自学使用&#xff0c;侵权必究&#xff0c;如需截取部分内容请后台联系作者! 文章目录 介绍流程步骤1. 输入数据2. 特征选择3. 模型训练4. I-Genes 评分计算5. 输出结果 IntelliGenesR 安装包1. 特征选择2. 模型训练和评估3. I-Genes 评分计…...