当前位置: 首页 > news >正文

如何保证Redis双写一致性?

目录

数据不一致问题

数据库和缓存不一致解决方案

1. 先更新缓存,再更新数据

该方案数据不一致的原因

2. 先更新数据库,再更新缓存

3. 先删除缓存,再更新数据库

延时双删

4. 先更新数据库,再删除缓存

该方案数据不一致的场景和解决办法

缓存删除失败,该如何处理?

MQ异步重试删除

监控binlog删除

面试中关于Redis双写一致性,如何应答?

如何实现强一致性?


在数据库层和客户端层添加一层缓存,可以提高用户的访问性能。

比如一些商品秒杀业务,这时并发量高,要是所有请求都是打到数据库层(用MySQL举例),那用户的体验可能就不太好,因为操作数据库是要操作磁盘,性能比较低。而中间加一层缓存(用Redis举例),把数据存储在Redis中。Redis是基于内存的,操作速度极快,那并发量就可以提高了。

数据不一致问题

那就会引出问题,出现Redis和MySQL的数据不一致问题。由于缓存和数据库是分开的,无法做到原子性的同时进行数据修改,可能出现缓存更新失败,或者数据库更新失败的情况,这时候会出现数据不一致,影响业务。

数据库和缓存不一致解决方案

大方向有三种:

  • Cache Aside Pattern 旁路缓存模式,也叫人工编码方式:需要程序员写代码 同时维系 DB 和 cache。也称作双写方案。
  • Read/Write Through Pattern:缓存与数据库整合为一个服务,由服务来维护一致性。调用者调用该服务,无需关系缓存一致性问题。但是维护这样一个服务很复杂,市面上也不容易找到一个这样现成的服务,开发成本高。
  • Write Behind Caching Pattern:调用者只操作缓存,其他线程异步去处理数据库,最终实现一致性。但是维护这样的一个异步任务比较复杂,需要实时监控缓存中的数据更新,而其他线程异步去更新数据库也可能不太及时,而且缓存服务器如果宕机,那么缓存的数据也就丢失了。

综上所述,在企业的实际应用中,还是Cache Aside Pattern方案最可靠。现在确定了该方案,但是需要程序员去调用缓存和数据库?那因为是两个应用,那操作就有先后顺序,那是应该先操作哪个呢?还有是更新缓存还是删除缓存呢?

可以分成4种情况:

  • 先更新缓存,再更新数据
  • 先更新数据库,再更新缓存
  • 先删除缓存,再更新数据库
  • 先更新数据库,再删除缓存

现在来逐个分析下其优缺点和是否可用。 

1. 先更新缓存,再更新数据

 首先给结论——该方案不可行

场景1:事务问题导致数据不一致

在MySQL写入或者其他业务逻辑出现异常错误时候,MySQL会进行回滚,那MySQL中数据会变回100,而Redis就会更新为100,这就出现了数据不一致问题。

这个就是因为Redis和MySQL两个数据库写操作不具备事务的ACID特性,无法保证这两个写操作的原子性。

发生该问题的场景有如下两个:

  • 修改Redis成功,修改MySQL失败,而Redis不会回滚
  • 整个过程其他业务逻辑出现异常,MySQL会回滚,而Redis却不会回滚。

场景2:多并发更新

上图所示,线程1修改Redis数据,之后线程2抢占了cpu时间,那MySQL最终结果是200,就和Redis的数据不一致。这就是线程并发导致数据覆盖,造成数据不一致。

所以,先更新缓存,再更新数据库这种方法不可行。

该方案数据不一致的原因

  • 不同数据库之间双写不具备事务原子性,造成数据不一致
  • 线程并发导致数据覆盖,造成数据不一致

2. 先更新数据库,再更新缓存

 首先给结论——该方案不可行

原因和先更新缓存,再更新数据库是一样的。

场景1:修改账户余额,整个过程其他业务逻辑出现异常,MySQL进行回滚,而Redis却不会回滚。

场景二:多线程并发更新用户账户余额

 

 也是因为并发,线程1修改数据库后,线程2抢占了cpu时间,最终导致结果不一致。

所以先更新数据库,再更新缓存 也不行。

两点原因:

  • 不同数据库之间双写不具备事务原子性,造成数据不一致
  • 线程并发导致数据覆盖,造成数据不一致

3. 先删除缓存,再更新数据库

场景:多线程并发更新用户余额

上图的情况①、②、③都不会导致数据不一致,而情况④会导致数据不一致。线程1在Redis中删除,之后线程2抢占cpu时间,去查询Redis,而Redis数据是空,那就需要去查询MySQL 。导致了最终Mysql数据是200,而Redis为100。

那使用这个方法,还有什么其他策略可以修复情况④吗?也是可以的,这个就是延时双删

延时双删

在线程1更新完数据库后,再次删除Redis中的数据,目的是为了清楚缓存中的脏数据。那么,对这个删除执行的时刻是有要求的,不能在线程2修改前执行,一般其时长是要大于一次业务查询时间,所以这个就是延时双删。

其实这个时长不好掌控,有时有些业务的查询时间可长可短。

4. 先更新数据库,再删除缓存

情况①是正常的。情况②出现了短暂的数据不一致问题,那这个就需要业务可以接受。

情况③就出现了较长时间的数据不一致情况。

那其是在什么情况出现的呢?要满足下面两个条件,其效率是很低的

  1. 在读写并发时候,缓存刚好失效,
  2. 且数据库查询耗时远大于更新耗时

所以,先更新数据库,再删除缓存 方案可用。但是要允许读写并发场景下出现短暂不一致情况,和极端情况下产生的数据不一致情况,但是数据是最终一致的。

该方案数据不一致的场景和解决办法

  • 并发读写情况下产生的短暂不一致场景,业务场景要能接受。
  • 并发读写情况下,缓存正好失效且读操作耗时大于写操作而产生的数据不一致。可以通过延时删除,或者给redis设置较短的存活时间。

缓存删除失败,该如何处理?

 MySQL更新失败可以回滚,而Redis删除失败,却不会回滚。那该如何处理缓存删除失败的情况呢?

MQ异步重试删除

其优点就是实现简单,容易理解。

缺点就是添加了个组件,那整个系统的可用性又要维护多一个组件;并且耦合度比较高,那每次使用Redis时候,都需要写判断是否成功,不成功就抛给mq的代码。

监控binlog删除

 其优点:实现了缓存删除的业务解耦

缺点:实现是比较复杂的。

面试中关于Redis双写一致性,如何应答?

分成4步:

  1. 摆方案:保证Redis与MySQL数据库的双写一致性,大方向有三种方案:Cache Aside Pattern 旁路缓存模式Read/Write Through Pattern缓存与数据库整合为一个服务、Write Behind Caching Pattern。而企业中大多数是使用Cache Aside Pattern查询的时候,优先从缓存中查,缓存中没有数据再从数据库中查,然后把数据库中的最新值写入到缓存中,保证了数据一致性。
    1. 该模式有四种方案:①先更新缓存,再更新数据库、②先更新数据,再更新缓存、③先删除缓存,再更新数据库、④先更新数据,再删除缓存
  2. 排除不合理的方案:两种双更新的方案不可用,原因有两个:
    1. 第一是因为我们不能保证两个数据库之间写操作的事务原子性,所以可能有一个成功一个失败,造成数据不一致。
    2. 第二是因为并发写操作会造成数据的覆盖,导致数据不一致。
  3. 列可用方案,阐述注意事项:目前常用的,但是这两个问题对于很多业务场景都可以容忍的方案有两个。
    1. 先删除缓存,再更新数据库:该方案理想情况下是没有问题的。但还是有一个特殊场景是有可能出现数据不一致,具体来讲是在发生并发读写时,线程A先删除了缓存,还没来得及更新数据库,线程B此时来查询缓存为空,于是查询到了数据库的旧值,而后将缓存修改成了旧值,解决方案就是采用延时双删,在线程A更新完数据库后延时一段时间再删除缓存,合理的延长时长需要更具业务而定,通常为一次查询业务的耗时。
    2. 先更新数据库,再删除缓存:该方案在理想情况下,也是没有问题的。但是该方案有两个特殊场景是有可能出现数据不一致问题的,第一种是由于并发读写导致的短暂不一致,但是最终数据一致。第二种场景出现几率很低,要求并发读写时缓存正好失效,且数据库查询耗时远远大于更新耗时才有可能发生数据不一致,这个当然也是可以通过延时双删或者给Redis数据设置较短的存活时间来达到最终一致。
    3. 对比这两个方案,最终还是使用先更新数据库,再删除缓存
  4. 补充如何保证缓存成功删除:之前两种方案都是通过删除缓存来保证双写一致性的,要是缓存删除失败会导致缓存中都是脏数据,所以必须保证缓存删除成功,方案有两种:
    1. 第一种:使用MQ异步重试删除,比较简单,缺点是会对业务代码产生入侵,耦合度比较高。
    2. 第二种:使用阿里的canal模拟MySQL的从库,监听主库的binlog,当数据库发生变更,canal可以监听到并通知客户端去删除缓存,其优点是对业务代码没有入侵性,进行了解耦。

如何实现强一致性?

​ 最终我们还有一个问题没有解决:不论是以上介绍的哪种方案,都会出现数据不一致性,只是出现这个问题的时间长短不同或者是出现的概率高低不同。

​仔细想想,我们加入缓存的初衷是什么,不就是提高吞吐量,获得更高的性能嘛。作为开发者,应该都知道一个非常著名的三角悖论(CAP定理),即对于一个分布式计算系统来说,不可能同时满足以下三点:

  1. ​一致性(Consistency) 所有节点在同一时间具有相同的数据
  2. ​可用性(Availability)保证每个请求不管成功或者失败都有响应
  3. ​分区容错性(Partition tolerance)系统中任意信息的丢失或失败不会影响系统的继续运作

在分布式系统内,P 是必然需要的。不选 P,一旦发生分区错误,整个分布式系统就完全无法使用了,这是不符合实际需要的。所以,对于分布式系统,我们只能考虑当发生分区错误时,如何选择一致性和可用性。即只能从CP、AP中选择。既然选择了高性能和高吞吐量,所以我们只能满足AP。由此也可明白,以上介绍的所有方案都是为了保证将不一致性尽可能的降低,都是保证最终一致性

如果一定要强一致性,就是不加入缓存;或者使用分布式锁或者读写锁来锁住一次更新数据库和缓存的操作,那这样吞吐量,性能有会下载,可能是得不偿失。

相关文章:

如何保证Redis双写一致性?

目录 数据不一致问题 数据库和缓存不一致解决方案 1. 先更新缓存,再更新数据 该方案数据不一致的原因 2. 先更新数据库,再更新缓存 3. 先删除缓存,再更新数据库 延时双删 4. 先更新数据库,再删除缓存 该方案数据不一致的…...

HarmonyOS实战开发-如何实现查询当前城市实时天气功能

先来看一下效果 本项目界面搭建基于ArkUI中TS扩展的声明式开发范式, 数据接口是和风(天气预报), 使用ArkUI自带的网络请求调用接口。 我想要实现的一个功能是,查询当前城市的实时天气, 目前已实现的功能…...

(三)JSP教程——JSP动作标签

JSP动作标签 用户可以使用JSP动作标签向当前输出流输出数据&#xff0c;进行页面定向&#xff0c;也可以通过动作标签使用、修改和创建对象。 <jsp:include>标签 <jsp:include>标签将同一个Web应用中静态或动态资源包含到当前页面中。资源可以是HTML、JSP页面和文…...

centos7安装真的Redmine-5.1.2+ruby-3.0.0

下载redmine-5.1.2.tar.gz&#xff0c;上传到/usr/local/目录下 cd /usr/local/ tar -zxf redmine-5.1.2.tar.gz cd redmine-5.1.2 cp config/database.yml.example config/database.yml 配置数据连接 #编辑配置文件 vi config/database.yml #修改后的内容如下 product…...

方法的重写

方法的重写 概念&#xff1a;子类继承父类之后&#xff0c;就拥有了符合权限的父类的属性和方法&#xff0c;但是当父类的方法不符合子类的要求的时候&#xff0c;子类也可以重新的书写自己想要的方法。所以&#xff0c;方法的重写&#xff0c;即子类继承父类的方法后&#xf…...

Terraform局部值

Terraform输入变量用于从外部传递值到Terraform模块内部进行使用&#xff0c;如果把Terraform代码看作是一个函数的话&#xff0c;Terraform输入变量就是函数的输入参数。 Terraform局部值则用于在Terraform模块内部定义反复使用的常量值或表达式&#xff0c;如果把Terraform代…...

vue+element-ui实现横向长箭头,横向线上下可自定义文字(使用after伪元素实现箭头)

项目场景&#xff1a; 需要实现一个长箭头&#xff0c;横向线上下可自定义文字 代码描述 <div><span class"data-model">{{ //上方文字}}</span><el-divider class"q"> </el-divider>//分隔线<span class"data-mod…...

性能监控之prometheus+grafana搭建

前言 Prometheus和Grafana是两个流行的开源工具&#xff0c;用于监控和可视化系统和应用程序的性能指标。它们通常一起使用&#xff0c;提供了强大的监控和数据可视化功能。 Prometheus Prometheus是一种开源的系统监控和警报工具包。它最初由SoundCloud开发&#xff0c;并于…...

25-ESP32-S3 内置的真随机数发生器(RNG)

ESP32-S3 内置的真随机数发生器&#xff08;RNG&#xff09;&#x1f60e; 引言 &#x1f4da; 在许多应用中&#xff0c;随机数发生器&#xff08;RNG&#xff09;是必不可少的。无论是在密码学&#x1f512;、游戏&#x1f3ae;、模拟&#x1f9ea;或其他领域&#xff0c;随…...

万兆以太网MAC设计(12)万兆UDP协议栈上板与主机网卡通信

文章目录 一、设置IP以及MAC二、上板效果2.1、板卡与主机数据回环测试2.2、板卡满带宽发送数据 一、设置IP以及MAC 顶层模块设置源MAC地址 module XC7Z100_Top#(parameter P_SRC_MAC 48h01_02_03_04_05_06,parameter P_DST_MAC 48hff_ff_ff_ff_ff_ff )(input …...

2024年4月17日华为春招实习试题【三题】-题目+题解+在线评测,2024.4.17,华为机试

2024年4月17日华为春招实习试题【三题】-题目题解在线评测 &#x1f52e;题目一描述&#xff1a;扑克牌消消乐输入描述输出描述样例一样例二Limitation解题思路一&#xff1a;模拟&#xff0c;遇到连续3张相同牌号的卡牌&#xff0c;直接删除解题思路二&#xff1a;栈解题思路三…...

展开说说:Android线程池解析

何谓线程池&#xff1f;本人理解是存放和管理线程的一个容器。 线程池存在的意义是什么&#xff1f; 第一&#xff1a;前面博客提到过创建和销毁线程的操作本身是有性能开销的&#xff0c;如果把使用的线程对象存起来下次用的时候直接取出来用就省去了一次创建和销毁的成本&a…...

Selenium自动化测试面试题全家桶

&#x1f525; 交流讨论&#xff1a;欢迎加入我们一起学习&#xff01; &#x1f525; 资源分享&#xff1a;耗时200小时精选的「软件测试」资料包 &#x1f525; 教程推荐&#xff1a;火遍全网的《软件测试》教程 &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1…...

Docker 容器日志占用空间过大解决办法

1、vi /etc/docker/daemon.json {"log-driver":"json-file","log-opts": {"max-size":"200m", "max-file":"1"} } 2、重新加载守护进程配置文件 systemctl daemon-reload 3、重启docker systemctl…...

update_min_vruntime()流程图

linux kernel scheduler cfs的update_min_vruntime() 看起来还挺绕的。含义其实也简单&#xff0c;总一句话&#xff0c;将 cfs_rq->min_vruntime 设置为&#xff1a; max( cfs_rq->vruntime, min(leftmost_se->vruntime, cfs_rq->curr->vruntime) )。 画个流…...

十进制转任意进制(以及任意进制来回转换<了解>)

十进制转任意进制&#xff1a; #include <iostream> #include <vector> #include <string> using namespace std; // 将十进制数转换为P进制形式的字符串 string toBase(int num, int base) {string result ""; // 初始化结果字符串为空wh…...

postcss-px-to-viewport 从入坑到放弃 (nuxt3搭建响应式官网解决方案 )

前沿 什么是 postcss-px-to-viewport 将px单位转换为视口单位的 (vw, vh, vmin, vmax) 的 PostCSS 插件。 为什么使用 postcss-px-to-viewport 在pc端盛行的时代 &#xff0c;如果你不想去适配更多的pc端代码&#xff0c;可以采用它。 由于nuxt3本身已带postcss&#xff0c;所…...

C语言从入门到入门

一、引言 C语言是一种通用的、过程式的计算机编程语言,支持结构化编程、词汇变量作用域和递归等功能,其设计提供了低级别的存取权限,并且要求程序员管理所有的内存细节。C语言具有高效、灵活和可移植性等特点,因此被广泛应用于系统编程、嵌入式系统开发、游戏开发等领域。 …...

Java基础教程 - 4 流程控制

更好的阅读体验&#xff1a;点这里 &#xff08; www.doubibiji.com &#xff09; 更好的阅读体验&#xff1a;点这里 &#xff08; www.doubibiji.com &#xff09; 更好的阅读体验&#xff1a;点这里 &#xff08; www.doubibiji.com &#xff09; 4 流程控制 4.1 分支结构…...

大厂Java面试题:MyBatis中有几种加载映射器(Mapper.xml)的方式?

大家好&#xff0c;我是王有志。 今天给大家带来的是一道来自京东的 MyBatis 面试题&#xff1a;MyBatis 中有几种加载映射器&#xff08;Mapper.xml&#xff09;的方式&#xff1f; 常见加载 MyBatis 映射器的方式有 5 种&#xff0c;可以根据不同的使用方式来进行具体区分&…...

KubeSphere 容器平台高可用:环境搭建与可视化操作指南

Linux_k8s篇 欢迎来到Linux的世界&#xff0c;看笔记好好学多敲多打&#xff0c;每个人都是大神&#xff01; 题目&#xff1a;KubeSphere 容器平台高可用&#xff1a;环境搭建与可视化操作指南 版本号: 1.0,0 作者: 老王要学习 日期: 2025.06.05 适用环境: Ubuntu22 文档说…...

19c补丁后oracle属主变化,导致不能识别磁盘组

补丁后服务器重启&#xff0c;数据库再次无法启动 ORA01017: invalid username/password; logon denied Oracle 19c 在打上 19.23 或以上补丁版本后&#xff0c;存在与用户组权限相关的问题。具体表现为&#xff0c;Oracle 实例的运行用户&#xff08;oracle&#xff09;和集…...

ESP32 I2S音频总线学习笔记(四): INMP441采集音频并实时播放

简介 前面两期文章我们介绍了I2S的读取和写入&#xff0c;一个是通过INMP441麦克风模块采集音频&#xff0c;一个是通过PCM5102A模块播放音频&#xff0c;那如果我们将两者结合起来&#xff0c;将麦克风采集到的音频通过PCM5102A播放&#xff0c;是不是就可以做一个扩音器了呢…...

苍穹外卖--缓存菜品

1.问题说明 用户端小程序展示的菜品数据都是通过查询数据库获得&#xff0c;如果用户端访问量比较大&#xff0c;数据库访问压力随之增大 2.实现思路 通过Redis来缓存菜品数据&#xff0c;减少数据库查询操作。 缓存逻辑分析&#xff1a; ①每个分类下的菜品保持一份缓存数据…...

在Ubuntu中设置开机自动运行(sudo)指令的指南

在Ubuntu系统中&#xff0c;有时需要在系统启动时自动执行某些命令&#xff0c;特别是需要 sudo权限的指令。为了实现这一功能&#xff0c;可以使用多种方法&#xff0c;包括编写Systemd服务、配置 rc.local文件或使用 cron任务计划。本文将详细介绍这些方法&#xff0c;并提供…...

ArcGIS Pro制作水平横向图例+多级标注

今天介绍下载ArcGIS Pro中如何设置水平横向图例。 之前我们介绍了ArcGIS的横向图例制作&#xff1a;ArcGIS横向、多列图例、顺序重排、符号居中、批量更改图例符号等等&#xff08;ArcGIS出图图例8大技巧&#xff09;&#xff0c;那这次我们看看ArcGIS Pro如何更加快捷的操作。…...

蓝桥杯3498 01串的熵

问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798&#xff0c; 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...

A2A JS SDK 完整教程:快速入门指南

目录 什么是 A2A JS SDK?A2A JS 安装与设置A2A JS 核心概念创建你的第一个 A2A JS 代理A2A JS 服务端开发A2A JS 客户端使用A2A JS 高级特性A2A JS 最佳实践A2A JS 故障排除 什么是 A2A JS SDK? A2A JS SDK 是一个专为 JavaScript/TypeScript 开发者设计的强大库&#xff…...

push [特殊字符] present

push &#x1f19a; present 前言present和dismiss特点代码演示 push和pop特点代码演示 前言 在 iOS 开发中&#xff0c;push 和 present 是两种不同的视图控制器切换方式&#xff0c;它们有着显著的区别。 present和dismiss 特点 在当前控制器上方新建视图层级需要手动调用…...

机器学习的数学基础:线性模型

线性模型 线性模型的基本形式为&#xff1a; f ( x ) ω T x b f\left(\boldsymbol{x}\right)\boldsymbol{\omega}^\text{T}\boldsymbol{x}b f(x)ωTxb 回归问题 利用最小二乘法&#xff0c;得到 ω \boldsymbol{\omega} ω和 b b b的参数估计$ \boldsymbol{\hat{\omega}}…...