当前位置: 首页 > news >正文

13 Redis-- 数据一致性模型、MySQL 和 Redis 的数据一致性

数据一致性模型

根据一致性的强弱分类,可以将一致性模型按以下顺序排列:

强一致性 > 最终一致性 > 弱一致性

数据一致性模型一般用于分布式系统中,目的是定义多个节点间的同步规范。

在这里,我们将其引入数据库和缓存组成的存储系统中,在这个系统中,数据库和缓存就是两个节点。

我们将尝试采用不同的方案,实现这两个节点的同步状态。

此外,由于 MySQL 和 Redis 的广泛流行,我们这里可以把数据库 = MySQL,缓存 = Redis。

强一致性模型

强一致性模型要求在分布式系统中,所有节点对于某个数据项的值都是一致的。
即:所有读操作总能返回最新的写操作结果。

强一致性模型可以通过使用共享内存原子操作同步机制来实现。

最终一致性模型

允许在分布式系统中,不同节点可能对于某个数据项的值是不一致的,但是在某个时间点,所有节点对于某个数据项的值都会达到一致。
即:读操作不一定能返回最新的写操作结果。数据更新后,不保证立即一致,但保证在一定时间内最终一致。

最终一致性模型通常使用消息队列事件源异步机制来解决数据一致性问题。

弱一致性模型

弱一致性模型允许在分布式系统中,不同节点可能对于某个数据项的值是不一致的。

弱一致性模型通常使用版本号(version number)最近COMMIT时间戳等机制来解决数据一致性问题。

区别

  • 强一致性与弱一致性的区别

强一致性要求在分布式系统中,所有节点对于某个数据项的值是一致的。弱一致性允许在分布式系统中,不同节点可能对于某个数据项的值是不一致的。强一致性可以通过使用共享内存、锁等同步机制来实现,而弱一致性可以通过使用版本号、时间戳等机制来解决数据一致性问题。

  • 最终一致性和弱一致性的区别

弱一致性允许在分布式系统中,不同节点可能对于某个数据项的值是不一致的。最终一致性允许在分布式系统中,不同节点可能对于某个数据项的值是不一致的,但是在某个时间点,所有节点对于某个数据项的值都会达到一致。最终一致性可以通过使用消息队列、事件源等异步机制来解决数据一致性问题。

强一致性模型适用于需要高度一致性的场景,如银行转账、电子商务订单等。

弱一致性模型适用于需要高度可用性和扩展性的场景,如缓存、数据备份等。

最终一致性模型适用于需要实时性和弹性的场景,如实时数据分析、日志处理等。在选择数据一致性模型时,需要权衡应用场景的一致性、可用性、扩展性和实时性需

数据库和缓存的数据一致性

 - 过程一致性- 第一种不一致:缓存和数据其中一者为空- 第二种不一致:缓存和数据皆存在,但值不同。- 
先抛一下结论:在满足实时性的条件下,不存在同时保证过程一致性和最终一致性的方案
最好的结果是第一种过程不一致 + 最终一致性方案。 

在满足实时性的前提下,不存在强一致性的方案,只有最终一致性方案。

事实上,除了秒杀余额交易等准确性要求高的业务外,其它业务并不追求强一致性。

在这里插入图片描述

不好的方案:每个请求都先写数据库,再写缓存

例如 :A请求在先,更新数据为10;B请求在后,更新数据为11。最终数据库和缓存中的变量应该都为 11。

至少应有四步,理想的顺序为

  1. 线程 A 执行 updateMySQL(10)。
  2. 线程 A 执行 updateRedis(10)。
  3. 线程 B 执行 updateMySQL(11)。
  4. 线程 B 执行 updateRedis(11)。

然而,As we all know:进程并发执行,其执行顺序并非固定。
理想的情况是 1234,但1324也是可能的。

最坏的情况,1342,即下图:
在这里插入图片描述
这种顺序下执行完四步,最终数据库为 11;缓存为 10。

不好的方案:每个请求都先写 Redis,再写 MS

与第一种方案出错的原因一致。
在这里插入图片描述

不好的方案:每个请求都先删除 Redis,再写 MS,最后写 Redis

这种方法可以达到最终 一致性,但可能由于过程不一致,被并发线程脏读。

请求 A 是更新请求,目标是将变量更新为 11
请求 B 是读请求
在这里插入图片描述
最初状态下:MS 和 Redis 都为 10。

  1. A请求第一步:删除缓存。此时 MS 为 10,缓存为空。
  2. B 查询变量的值,但是由于未命中缓存,查询 MS 得到 10。查询结果错误
  3. A请求第二步:更新 MS 11。此时 MS 为 11,缓存为空
  4. B 知道缓存中不存在,但 MS 中有,自然会写回 Redis,此时 MS 为 11,Redis 为 10。此时数据已经不一致了,任意线程此时查询,会查到错误的 10
  5. A请求第三步:更新 Redis 11。此时 MS 为 11,Redis 为 11。

【2】和【4】都是可能的脏读发生时机,【2】发生的可能更大,因为查询远快于更新。

好的方案:【缓存双删】每个请求都先删除 Redis,再写 MySQL,再删除 Redis

这个方案是对 “先删除 Redis,再写 MySQL” 的升级,因为在后者,存在最终一致性问题。
既然最终 MS 和 Redis 不一致,那干脆把 Redis 重新删除即可,这个也是大家常说的“缓存双删”。

A请求为更新请求,目标是将变量更新为 11
B请求为读请求,查询变量的值
在这里插入图片描述
最初状态下:MS 和 Redis 都为 10。

  1. A请求第一步:删除 Redis 中的变量10。此时 MS 为 10, Redis 为空
  2. B 查询变量的值,但是由于未命中缓存,查询 MS 得到 10
  3. A请求第二步:写 MS 为 11。此时 MS 为 11,Redis 空
  4. B 知道缓存中不存在,但 MS 中有,自然会写回 Redis,此时 MS 为 11,Redis 为 10。
  5. A请求第三步:删除 Redis 中的变量 10。此时 MS 为 11,Redis 为 空。

【2】和【4】都是可能的脏读发生时机,【2】发生的可能更大,因为查询远快于更新。

尝试改进【延时双删】每个请求都先删除 Redis,再写 MySQL,再延时删除 Redis

回看上一个方案的字部分-- 即时序图的第四步、第五步。

需要注意,第四步和第五步必须依次执行。

倘若先第五步: A请求第三步:删除 Redis 中的变量 10。此时 MS 为 11,Redis 为 空。
再第四步:B 知道缓存中不存在,但 MS 中有,自然会写回 Redis,此时 MS 为 11,Redis 为 10。

连最终一致性也不能保证了!这就是一个很坏的方案。

为了确保第四步第五步依次执行,不妨在执行第五步前,主动休眠 A请求一段时间,以确保最后执行。
这就是延时的地方。

但也并非完美,因为延时的时机如果掌控不好仍然会被脏读。

继续改进 使用消息队列

既然休眠总体第五步:定时延时删除缓存,不一定好用。

将这一步加入加入消息队列中,执行异步串行化删除。
在这里插入图片描述

好的方案:每个请求都先写 MS,再删除 Redis

在这里插入图片描述
【2】是可能的脏读发生时机

此外,在满足以下两个条件时,这种方案还可能出现另一种意外:

  • 请求B开始查询时,缓存刚好自动失效;
  • 请求 B 从数据库查出 10,回写缓存的耗时,比请求 A 写数据库,并且删除缓存的还长。
    在这里插入图片描述
    此时完全乱套了,数据库中的是错误的数据。

但注意,这种情况发生的条件之一是:请求 B 从数据库查出 10 的耗时 + 请求B 回写缓存的耗时 > 请求 A 写数据库 + 请求A 删除缓存的耗时

不等式左右两边各有一次数据库 + 一次缓存,但我们显然可知,左边查数据库的耗时,是远小于右边写数据库的耗时的

因此这一条件很难满足,极端情况发生的概率很小。

先写 MySQL,通过 Binlog,异步更新 Redis

这种方案,主要是监听 MySQL 的 Binlog,然后通过异步的方式,将数据更新到 Redis,这种方案有个前提,查询的请求,不会回写 Redis。
在这里插入图片描述
这个方案,会保证 MySQL 和 Redis 的最终一致性,但是如果中途请求 B 需要查询数据,如果缓存无数据,就直接查 DB;如果缓存有数据,查询的数据也会存在不一致的情况。

所以这个方案,是实现最终一致性的终极解决方案,但是不能保证实时性。

定论

  • 先写 Redis,再写 MySQL

这种方案,我肯定不会用,万一 DB 挂了,你把数据写到缓存,DB 无数据,这个是灾难性的;
我之前也见同学这么用过,如果写 DB 失败,对 Redis 进行逆操作,那如果逆操作失败呢,是不是还要搞个重试?

  • 先写 MySQL,再写 Redis

对于并发量、一致性要求不高的项目,很多就是这么用的,我之前也经常这么搞,但是不建议这么做;
当 Redis 瞬间不可用的情况,需要报警出来,然后线下处理。

  • 先删除 Redis,再写 MySQL

这种方式,我还真没用过,直接忽略吧。

  • 先删除 Redis,再写 MySQL,再删除 Redis

这种方式虽然可行,但是感觉好复杂,还要搞个消息队列去异步删除 Redis。

  • 先写 MySQL,再删除 Redis

比较推荐这种方式,删除 Redis 如果失败,可以再多重试几次,否则报警出来;
这个方案,是实时性中最好的方案,在一些高并发场景中,推荐这种。

  • 先写 MySQL,通过 Binlog,异步更新 Redis

对于异地容灾、数据汇总等,建议会用这种方式,比如 binlog + kafka,数据的一致性也可以达到秒级;
纯粹的高并发场景,不建议用这种方案,比如抢购、秒杀等。

个人结论:

实时一致性方案:采用“先写 MySQL,再删除 Redis”的策略,这种情况虽然也会存在两者不一致,但是需要满足的条件有点苛刻,所以是满足实时性条件下,能尽量满足一致性的最优解。
最终一致性方案:采用“先写 MySQL,通过 Binlog,异步更新 Redis”,可以通过 Binlog,结合消息队列异步更新 Redis,是最终一致性的最优解。

相关文章:

13 Redis-- 数据一致性模型、MySQL 和 Redis 的数据一致性

数据一致性模型 根据一致性的强弱分类,可以将一致性模型按以下顺序排列: 强一致性 > 最终一致性 > 弱一致性 数据一致性模型一般用于分布式系统中,目的是定义多个节点间的同步规范。 在这里,我们将其引入数据库和缓存组…...

启动Nuxt-hub-starter: Failed to initialize wrangler bindings proxy write EOF

重新安装 node.js 这样做可以确保下载到了适合的 Windows 框架、Chocolatey(一款Windows包管理工具)、Python 等资源。 这个错误与Node版本、pnpm/yarn 的版本无关! Node.js — Download Node.js (nodejs.org)...

技术驱动旅游创新!深度解析景区导览小程序的地图渲染与AR导航技术

随着现代生活节奏的加快,人们在外出旅游时更倾向于轻便出行,携带导览地图已成为过去。然而,面对景区广阔的面积和众多景点,游客常常感到迷茫,难以快速定位到自己所需的地点。景区导览小程序让游客只需搜索景区名称&…...

二叉树之遍历

二叉树之遍历 二叉树遍历遍历分类前序遍历流程描述代码实现 中序遍历流程描述代码实现 后序遍历流程描述代码实现 层次遍历流程描述代码实现 总结 二叉树遍历 遍历分类 遍历二叉树的思路有 4 种,分别是: 前序遍历二叉树,有递归和非递归两种…...

【经验贴】如何做好自己的职业规划(技术转项目经理)

我有几个问题想问大家 第一,你了解自己吗?你知道自己想要是什么吗?你了解自己的优势劣势吗? 第二,你了解这个行业吗?你知道这个行业是如何发展起来的吗?你了解这个行业的背景吗?你…...

【笔记】字符串相似度代码分享

目录 一、算法介绍1、算法1)基于编辑距离2)基于标记3)基于序列4)基于压缩5)基于发音6)简单算法 2、安装 二、代码demo1、Hamming 距离2、Levenshtein 距离3、Damerau-Levenshtein距离4、Jaro 相似度5、Jaro…...

AI墓地:738个倒闭AI项目的启示

近年来,人工智能技术迅猛发展,然而,不少AI项目却在市场上悄然消失。根据AI工具聚合网站“DANG”的统计,截至2024年6月,共有738个AI项目停运或停止维护。本文将探讨这些AI项目失败的原因,并分析当前AI初创企…...

工程文件参考——CubeMX+LL库+SPI主机 阻塞式通用库

文章目录 前言CubeMX配置SPI驱动实现spi_driver.hspi_driver.c 额外的接口补充 前言 SPI,想了很久没想明白其DMA或者IT比较好用的方法,可能之后也会写一个 我个人使用场景大数据流不多,如果是大批量数据交互自然是DMA更好用,但考…...

LLM - 模型历史

...

Go语言中的时间与日期处理:time包详解

在Go语言中,time包提供了丰富而强大的功能来处理时间和日期,这对于构建精确计时、定时任务、日期格式化等应用场景至关重要。本文将深入浅出地探讨time包的核心概念、常见问题、易错点及其规避策略,并通过实用代码示例加深理解。 一、时间与…...

Java实现单点登录(SSO)详解:从理论到实践

✨✨谢谢大家捧场,祝屏幕前的小伙伴们每天都有好运相伴左右,一定要天天开心哦!✨✨ 🎈🎈作者主页: 喔的嘛呀🎈🎈 ✨✨ 帅哥美女们,我们共同加油!一起进步&am…...

【leetcode82-91动态规划,91-95多维动态规划】

动态规划【82-91】 多维动态规划【91-95】...

Django学习第四天

启动项目命令 python manage.py runserver 分页功能封装到类中去 封装的类的代码 """ 自定义的分页组件,以后如果想要使用这个分页组件,你需要做: def pretty_list(request):# 靓号列表data_dict {}search_data request.GET.get(q, &…...

redis-benchmark 使用

Redis 自带了一个叫 redis-benchmark 的工具来模拟 N 个客户端同时发出 M 个请求。 Usage: redis-benchmark [-h <host>] [-p <port>] [-c <clients>] [-n <requests>] [-k <boolean>]-h <hostname> Server hostname (default 127.0…...

什么是 qobject_cast?

前言 在 C++ 中,类型转换是一项常见的操作,比如将 int 转换为 char 或将 QString 用于 QMessageBox。但是,为什么我们需要将一个类转换为另一个类呢?本文将解释 qobject_cast 是什么,它的作用以及为什么需要类型转换。 dynamic_cast 和 qobject_cast 的概述 什么是 dyn…...

Python酷库之旅-第三方库Pandas(001)

目录 一、Pandas库的由来 1、背景与起源 1-1、开发背景 1-2、起源时间 2、名称由来 3、发展历程 4、功能与特点 4-1、数据结构 4-2、数据处理能力 5、影响与地位 5-1、数据分析“三剑客”之一 5-2、社区支持 二、Pandas库的应用场景 1、数据分析 2、数据清洗 3…...

Firefox 编译指南2024 Windows10篇- 编译Firefox(三)

1.引言 在成功获取了Firefox源码之后&#xff0c;下一步就是将这些源码编译成一个可执行的浏览器。编译是开发流程中的关键环节&#xff0c;通过编译&#xff0c;我们可以将源代码转换为可执行的程序&#xff0c;测试其功能&#xff0c;并进行必要的优化和调试。 对于像Firef…...

CSS弹性布局:打造响应式与灵活的网页设计

一、弹性布局是什么&#xff1f; 弹性布局&#xff08;Flexbox&#xff09;是一种CSS布局模型&#xff0c;它提供了一种更加高效的方式来对容器中的项目进行布局、对齐和分配空间。与传统的布局方式相比&#xff0c;Flexbox旨在提供一个更加灵活的方式来布局复杂的网页结构&am…...

【高阶数据结构】图的应用--最短路径算法

文章目录 一、最短路径二、单源最短路径--Dijkstra算法三、单源最短路径--Bellman-Ford算法四、多源最短路径--Floyd-Warshall算法 一、最短路径 最短路径问题&#xff1a;从在带权有向图G中的某一顶点出发&#xff0c;找出一条通往另一顶点的最短路径&#xff0c;最短也就是沿…...

腾讯云函数node.js返回自动带反斜杠

云函数返回自动带反斜杠 这里建立了如下一个云函数,目的是当APP过来请求的时候响应支持的版本号: use strict; function main_ret(status,code){let ret {status: status,error: code};return JSON.stringify(ret); } exports.main_handler async (event, context) > {/…...

AI Agent与Agentic AI:原理、应用、挑战与未来展望

文章目录 一、引言二、AI Agent与Agentic AI的兴起2.1 技术契机与生态成熟2.2 Agent的定义与特征2.3 Agent的发展历程 三、AI Agent的核心技术栈解密3.1 感知模块代码示例&#xff1a;使用Python和OpenCV进行图像识别 3.2 认知与决策模块代码示例&#xff1a;使用OpenAI GPT-3进…...

MongoDB学习和应用(高效的非关系型数据库)

一丶 MongoDB简介 对于社交类软件的功能&#xff0c;我们需要对它的功能特点进行分析&#xff1a; 数据量会随着用户数增大而增大读多写少价值较低非好友看不到其动态信息地理位置的查询… 针对以上特点进行分析各大存储工具&#xff1a; mysql&#xff1a;关系型数据库&am…...

从深圳崛起的“机器之眼”:赴港乐动机器人的万亿赛道赶考路

进入2025年以来&#xff0c;尽管围绕人形机器人、具身智能等机器人赛道的质疑声不断&#xff0c;但全球市场热度依然高涨&#xff0c;入局者持续增加。 以国内市场为例&#xff0c;天眼查专业版数据显示&#xff0c;截至5月底&#xff0c;我国现存在业、存续状态的机器人相关企…...

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility

Cilium动手实验室: 精通之旅---20.Isovalent Enterprise for Cilium: Zero Trust Visibility 1. 实验室环境1.1 实验室环境1.2 小测试 2. The Endor System2.1 部署应用2.2 检查现有策略 3. Cilium 策略实体3.1 创建 allow-all 网络策略3.2 在 Hubble CLI 中验证网络策略源3.3 …...

《通信之道——从微积分到 5G》读书总结

第1章 绪 论 1.1 这是一本什么样的书 通信技术&#xff0c;说到底就是数学。 那些最基础、最本质的部分。 1.2 什么是通信 通信 发送方 接收方 承载信息的信号 解调出其中承载的信息 信息在发送方那里被加工成信号&#xff08;调制&#xff09; 把信息从信号中抽取出来&am…...

WordPress插件:AI多语言写作与智能配图、免费AI模型、SEO文章生成

厌倦手动写WordPress文章&#xff1f;AI自动生成&#xff0c;效率提升10倍&#xff01; 支持多语言、自动配图、定时发布&#xff0c;让内容创作更轻松&#xff01; AI内容生成 → 不想每天写文章&#xff1f;AI一键生成高质量内容&#xff01;多语言支持 → 跨境电商必备&am…...

浅谈不同二分算法的查找情况

二分算法原理比较简单&#xff0c;但是实际的算法模板却有很多&#xff0c;这一切都源于二分查找问题中的复杂情况和二分算法的边界处理&#xff0c;以下是博主对一些二分算法查找的情况分析。 需要说明的是&#xff0c;以下二分算法都是基于有序序列为升序有序的情况&#xf…...

【学习笔记】深入理解Java虚拟机学习笔记——第4章 虚拟机性能监控,故障处理工具

第2章 虚拟机性能监控&#xff0c;故障处理工具 4.1 概述 略 4.2 基础故障处理工具 4.2.1 jps:虚拟机进程状况工具 命令&#xff1a;jps [options] [hostid] 功能&#xff1a;本地虚拟机进程显示进程ID&#xff08;与ps相同&#xff09;&#xff0c;可同时显示主类&#x…...

JVM暂停(Stop-The-World,STW)的原因分类及对应排查方案

JVM暂停(Stop-The-World,STW)的完整原因分类及对应排查方案,结合JVM运行机制和常见故障场景整理而成: 一、GC相关暂停​​ 1. ​​安全点(Safepoint)阻塞​​ ​​现象​​:JVM暂停但无GC日志,日志显示No GCs detected。​​原因​​:JVM等待所有线程进入安全点(如…...

C# 求圆面积的程序(Program to find area of a circle)

给定半径r&#xff0c;求圆的面积。圆的面积应精确到小数点后5位。 例子&#xff1a; 输入&#xff1a;r 5 输出&#xff1a;78.53982 解释&#xff1a;由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982&#xff0c;因为我们只保留小数点后 5 位数字。 输…...