缓存与数据库数据一致性 详解
缓存与数据库数据一致性详解
在分布式系统中,缓存(如 Redis、Memcached)与数据库(如 MySQL、PostgreSQL)一起使用是提高系统性能的常用方法。然而,缓存与数据库可能因更新时序、操作失误等原因出现数据不一致的问题,导致数据读取异常,影响用户体验和业务逻辑的正确性。
1. 缓存与数据库数据不一致的原因
-
先更新数据库,再删除缓存:
- 更新数据库后,如果删除缓存的操作失败或延迟,缓存仍会返回旧数据。
-
先删除缓存,再更新数据库:
- 缓存删除后,其他并发请求可能从数据库读取旧数据并重新写入缓存,导致缓存出现脏数据。
-
缓存过期:
- 缓存中数据过期后,新的请求直接访问数据库,但可能未正确写入或更新缓存。
-
分布式系统中的延迟与故障:
- 在分布式环境中,网络延迟、服务故障、节点不一致等问题会导致数据同步失败。
-
异步更新:
- 使用异步任务更新缓存时,任务执行延迟或失败会导致缓存与数据库数据不同步。
2. 数据一致性要求
数据一致性可以分为以下三种场景:
-
强一致性:
- 数据写入数据库后,缓存必须立即更新或删除,确保读取到的数据与数据库一致。
- 适用场景:金融系统、订单系统等对一致性要求极高的业务。
-
最终一致性:
- 数据更新后,允许短时间内数据不一致,但最终状态需要保持一致。
- 适用场景:电商商品库存、用户行为分析等。
-
弱一致性:
- 数据更新后,不保证缓存与数据库的数据一致性。
- 适用场景:对一致性要求不高的业务,如热点排行榜等。
3. 缓存与数据库一致性的解决方案
3.1 经典策略:Cache Aside(旁路缓存模式)
流程
- 读操作:
- 先从缓存读取数据,如果缓存命中则返回数据;
- 如果缓存未命中,则从数据库读取数据,并将结果写入缓存。
- 写操作:
- 更新数据库后,删除对应的缓存数据。
优点
- 简单易实现;
- 减少了写缓存的复杂性,避免数据库和缓存操作的顺序冲突。
缺点
- 仍可能出现先更新数据库再删除缓存导致的不一致问题。
3.2 延时双删策略
流程
- 删除缓存:更新数据库之前,先删除缓存中的数据。
- 更新数据库:更新数据库中的数据。
- 二次删除:等待一定延时后,再次删除缓存。
伪代码实现
// 更新逻辑
redis.del("key"); // Step 1: 删除缓存
updateDatabase(data); // Step 2: 更新数据库
Thread.sleep(500); // Step 3: 延迟一定时间
redis.del("key"); // Step 4: 再次删除缓存
优点
- 有效解决先删缓存再更新数据库引起的并发脏数据问题。
缺点
- 延时选择的时间需合理,太短可能无效,太长会影响性能;
- 依赖数据库事务的准确性。
3.3 读写一致性控制
流程
- 数据写入或更新时,先删除缓存;
- 设置一个短时间内的“读屏障”,在此期间内,读取数据库的最新数据,而不是缓存的数据。
实现方式
- 设置一个标记位,表示某数据正在更新,禁止读取缓存。
- 示例:
String lockKey = "lock:key"; if (redis.get(lockKey) == null) {data = redis.get("key");if (data == null) {data = database.query("key");redis.set("key", data, 60);} } else {data = database.query("key"); }
优点
- 能够在数据更新时有效屏蔽脏数据读取。
缺点
- 增加了系统复杂性;
- 需要合理设计“屏障时间”。
3.4 分布式锁控制一致性
流程
- 更新数据库和缓存时加分布式锁,确保同一时间只有一个线程能操作缓存和数据库。
- 锁释放后,其余线程才能进行读写操作。
实现方式
- 使用 Redis 的分布式锁:
boolean lock = redis.setnx("lock:key", "1", 30); // 获取分布式锁 if (lock) {updateDatabase(data); // 更新数据库redis.del("key"); // 删除缓存redis.del("lock:key"); // 释放锁 }
优点
- 有效避免并发引发的数据不一致问题。
缺点
- 性能开销较大,适合对一致性要求高的场景。
3.5 消息队列异步更新
流程
- 数据库更新后,发送一条更新消息到消息队列。
- 消费者监听消息队列,收到更新消息后同步更新缓存。
实现方式
- 数据库更新逻辑:
updateDatabase(data); messageQueue.sendMessage("update_cache", "key");
- 消息消费者逻辑:
messageQueue.listen("update_cache", (key) -> {data = database.query(key);redis.set(key, data, 60); });
优点
- 提高了系统解耦性,缓存更新操作由异步任务完成。
缺点
- 依赖消息队列的可靠性;
- 延迟可能导致短时间内不一致。
3.6 缓存更新重试机制
流程
- 当缓存更新失败时,记录失败操作并定期重试。
- 可结合延时队列或定时任务实现。
实现方式
- 更新失败记录到延时队列:
try {redis.del("key"); } catch (Exception e) {delayQueue.add("key"); }
优点
- 确保缓存最终更新成功。
缺点
- 增加了系统复杂度。
4. 数据一致性解决方案的对比
方案 | 优点 | 缺点 | 适用场景 |
---|---|---|---|
Cache Aside | 简单易用,易于实现 | 高并发场景下可能导致短时间不一致 | 一般业务场景 |
延时双删 | 有效解决并发问题 | 延迟时间难以准确控制 | 一般业务场景 |
读写一致性控制 | 避免数据更新时的脏读 | 增加系统复杂性 | 高一致性要求场景 |
分布式锁 | 保证强一致性 | 性能较低 | 强一致性要求场景 |
消息队列异步更新 | 解耦数据库和缓存逻辑,提高吞吐量 | 消息延迟可能引起短暂不一致 | 高吞吐量、最终一致性场景 |
重试机制 | 保证最终一致性 | 增加系统复杂度 | 缓存更新易失败的场景 |
5. 实际案例分析
案例1:秒杀场景
- 问题:秒杀商品库存频繁更新,要求缓存与数据库一致。
- 解决方案:
- 使用延时双删策略,确保缓存数据与数据库同步。
案例2:电商商品价格
- 问题:商品价格需要强一致性,不能显示过期价格。
- 解决方案:
- 使用分布式锁,确保价格更新后缓存一致。
案例3:用户信息修改
- 问题:用户更新个人信息后,需保证缓存中的数据一致。
- 解决方案:
- 使用消息队列异步更新缓存。
6. 总结
缓存与数据库数据一致性问题是分布式系统设计中的核心问题,需要根据业务场景和一致性要求选择适合的方案:
- 一般场景:优先使用 Cache Aside 模式。
- 高一致性要求:可结合延时双删或分布式锁。
- 最终一致性:推荐使用消息队列异步更新。
- 高可用性
:采用重试机制或缓存预热。
通过合理设计,可以在性能和一致性之间找到最佳平衡点,提升系统的稳定性和用户体验。
相关文章:

缓存与数据库数据一致性 详解
缓存与数据库数据一致性详解 在分布式系统中,缓存(如 Redis、Memcached)与数据库(如 MySQL、PostgreSQL)一起使用是提高系统性能的常用方法。然而,缓存与数据库可能因更新时序、操作失误等原因出现数据不一…...

每日计划-1203
1. 完成 236. 二叉树的最近公共祖先 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode(int x) : val(x), left(NULL), right(NULL) {}* };*/ class Solution {public:TreeNode* lowe…...

HTML5动漫主题网站——天空之城 10页 html+css+设计报告成品项目模版
📂文章目录 一、📔网站题目 二、✍️网站描述 三、📚网站介绍 四、🌐网站演示 五、⚙️网站代码 🧱HTML结构代码 💒CSS样式代码 六、🔧完整源码下载 七、📣更多 一、&#…...

分布式会话 详解
分布式会话详解 在分布式系统中,用户的会话状态需要在多个服务器或节点之间共享或存储。分布式会话指的是在这种场景下如何管理和存储会话,以便在多个节点上都能正确识别用户状态,从而保证用户体验的一致性。 1. 为什么需要分布式会话 在单…...

探索仓颉编程语言:官网上线,在线体验与版本下载全面启航
文章目录 每日一句正能量前言什么是仓颉编程语言仓颉编程语言的来历如何使用仓颉编程语言在线版本版本下载后记 每日一句正能量 当你被孤独感驱使着去寻找远离孤独的方法时,会处于一种非常可怕的状态。因为无法和自己相处的人也很难和别人相处,无法和别人…...

Ubuntu无法连接Linux
检查网络连接 确保你的机器能够正常连接互联网。你可以尝试 ping 一下 GitHub 或其他网站,确认是否有网络问题: ping github.com如果无法 ping 通 GitHub,检查一下你的网络连接。 检查 GitHub 状态 有时候 GitHub 本身可能会出现服务故障。你…...

【Spring】注解开发
为了提高开发效率,从 Spring 2.0 开始引入了多种注解,而在 Spring 3.0 中则实现了纯注解的开发方式。 一、注解的使用 在 Spring 2.0 之后,使用注解进行开发主要分为两个步骤: 定义 Bean:使用 Component 注解来定义…...

数字图像稳定DIS介绍目录
之前用OpenCV做过防抖,OpenCV处理时,先处理一遍,再输出视频。二者相差还是挺大的。 前 言.......................................................................................................................................... …...

【人工智能-基础】SVM中的核函数到底是什么
文章目录 支持向量机(SVM)中的核函数详解1. 什么是核函数?核函数的作用:2. 核技巧:从低维到高维的映射3. 常见的核函数类型3.1 线性核函数3.2 多项式核函数3.3 高斯径向基函数(RBF核)4. 总结支持向量机(SVM)中的核函数详解 支持向量机(SVM,Support Vector Machine)…...

字节青训Marscode——8:找出整形数组中超过一半的数
问题描述 小R从班级中抽取了一些同学,每位同学都会给出一个数字。已知在这些数字中,某个数字的出现次数超过了数字总数的一半。现在需要你帮助小R找到这个数字。 测试样例 样例1: 输入:array [1, 3, 8, 2, 3, 1, 3, 3, 3] 输出…...

C++ 异步编程的利器std::future和std::promise
1、背景 在现代计算机系统中,许多任务可能需要花费较长时间才能完成,例如网络请求、文件读取、大规模数据计算等。如果在程序中同步地执行这些任务,会导致主线程被阻塞,整个程序在任务执行期间无法响应其他操作,用户体…...

CRM 系统中的 **知识库功能** 的设计与实现
CRM 系统中的 **知识库功能** 旨在为用户提供一个集中的平台,用于存储、组织和管理有关系统功能、常见问题、使用技巧、操作文档等信息。它能够帮助用户高效解决问题、快速获取所需信息,从而提升使用体验并减少客户支持负担。 ### 一、知识库功能的设计…...

重学设计模式-工厂模式(简单工厂模式,工厂方法模式,抽象工厂模式)
在平常的学习和工作中,我们创建对象一般会直接用new,但是很多时候直接new会存在一些问题,而且直接new会让我们的代码变得非常繁杂,这时候就会巧妙的用到设计模式,平常我们通过力扣学习的算法可能并不会在我们工作中用到…...

【C语言】结构体(四)
本篇重点是typedef关键字 一,是什么? typedef用来定义新的数据类型,通常typedef与结构体的定义配合使用。 简单来说就是取别名 ▶ struct 是用来定义新的数据类型——结构体 ▶ typedef是给数据类型取别名。 二,为什么…...

swift类方法为什么使用表派发?
直接上答案:因为表派发允许子类重写父类的方法,并在运行时根据对象的实际类型调用正确的方法实现。 什么是表派发? 首先我们先知道的是,swift当中函数的派发机制主要分为静态派发和动态派发。动态派发又分为表派发和消息派发。 …...

php实现AES/CBC/PKCS5Padding加密
接口文档 文档给过来的案例是java程序的,参照其思路,造一个php版本 构造aes对称加密 public static function encry($data){$data "要加密的数据";$key 你的256位密钥; // 密钥应该是16字节(128位),24字节…...

Anaconda3安装及使用
Anaconda3安装及使用 Linux中安装Anaconda31.安装 Anaconda32.配置环境变量3.验证是否成功 Conda环境和包管理1.Conda 环境初始化2.Conda Env 管理3.Conda 软件包管理 Linux中安装Anaconda3 下面是在Linux中安装Anaconda3-2021.05的教程,其他版本Anaconda更换名字即…...

Argon2-cffi与argon2-cffi-bindings:深入理解及其应用
Argon2-cffi与argon2-cffi-bindings的关系 在Python密码学领域,argon2-cffi和argon2-cffi-bindings是两个经常被提及的库。尽管它们的名字相似,但它们在实现和用途上有所不同。argon2-cffi是一个提供Argon2哈希算法的Python库,而argon2-cffi-…...

spring boot+jpa接入达梦数据库
文章目录 前言依赖配置对应的domain类和repository 前言 最近有一个新项目,由于信息安全等要求只能使用达梦数据库(dm8),之前从来没用过,特此开一个笔记记录一下spring bootjpa如何使用达梦数据库完成开发。 依赖 p…...

Vite构建,用NodeJS搭建一个简单的Vite服务
Vite 是一个现代的前端构建工具,由 Vue.js 作者尤雨溪创建。它主要用于开发和构建现代 JavaScript 应用,尤其是单页应用(SPA)。Vite 相比于传统的构建工具(如 Webpack)有几个显著的优势: 即时开…...

R语言机器学习论文(六):总结
文章目录 介绍参考文献介绍 本文采用R语言对来自进行数据描述、数据预处理、特征筛选和模型构建。 最后我们获得了一个能有效区分乳腺组织的随机森林预测模型,它的性能非常好,这意味着它可能拥有非常好的临床价值。 在本文中,我们利用R语言对来自美国加州大学欧文分校的B…...

python---面向对象---综合案例(4)
案例描述 实现加减乘法运算 # _*_ encoding:utf-8 _*_# 计算器, 实现一些基本的操作, 加减乘除运算, 以及打印结果操作# ------------------------------------代码1-------------------------------------- def jia(n1, n2):return n1 n2def jian(n1, n2):return n1 - n2de…...

如何参加华为欧拉考试?
华为欧拉考试主要针对的是华为欧拉(EulerOS/openEuler)操作系统的认证考试,这一认证体系旨在培养和认证具备基于欧拉操作系统进行企业级应用运行基础环境搭建、管理和调测能力的工程师以及云计算架构师。以下是对华为欧拉考试的详细介绍&…...

算法预刷题Day9:BM28 二叉树的最大深度
描述: 描述 求给定二叉树的最大深度, 深度是指树的根节点到任一叶子节点路径上节点的数量。 最大深度是所有叶子节点的深度的最大值。 (注:叶子节点是指没有子节点的节点。) 思路: 当前节点的最大高度 ma…...

exp_lr_scheduler理解
1. exp_lr_scheduler理解 这行代码定义了一个学习率调度器,用于动态调整训练过程中优化器的学习率。让我们分解并解释其含义: 1. exp_lr_scheduler 是什么? exp_lr_scheduler 是一个 学习率调度器(LR Scheduler),由 torch.optim.lr_scheduler.StepLR 创建,旨在按照预…...

Algorithm:河内之塔
1. 说明 河内之塔(Towers of Hanoi)是法国人 M.Claus(Lucas)于1883年从泰国带至法国的,河内为越战时北越的首都,即现在的胡志明市;1883年法国数学家 Edouard Lucas 曾提及这个故事,据…...

集中管理与实时审计:构建Linux集群(1300台服务器)日志平台的最佳实践
简介 随着企业IT基础设施的不断扩大,Linux服务器的数量也日益增多,传统的单机日志管理方式已无法满足对日志数据集中管理、审计和分析的需求。尤其是在大型集群环境中,如何高效地收集、存储和分析日志成为了一项重要的技术挑战。 背景 在实…...

在Scala中Array不可变的学习
package gjhs114import scala.collection.mutable.ArrayBuffer object Arrray114 {// 不可变数组:Array// def main(args: Array[String]): Unit {1 创建不可变数组// val arr1 Array(1,2,3)//2 访问.数组名(下标)。下标是从0开始到…...

vue3+vite 批量引入组件动态使用
import { ref, reactive, toRaw, markRaw, defineAsyncComponent, onMounted } from vue import type { Component } from vue// vue3vite 批量引入组件动态使用 const modules import.meta.glob<Component>(./details/*.vue) // 明确指定导入的模块类型为Component con…...

设计模式——方法链or流式接口
方法链或流式接口是一种编程模式或设计模式。核心思想是通过返回对象自身的应用,使得可以在一个表达式中连续调用多个方法。 c中实现这种模式 1.基本语法规则 (1)每个可链接的方法都返回对象自身的引用(通常是*this)…...