当前位置: 首页 > news >正文

如何保障 MySQL 和 Redis 的数据一致性?

数据一致性问题是如何产生的?

数据一致性问题通常产生于数据在不同的时间点、地点或系统中存在多个副本的情况,
系统只存在一个副本的情况下也完全可能会产生。

设想一下,你在一家连锁咖啡店有一张会员卡这张会员卡可以绑定两个账号(假设是微信号),这张卡记录了你的积分。
你在北京的分店购买了一杯拿铁,积分增加了5分。就是这么巧,同一时间,你的好朋友在上海的分店也买了一杯拿铁,积分也增加了5分。
按理来说用这张卡买了两杯咖啡,系统上应该给你增加10分,但是,如果北京分店的系统更新到中央数据库的操作延迟了,
上海分店的系统可能还没有得到最新的积分信息。
这时,上海分店计算总积分的方式就是:原来的总积分 + 5分,北京的分店的计算方式也是:原来的总积分 + 5分,这张卡总的就加了5分,这就是一种数据一致性问题。

即使在单个系统内部,也可能存在类似的问题。

假设咖啡店的积分记录系统在进行维护,而你在这个时间点进行了消费。
如果维护操作和积分更新操作没有被正确的协调,可能会导致你的消费没有被记录到积分中,引发数据一致性问题。

在上面这个例子中,数据一致性问题是由于信息更新在不同地点之间同步不及时造成的,而在单个系统中,
可能是因为操作的顺序和同步机制没有设计得当导致一致性问题。
解决这类问题通常需要引入事务管理、分布式锁、队列、事件驱动的更新机制等策略来确保数据的准确性和实时性。

迪米特法则

在软件架构设计中,遵循的原则是尽量保持简洁和避免不必要的复杂性,
这个原则被称作 “最少知识原则” (Principle of Least Knowledge),也被称为 “迪米特法则” (Law of Demeter)。
当它和架构设计中的简约原则联系起来时,你可能指的是 “简单性原则”“奥卡姆剃刀”(Occam’s Razor) 原则。
奥卡姆剃刀原则通常被解释为在没有明显差别的情况下,应该选择假设较少、假设简单的理论。

在软件架构的上下文中,这意味着在其他条件相同的情况下,应该选择更简单、组件更少的设计方案
这样做的好处包括减少潜在的错误来源、降低系统的维护成本、提高系统的可理解性,并且有时还能提高性能。

每引入一个新组件,就增加了系统的复杂度和潜在的维护负担。因此,设计时应当权衡新组件带来的好处与其引入的复杂度之间的关系。

回到原本的问题

MySQL 和 Redis 的数据一致性问题是如何产生的?

MySQL 和 Redis 的数据一致性问题通常来源于它们在系统架构中扮演的不同角色和特性。
MySQL 是一个关系型数据库,通常用于存储持久化数据,而 Redis 是一个内存中的数据结构存储,常用作缓存和消息代理。
它们之间的数据一致性问题主要产生于下面几个方面:

  1. 数据更新时机:当数据在 MySQL 中被更新后,如果 Redis 中缓存的同一份数据没有被同时更新,就会出现不一致的情况。用户可能从缓存中获取到了旧的数据。

  2. 复制延迟:如果你使用 Redis 的复制功能来增强数据的可用性和冗余,可能会遇到主从复制延迟的问题。在高负载情况下,从节点上的数据可能会落后于主节点,导致数据一致性问题。

  3. 缓存穿透:如果请求的数据在 Redis 中没有找到,就会查询 MySQL 数据库。如果大量此类请求发生,而数据实际上并不存在于数据库中,这可能会导致数据库层面的性能问题,进而影响数据的读取和写入一致性。

  4. 缓存失效策略:当缓存因为达到了设定的时间限制或空间限制而被清除,如果数据更新策略没有得到很好的处理,那么当下一次读取时,就会从 MySQL 中读取到新的数据,而这段时间内,读取操作可能会得到不一致的结果。

  5. 事务处理:MySQL 支持事务处理,可以通过 ACID 属性(原子性、一致性、隔离性、持久性)来保证操作的准确性。而 Redis 对事务的支持是有限的,尽管它有一定的事务操作命令,但没有严格的 ACID 属性保证。

  6. 系统故障:系统崩溃或网络故障可能会导致正在同步的数据丢失或不完整,这也会引起数据一致性问题。

如何保障 MySQL 和 Redis 的数据一致性?

确保 MySQL 和 Redis 数据一致性可以通过以下几个更加详细的解决方案来实现:

1、先写数据库后写缓存:
首先更新 MySQL 数据库,确保数据持久化后,再更新 Redis 缓存。
这样即使缓存更新失败,应用也可以从数据库中读取最新数据,然后重试更新缓存。例如:

try {// 更新数据库updateDatabase(record);// 同步更新缓存updateCache(record);
} catch(Exception e) {// 如果缓存更新失败,可以记录日志并进行重试或者使用其他补偿机制log.error("Error updating cache", e);// 可以选择重新尝试更新缓存或者放入队列稍后处理retryUpdateCache(record);
}

![&nbsp][nbsp]

2、事务消息:
使用本地事务配合事务消息中间件,比如 RocketMQ 的事务消息功能。
先发送预备消息,然后在本地事务中执行数据库操作,根据操作结果最后提交或回滚消息。
如果消息提交成功,则消费者监听到消息后更新 Redis 缓存。这样就能保证数据库操作和缓存更新的最终一致性。

3、缓存双删策略:
在更新数据库之前和之后都删除缓存,第一次删除是为了防止在更新数据库的过程时间窗口内有新的请求访问到旧的缓存数据,
第二次删除是为了处理在第一次删除之后到数据库更新期间产生的脏数据。

// 第一次删除缓存
deleteCache(key);// 更新数据库
updateDatabase(record);// 休眠一段时间,比如100ms,让前面的数据库操作和缓存删除操作完成
Thread.sleep(100);// 第二次删除缓存
deleteCache(key);

![&nbsp][nbsp 1]

缓存双删策略为什么要删除两次?

缓存双删策略就是在更新数据库记录之前和之后都执行一次缓存删除操作。
这个策略的目的是为了尽可能减少数据库与缓存间数据不一致的时间窗口,解决缓存数据可能出现的脏读问题。具体的原因如下:

a、预防更新期间的脏读:
当更新数据库记录之前先删除缓存,目的是为了防止在数据库更新期间,如果有新的请求进来,这个请求会因为缓存不命中而去读取数据库中的最新数据,并将其写入到缓存中。

b、处理更新期间的写请求:
即使进行了第一次缓存删除操作,但在数据库更新完成之前,新的读请求可能已经带着旧的数据重新填充了缓存(这是因为删除缓存和更新数据库之间还是有一个很短的时间窗口)。因此,在数据库更新之后再次删除缓存,可以确保如果有旧数据被写入缓存,那么这些旧数据也会被清除。

c、确保数据一致性:

第二次删除操作是为了确保任何在两次删除操作中间由于旧数据写入缓存的情况得到处理。
这样即使发生了这种情况,缓存中的旧数据最终也会被清除,新的读请求会再次触发缓存的重建,这次则会从数据库加载最新的数据。

简单来说,缓存双删策略是一种实践中比较简单有效的方法,用于降低缓存数据不一致的风险。
然而,这种策略也不能完全保证缓存和数据库数据的强一致性,因为在高并发场景下仍然存在极小的窗口期可能会导致脏读。
因此,在一些对数据一致性要求极高的场景中,可能需要其他更复杂的数据同步机制。

![&nbsp][nbsp 2]

4、发布/订阅模式:
在更新数据库后,发布一个事件到消息队列。有一个订阅了这个队列的缓存更新服务,它会监听这些事件,并且负责更新或者删除对应的缓存。

5、定时校对进程:
定期运行一个后台进程,该进程对数据库和缓存数据进行校对。如果发现不一致,将缓存数据更新为数据库中的最新状态。这种方法适用于对一致性要求不是非常实时的场景。

这些方法可以根据实际业务的需求和场景进行选择和调整,通常需要综合使用这些策略来达到较优的一致性保障。
在实践中,还需要对各种边界条件和异常情况进行详细的考虑,以确保系统的健壮性。

最后说一句(求关注,求赞,别白嫖我)

最近无意间获得一份阿里大佬写的刷题笔记和面经,一下子打通了我的任督二脉,进大厂原来没那么难。

这是大佬写的, 7701页的阿里大佬写的刷题笔记,让我offer拿到手软

求一键三连:点赞、分享、收藏

点赞对我真的非常重要!在线求赞,加个关注我会非常感激!@小郑说编程

[nbsp]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=http%3A%2F%2F%2Fwww.feiz.vip%2Fimages%2Ffenbushi%2FMySQL_Redis%2Fconsistency%2Ffirst_MySQL.png&pos_id=img-fdg0tjWU-1704726201602)
[nbsp 1]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=http%3A%2F%2F%2Fwww.feiz.vip%2Fimages%2Ffenbushi%2FMySQL_Redis%2Fconsistency%2Fdouble_del1.png&pos_id=img-xpIJro8b-1704726201892)
[nbsp 2]: https://img-home.csdnimg.cn/images/20230724024159.png?origin_url=http%3A%2F%2F%2Fwww.feiz.vip%2Fimages%2Ffenbushi%2FMySQL_Redis%2Fconsistency%2Fdouble_del2.png&pos_id=img-bicyRUqp-1704726202539)

相关文章:

如何保障 MySQL 和 Redis 的数据一致性?

数据一致性问题是如何产生的? 数据一致性问题通常产生于数据在不同的时间点、地点或系统中存在多个副本的情况, 系统只存在一个副本的情况下也完全可能会产生。 设想一下,你在一家连锁咖啡店有一张会员卡这张会员卡可以绑定两个账号&#x…...

Leetcode 2999. Count the Number of Powerful Integers

Leetcode 2999. Count the Number of Powerful Integers 1. 解题思路2. 代码实现 题目链接:10034. Count the Number of Powerful Integers 1. 解题思路 这一题的话其实还是一个典型的求不大于 N N N的特殊数字个数的问题。 这道题本质上进行一下替换还是要求如…...

【Reading Notes】(2)

文章目录 FreestyleHip-hop dance and MusicProgrammerMaster Freestyle 都说人的成长有三个阶段,第一个阶段认为自己独一无二,天之骄子;第二个阶段发现自己原来如此渺小,如此普通,沮丧失望;第三阶段&#…...

【设计模式之美】SOLID 原则之一:怎么才算是单一原则、如何取舍单一原则

文章目录 一. 如何判断类的职责是否足够单一?二. 类的职责是否设计得越单一越好? 开始学习一些经典的设计原则,其中包括,SOLID、KISS、YAGNI、DRY、LOD 等。 本文主要学习单一职责原则的相关内容。 单一职责原则的定义&#xff1a…...

# [NOIP2015 普及组] 扫雷游戏#洛谷

题目背景 NOIP2015 普及组 T2 题目描述 扫雷游戏是一款十分经典的单机小游戏。在 n n n 行 m m m 列的雷区中有一些格子含有地雷(称之为地雷格),其他格子不含地雷(称之为非地雷格)。玩家翻开一个非地雷格时&#…...

Unity中Shader的_Time精度问题

文章目录 前言一、U方向上优化二、V方向上优化在这里插入图片描述 三、最终代码1、效果2、Shader 前言 在Unity的Shader中,使用了_Time来达到UV的流动效果,普遍会出现一个问题。我们的UV值会随着时间一直增加(uv值增加了,但是因为…...

听GPT 讲Rust源代码--compiler(15)

File: rust/compiler/rustc_arena/src/lib.rs 在Rust源代码中&#xff0c;rustc_arena/src/lib.rs文件定义了TypedArena&#xff0c;ArenaChunk&#xff0c;DroplessArena和Arena结构体&#xff0c;以及一些与内存分配和容器操作相关的函数。 cold_path<F: FnOnce,drop,new,…...

关键字联合体union的定义和使用

联合体的定义 联合体的定义和结构体相同。 联合体成员共用存储空间&#xff0c;联合体占用的空间最大长度的数据成员的长度。 union State {char sleep;char run;int suspend;double error; }state_u;以上例子&#xff0c;State表示联合体的名字&#xff0c;它相当于声明了一…...

基于GA-PSO遗传粒子群混合优化算法的VRPTW问题求解matlab仿真

目录 1.程序功能描述 2.测试软件版本以及运行结果展示 3.核心程序 4.本算法原理 4.1 遗传算法&#xff08;GA&#xff09;基本原理 4.2 粒子群优化&#xff08;PSO&#xff09;基本原理 4.3 算法优化策略 5.完整程序 1.程序功能描述 VRPTW是车辆路径问题&#xff08;VR…...

【leetcode100-033】【链表】排序链表

【题干】 给你链表的头结点 head &#xff0c;请将其按 升序 排列并返回 排序后的链表 。 【思路】 递归版归并法链表版&#xff5e;没什么特别好说的&#xff08;非递归版归并也是可以哒&#xff0c;但是马上要考试了今天懒得写了&#xff01;打个flag在这里也许哪天想起来…...

[Kubernetes]5. k8s集群StatefulSet详解,以及数据持久化(SC PV PVC)

前面通过deployment结合service来部署无状态的应用,下面来讲解通过satefulSet结合service来部署有状态的应用 一.StatefulSet详解 1.有状态和无状态区别 无状态: 无状态(stateless)、牲畜(cattle)、无名(nameless)、可丢弃(disposable) 有状态: 有状态(stateful)、宠物(pet)…...

数据库系统-甘晴void学习笔记

数据库系统笔记 计科210X 甘晴void 202108010XXX 教材&#xff1a;《数据库系统概论》第6版 &#xff08;图片来源于网络&#xff0c;侵删&#xff09; 文章目录 数据库系统<br>笔记第一篇 基础篇1 绪论1.1数据库系统概述1.2数据模型1.3数据库系统的结构(三级模式结构…...

Azure Machine Learning - 人脸识别任务概述与技术实战

Azure AI 人脸服务提供了可检测、识别和分析图像中的人脸的 AI 算法。 人脸识别软件在许多不同情形中都十分重要&#xff0c;例如识别、无接触访问控制和实现隐私的人脸模糊。你可以通过客户端库 SDK&#xff0c;或者直接调用 REST API 使用人脸服务。 目录 一、人脸识别服务场…...

强化学习的数学原理学习笔记 - 蒙特卡洛方法(Monte Carlo)

文章目录 概览&#xff1a;RL方法分类蒙特卡洛方法&#xff08;Monte Carlo&#xff0c;MC&#xff09;MC BasicMC Exploring Starts&#x1f7e6;MC ε-Greedy 本系列文章介绍强化学习基础知识与经典算法原理&#xff0c;大部分内容来自西湖大学赵世钰老师的强化学习的数学原理…...

DDIA 第十一章:流处理

本文是《数据密集型应用系统设计》&#xff08;DDIA&#xff09;的读书笔记&#xff0c;一共十二章&#xff0c;我已经全部阅读并且整理完毕。 采用一问一答的形式&#xff0c;并且用列表形式整理了原文。 笔记的内容大概是原文的 1/5 ~ 1/3&#xff0c;所以你如果没有很多时间…...

webpack知识点总结(高级应用篇)

除开公共基础配置之外&#xff0c;我们意识到两点: 1. 开发环境(modedevelopment),追求强大的开发功能和效率&#xff0c;配置各种方便开 发的功能;2. 生产环境(modeproduction),追求更小更轻量的bundle(即打包产物); 而所谓高级应用&#xff0c;实际上就是进行 Webpack 优化…...

均匀与准均匀 B样条算法

B 样条曲线的定义 p ( t ) ∑ i 0 n P i F i , k ( t ) p(t) \sum_{i0}{n} P_i F_{i, k}(t) p(t)i0∑​nPi​Fi,k​(t) 方程中 n 1 n1 n1 个控制点&#xff0c; P i P_i Pi​, i 0 , 1 , ⋯ n i0, 1, \cdots n i0,1,⋯n 要用到 n 1 n1 n1 个 k k k 次 B 样条基函数 …...

2023年12 月电子学会Python等级考试试卷(一级)答案解析

青少年软件编程(Python)等级考试试卷(一级) 分数:100 题数:37 一、单选题(共25题,共50分) 1. 下列程序运行的结果是?( ) print(hello) print(world) A. helloworld...

启发式算法解决TSP、0/1背包和电路板问题

1. Las Vegas 题目 设计一个 Las Vegas 随机算法&#xff0c;求解电路板布线问题。将该算法与分支限界算法结合&#xff0c;观察求解效率。 代码 python代码如下&#xff1a; # -*- coding: utf-8 -*- """ Date : 2024/1/4 Time : 16:21 Author : …...

阿里云新用户的定义与权益

随着云计算的普及&#xff0c;阿里云作为国内领先的云计算服务提供商&#xff0c;吸引了越来越多的用户。对于新用户来说&#xff0c;了解阿里云新用户的定义和相关权益非常重要&#xff0c;因为它关系到用户能否享受到更多的优惠和服务。 一、阿里云新用户的定义 阿里云新用户…...

uniapp 对接腾讯云IM群组成员管理(增删改查)

UniApp 实战&#xff1a;腾讯云IM群组成员管理&#xff08;增删改查&#xff09; 一、前言 在社交类App开发中&#xff0c;群组成员管理是核心功能之一。本文将基于UniApp框架&#xff0c;结合腾讯云IM SDK&#xff0c;详细讲解如何实现群组成员的增删改查全流程。 权限校验…...

Python|GIF 解析与构建(5):手搓截屏和帧率控制

目录 Python&#xff5c;GIF 解析与构建&#xff08;5&#xff09;&#xff1a;手搓截屏和帧率控制 一、引言 二、技术实现&#xff1a;手搓截屏模块 2.1 核心原理 2.2 代码解析&#xff1a;ScreenshotData类 2.2.1 截图函数&#xff1a;capture_screen 三、技术实现&…...

云原生核心技术 (7/12): K8s 核心概念白话解读(上):Pod 和 Deployment 究竟是什么?

大家好&#xff0c;欢迎来到《云原生核心技术》系列的第七篇&#xff01; 在上一篇&#xff0c;我们成功地使用 Minikube 或 kind 在自己的电脑上搭建起了一个迷你但功能完备的 Kubernetes 集群。现在&#xff0c;我们就像一个拥有了一块崭新数字土地的农场主&#xff0c;是时…...

在鸿蒙HarmonyOS 5中实现抖音风格的点赞功能

下面我将详细介绍如何使用HarmonyOS SDK在HarmonyOS 5中实现类似抖音的点赞功能&#xff0c;包括动画效果、数据同步和交互优化。 1. 基础点赞功能实现 1.1 创建数据模型 // VideoModel.ets export class VideoModel {id: string "";title: string ""…...

java 实现excel文件转pdf | 无水印 | 无限制

文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具,自己手写的难度,恐怕高级程序员花费一年的事件,也…...

GitHub 趋势日报 (2025年06月08日)

&#x1f4ca; 由 TrendForge 系统生成 | &#x1f310; https://trendforge.devlive.org/ &#x1f310; 本日报中的项目描述已自动翻译为中文 &#x1f4c8; 今日获星趋势图 今日获星趋势图 884 cognee 566 dify 414 HumanSystemOptimization 414 omni-tools 321 note-gen …...

拉力测试cuda pytorch 把 4070显卡拉满

import torch import timedef stress_test_gpu(matrix_size16384, duration300):"""对GPU进行压力测试&#xff0c;通过持续的矩阵乘法来最大化GPU利用率参数:matrix_size: 矩阵维度大小&#xff0c;增大可提高计算复杂度duration: 测试持续时间&#xff08;秒&…...

算法笔记2

1.字符串拼接最好用StringBuilder&#xff0c;不用String 2.创建List<>类型的数组并创建内存 List arr[] new ArrayList[26]; Arrays.setAll(arr, i -> new ArrayList<>()); 3.去掉首尾空格...

Go 语言并发编程基础:无缓冲与有缓冲通道

在上一章节中&#xff0c;我们了解了 Channel 的基本用法。本章将重点分析 Go 中通道的两种类型 —— 无缓冲通道与有缓冲通道&#xff0c;它们在并发编程中各具特点和应用场景。 一、通道的基本分类 类型定义形式特点无缓冲通道make(chan T)发送和接收都必须准备好&#xff0…...

什么是VR全景技术

VR全景技术&#xff0c;全称为虚拟现实全景技术&#xff0c;是通过计算机图像模拟生成三维空间中的虚拟世界&#xff0c;使用户能够在该虚拟世界中进行全方位、无死角的观察和交互的技术。VR全景技术模拟人在真实空间中的视觉体验&#xff0c;结合图文、3D、音视频等多媒体元素…...