Redis缓存穿透、击穿和雪崩的理解和解决思路
Redis的缓存穿透
缓存穿透是指那些查询请求所要获取的数据既不在缓存(Redis)中,也不在数据库(例如:MySQL)中,因此每次请求都会直接访问数据库。这种情况通常由以下几种情形引起:
- 恶意请求:恶意用户或攻击者故意发送不存在的数据请求,以造成系统负担或者尝试暴力攻击数据库。
- 随机性访问:大量请求发送到一个不存在的键,导致每次请求都落到数据库上,尤其是在高并发情况下。
- 过期数据:缓存中的数据过期或被淘汰,而此时数据库中也不存在这些数据,因此新的请求会穿透缓存直接访问数据库。
常见的解决方案有两种:
缓存空对象:
实施方式:当请求查询的数据在缓存中不存在时,仍将一个空对象或者默认值存入缓存中,有效期根据需求设定,以防止大量的无效请求穿透到数据库。
优点:
- 实现简单,维护方便。
- 可以快速响应客户端请求,减少对数据库的直接访问。
缺点:
- 需要额外的内存空间来存储空对象或者默认值。
- 可能导致短期内的数据不一致,如果数据库中数据发生变化而缓存中的空对象未及时更新。
布隆过滤器:
实施方式:在缓存层之前引入布隆过滤器,用于快速判断请求的键是否可能存在于缓存中,从而减少对缓存和数据库的无效查询。
优点:
- 占用内存较少,不会存储多余的数据。
- 能够快速判断请求是否可能命中缓存,避免无效查询。
缺点:
- 实现较为复杂,需要维护布隆过滤器的哈希函数和位数组。
- 存在一定的误判概率,即布隆过滤器可能会误判某个数据存在于缓存中,但实际上并不存在。

在实际应用中,可以根据具体情况选择合适的解决方案或者结合两种方法来提高系统的性能和可靠性。例如,可以使用布隆过滤器来过滤掉明显不存在于缓存中的请求,同时对于偶尔的缓存穿透情况,可以通过缓存空对象来缓解对数据库的压力。
Redis的缓存击穿
Redis缓存击穿是指缓存(Redis)中不存在但数据库(例如:MySQL)中存在的数据,在并发访问下,导致大量请求直接穿透缓存,直接访问数据库,引起数据库压力过大的情况。这通常发生在某个缓存键过期或者被删除后,恰好有大量并发请求同时访问该键对应的数据。
针对这个问题,常见的解决方案包括互斥锁和逻辑过期两种方法。
互斥锁方案
原理: 使用锁来保证在缓存失效时,只允许一个线程重新查询数据库并更新缓存,其他线程需要等待。
具体实现:
- 当一个线程发现缓存失效时,尝试获取互斥锁。
- 如果获取锁成功,该线程负责重新查询数据库并更新缓存。
- 其他线程在尝试获取锁时会被阻塞,直到锁被释放。
- 释放锁后,其他线程可以再次尝试获取锁并继续处理请求。

优点:
- 简单直接,易于实现。
- 能够确保数据的一致性,因为只有一个线程能够更新缓存。
缺点:
- 锁竞争可能导致性能下降,特别是在高并发场景下。
- 可能出现死锁问题,需要谨慎设计锁的获取和释放逻辑。
逻辑过期方案
原理: 通过逻辑判断来避免真实过期时间导致的缓存击穿问题,即在缓存失效时,允许多个线程同时访问数据库,但只有一个线程负责更新缓存。
具体实现:
- 在缓存中存储一个额外的逻辑过期时间,该时间比实际的过期时间要早。
- 当缓存失效时,所有线程可以同时访问数据库。
- 第一个获取到数据的线程会尝试获取互斥锁,并更新缓存。
- 其他线程在发现缓存失效后,检测到逻辑过期时间未到时,直接返回之前的脏数据。

优点:
- 可以避免锁竞争导致的性能问题,允许多个线程并发访问数据库。
- 对于用户体验较好,因为大部分请求能够快速返回旧数据。
缺点:
- 需要额外的逻辑来处理过期时间判断和数据更新,实现较复杂。
- 在数据更新完成前,可能会返回旧数据,存在数据不一致的风险。
对比与选择
- 互斥锁方案适合对数据一致性要求高、并发量较大的场景,尤其是需要严格保证数据更新顺序的情况。
- 逻辑过期方案适合对即时性要求较高、并发量不是特别高的场景,能够在一定程度上减少数据库访问压力。

Redis的缓存雪崩
Redis的缓存雪崩是指在缓存中大量的键(key)同时过期,导致大量请求直接打到数据库,从而引起数据库压力剧增,甚至宕机的情况。这种情况通常发生在缓存服务器重启、大规模的缓存并发失效、或者缓存(Redis)服务器宕机重启等情况下。

解决方案:
- 给不同的Key的TTL添加随机值:通常情况下,缓存的过期时间设置为固定值会导致大量缓存在同一时间失效,从而引发雪崩效应。通过给每个缓存键设置稍微不同的过期时间(比如在原本过期时间的基础上加上一个随机值),可以有效分散缓存失效的时间点,减少集中失效带来的压力。
- 利用Redis集群提高服务的可用性:使用Redis集群可以提高Redis服务的可用性和容错能力。Redis集群能够分散请求到多个节点上,即使某个节点发生故障或者重启,其他节点仍然可以继续提供服务,从而减少单点故障的影响。
- 给缓存业务添加降级限流策略:在缓存失效时,为了避免大量请求直接打到数据库,可以实施降级策略,例如返回默认值、空值或者直接拒绝服务,避免数据库被大量请求压垮。同时,也可以通过限流策略控制并发访问量,防止系统过载。
- 给业务添加多级缓存:使用多级缓存架构,比如本地缓存(如内存)、分布式缓存(如Redis)、以及后备缓存(如数据库),可以有效应对单一缓存失效带来的问题。本地缓存可以提供快速响应,而分布式缓存则能够提供高可用性和扩展性,后备缓存则作为最终的备份数据源。
总体而言,这些解决方案结合起来能够有效地减少缓存雪崩问题的发生,并保证系统在高负载时依然能够稳定运行。
相关文章:
Redis缓存穿透、击穿和雪崩的理解和解决思路
Redis的缓存穿透 缓存穿透是指那些查询请求所要获取的数据既不在缓存(Redis)中,也不在数据库(例如:MySQL)中,因此每次请求都会直接访问数据库。这种情况通常由以下几种情形引起: 恶…...
ReactHooks(完结)
上期戳here ReactHooks[三] 一.memo 函数1.1 语法格式 二. useMemo2.1 问题引入2.2 语法格式2.3 使用 useMemo 解决刚才的问题 三.useCallback3.1 useMemo和useCallback区别3.2 语法格式 四.useTransition4.1 问题引入4.2 语法格式4.3 使用 isPending 展示加载状态4.4 注意事项…...
【数据中台】大数据管理平台建设方案(原件资料)
建设大数据管理中台,按照统一的数据规范和标准体系,构建统一数据采集﹣治理﹣共享标准、统一技术开发体系、统一接口 API ,实现数据采集、平台治理,业务应用三层解耦,并按照统一标准格式提供高效的…...
UE5+OpenCV配置(Windows11系统)
一、概述 因为需要在UE5中使用OpenCV这些工具进行配置,所以在网络上参考借鉴一些资料进行配置。查询到不少的资料,最后将其配置成功。在这里顺便记录一下自己的配置成功的过程。 二、具体过程 (一)版本 使用Windows11系统、UE5.…...
自研Vue3开源Tree组件:节点拖拽bug修复
当dropType为after,且dropNode为父节点时,bug出现了: bug原因:插入扁平化列表的位置insertIndex计算的不对: 正确的逻辑,同inner要算上子孙节点所占的位置: bug修复!...
SSM学习9:SpringBoot简介、创建项目、配置文件、多环节配置
简介 SpringBoot式用来简化Spring应用的初始搭建以及开发过程的一个框架 项目搭建 File -> New -> Project 选中pom.xml文件,设置为maven项目 项目启动成功 可以访问BasicController中的路径 配置文件 在resources目录下 application.properties 默…...
Java面试题---索引
什么是索引 索引是用来高效获取数据的存储结构如同字典的目录一样,数据库的索引通常使用btree来实现,索引树的节点和数据地址相关联,查询的时候在索引树种进行高效搜索,然后根据数据地址获取数据。索引提高了搜索的效率同时增加了…...
ollama本地部署大语言模型记录
目录 安装Ollama更改模型存放位置 拉取模型GemmaMistralQwen1.5(通义千问)codellama 部署Open webui测试性能知识广度问题1问题2 代码能力总结 最近突然对大语言模型感兴趣 同时在平时的一些线下断网的CTF比赛中,大语言模型也可以作为一个能对话交互的高级知识检索…...
【C++红黑树应用】模拟实现STL中的map与set
目录 🚀 前言一: 🔥 红黑树的修改二: 🔥 红黑树的迭代器 三: 🔥 perator() 与 operator--() 四: 🔥 红黑树相关接口的改造✨ 4.1 Find 函数的改造✨ 4.2 Insert 函数的改…...
前端实习手计(5):班味十足?!
自我感觉没有班味!!!每天还是快快乐乐上班哇,是愉快的一周~这周没有太多活咯,基本就是修修改改改代码学习。真的感觉自己写的代码就是乱七八糟,只要能跑起来有效果就行(我不是合格的处女座哈哈哈…...
Duix AI 太上瘾,让我熬夜体验的AI女友
✨点击这里✨:🚀原文链接:(更好排版、视频播放、社群交流、最新AI开源项目、AI工具分享都在这个公众号!) Duix AI 太上瘾,让我熬夜体验的AI女友 开启 Duix AI 女友的奇妙之旅_ Hi,这…...
php判断某个目录下是否存在文件
/*** 判断字符串是否以什么结尾* param String $haystack 字符串* param String $needle 结尾* return Boolean*/ function endWith($haystack, $needle) {$length strlen($needle);if ($length 0) {return true;}return (substr($haystack, -$length) $needle); } /***…...
重塑互联网生态:探索Web 3.0、大数据与隐私保护的新篇章
引言:互联网的新纪元 随着互联网技术的日新月异,我们正迈入一个全新的时代,其中Web 3.0、大数据以及隐私保护成为塑造未来互联网生态的三大核心力量。它们不仅改变了我们与互联网交互的方式,更深刻地影响着社会的方方面面。 Web…...
HR模块中PA信息类型的相关函数
目录 1、新增、删除,修改:HR_INFOTYPE_OPERATION新增:INS删除:DEL修改:MOD 2、读取PA信息类型:HR_READ_INFOTYPE3、入职,生成新工号用:HR_PAD_HIRE_EMPLOYEE4、加锁:BAPI…...
c# 日期类型变量默认值
DateTime类型是比较常用的变量类型,但是以前处理都比较业余,下面总结2中常用方式 这次把它总结下: DateTime t1 default(DateTime); DateTime t2 DateTime.MinValue; 这样t1,t2 的值都是 {0001/1/1 0:00:00} PS: 由于DateTi…...
设计模式实战:任务调度系统的设计与实现
问题描述 设计一个任务调度系统,支持任务的创建、调度、执行和状态管理。系统需要确保任务的执行过程可以被灵活调度,并且支持任务状态的跟踪和通知功能。 设计分析 命令模式 命令模式用于将请求封装成对象,从而使我们可以用不同的请求、队列或日志来参数化其他对象。任…...
代码中的特殊注释
代码中特殊注释——TODO、FIXME、XXX、HACK_fix me todo hack-CSDN博客 代码中特殊注释——TODO、FIXME、XXX、HACK TODO:英语翻译为待办事项,备忘录。如果代码中有该标识,说明在标识处有功能代码待编写,待实现的功能在说明中会…...
ubuntu20.04.6 安装Skywalking 10.0.1
1.前置准备 1.1. **jdk17(Skywalking10 jdk22不兼容,用17版本即可)**安装: https://blog.csdn.net/CsethCRM/article/details/140768670 1.2. elasticsearch安装: https://blog.csdn.net/CsethCRM/article/details…...
C++:map和set
hello,各位小伙伴,本篇文章跟大家一起学习《C:map和set》,感谢大家对我上一篇的支持,如有什么问题,还请多多指教 ! 如果本篇文章对你有帮助,还请各位点点赞!!…...
深入理解二叉搜索树:定义、操作及平衡二叉树
引言 二叉搜索树(Binary Search Tree,BST)是一种特殊的二叉树结构,每个节点的左子树节点值小于根节点值,而右子树节点值大于根节点值。二叉搜索树在计算机科学中有着广泛的应用,尤其在动态查找表和优先队列…...
后进先出(LIFO)详解
LIFO 是 Last In, First Out 的缩写,中文译为后进先出。这是一种数据结构的工作原则,类似于一摞盘子或一叠书本: 最后放进去的元素最先出来 -想象往筒状容器里放盘子: (1)你放进的最后一个盘子(…...
(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)
题目:3442. 奇偶频次间的最大差值 I 思路 :哈希,时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况,哈希表这里用数组即可实现。 C版本: class Solution { public:int maxDifference(string s) {int a[26]…...
通过Wrangler CLI在worker中创建数据库和表
官方使用文档:Getting started Cloudflare D1 docs 创建数据库 在命令行中执行完成之后,会在本地和远程创建数据库: npx wranglerlatest d1 create prod-d1-tutorial 在cf中就可以看到数据库: 现在,您的Cloudfla…...
java 实现excel文件转pdf | 无水印 | 无限制
文章目录 目录 文章目录 前言 1.项目远程仓库配置 2.pom文件引入相关依赖 3.代码破解 二、Excel转PDF 1.代码实现 2.Aspose.License.xml 授权文件 总结 前言 java处理excel转pdf一直没找到什么好用的免费jar包工具,自己手写的难度,恐怕高级程序员花费一年的事件,也…...
跨链模式:多链互操作架构与性能扩展方案
跨链模式:多链互操作架构与性能扩展方案 ——构建下一代区块链互联网的技术基石 一、跨链架构的核心范式演进 1. 分层协议栈:模块化解耦设计 现代跨链系统采用分层协议栈实现灵活扩展(H2Cross架构): 适配层…...
关于 WASM:1. WASM 基础原理
一、WASM 简介 1.1 WebAssembly 是什么? WebAssembly(WASM) 是一种能在现代浏览器中高效运行的二进制指令格式,它不是传统的编程语言,而是一种 低级字节码格式,可由高级语言(如 C、C、Rust&am…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象,只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意:它移动的位置必须是相连的有内容的单元格…...
蓝桥杯3498 01串的熵
问题描述 对于一个长度为 23333333的 01 串, 如果其信息熵为 11625907.5798, 且 0 出现次数比 1 少, 那么这个 01 串中 0 出现了多少次? #include<iostream> #include<cmath> using namespace std;int n 23333333;int main() {//枚举 0 出现的次数//因…...
让回归模型不再被异常值“带跑偏“,MSE和Cauchy损失函数在噪声数据环境下的实战对比
在机器学习的回归分析中,损失函数的选择对模型性能具有决定性影响。均方误差(MSE)作为经典的损失函数,在处理干净数据时表现优异,但在面对包含异常值的噪声数据时,其对大误差的二次惩罚机制往往导致模型参数…...
Aspose.PDF 限制绕过方案:Java 字节码技术实战分享(仅供学习)
Aspose.PDF 限制绕过方案:Java 字节码技术实战分享(仅供学习) 一、Aspose.PDF 简介二、说明(⚠️仅供学习与研究使用)三、技术流程总览四、准备工作1. 下载 Jar 包2. Maven 项目依赖配置 五、字节码修改实现代码&#…...
