当前位置: 首页 > news >正文

Redis进阶篇 - 缓存穿透、缓存击穿、缓存雪崩问题及其解决方案

文章目录

  • 1 文章概述
  • 2 缓存穿透
    • 2.1 什么是缓存穿透?
    • 2.2 缓存穿透的解决方法
      • 2.2.1 做好参数校验
      • 2.2.2 缓存无效Key
      • 2.2.3 使用布隆过滤器
      • 2.2.4 接口限流
  • 3 缓存击穿
    • 3.1 什么是缓存击穿?
    • 3.2 缓存击穿的解决方法
      • 3.2.1 调整热点数据过期时间
      • 3.2.2 热点数据预热
      • 3.2.3 控制数据库并发
  • 4 缓存雪崩
    • 4.1 什么是缓存雪崩?
    • 4.2 缓存雪崩的解决方法
      • 4.2.1 针对缓存服务不可用的情况
      • 4.2.2 针对缓存大面积过期的情况

1 文章概述

在使用 Redis 作为缓存时,缓存穿透、缓存击穿和缓存雪崩是常见的问题,可能会影响系统性能和稳定性。本文将深入探讨这些问题的概念、产生原因、以及可能带来的影响,并针对这些问题提供的解决方案,以帮助读者更好地理解并解决这些挑战。

2 缓存穿透

2.1 什么是缓存穿透?

缓存穿透问题: 大量且频繁地请求缓存和数据库中都不存在的数据,由于缓存无法命中,这些请求都穿透缓存直接访问数据库,导致数据库压力暴增,影响系统性能。

缓存穿透

缓存穿透可能发生的原因包括查询参数异常、恶意攻击、业务逻辑错误等。如果恶意用户或者攻击者发送大量不存在于缓存中的请求,系统会不断地去查询数据库,导致数据库负载增加,甚至可能引起数据库宕机。缓存穿透不仅影响系统性能,还可能暴露后端数据给未经授权的用户,造成安全隐患。

2.2 缓存穿透的解决方法

要解决缓存穿透问题,本质就是要避免出现请求直接访问数据库的情况。

2.2.1 做好参数校验

解决缓存穿透,最基本的就是首先做好参数校验,从系统入口处就拒绝掉非法的请求,一些不合法的参数请求直接抛出异常信息返回给客户端。比如查询的数据库 id 不能小于 0、传入的邮箱格式不对的时候直接返回错误消息给客户端等等。

做好参数校验

2.2.2 缓存无效Key

做好参数校验只能拒绝掉不符合基本参数校验规则的请求,对于那些符合参数校验规则的无效请求则无能为力。

缓存无效Key方法指的是,在缓存和数据库都查询不到数据的时候,向缓存中插入一个空的数据,并设置过期时间。这样,当下一次接收到相同请求时,就可以直接从缓存中获取到空数据,而不需要查询数据库。
缓存无效Key
这种方式可以解决请求的 key 变化不频繁的情况,如果黑客每次构建不同的请求 key,不仅不能解决缓存穿透问题,还会导致 Redis 中缓存大量无效的 key 。很明显,这种方案并不能从根本上解决此问题。如果非要用这种方式来解决穿透问题的话,尽量将无效的 key 的过期时间设置短一点。

2.2.3 使用布隆过滤器

布隆过滤器是一个非常神奇的数据结构,通过它我们可以非常方便地判断一个给定数据是否存在于海量数据中。我们可以把它看作由二进制向量(或者说位数组)和一系列随机映射函数(哈希函数)两部分组成的数据结构。相比于我们平时常用的 List、Map、Set 等数据结构,它占用空间更少并且效率更高,但是缺点是其返回的结果是概率性的,而不是非常准确的。理论情况下添加到集合中的元素越多,误报的可能性就越大。并且,存放在布隆过滤器的数据不容易删除。

关于布隆过滤器的更多内容,可以参考文章:布隆过滤器有什么用?什么原理?如何使用?

使用布隆过滤器解决缓存穿透问题的方法是:将所有可能存在的请求的值都存放在布隆过滤器中,当用户请求过来,先判断用户发来的请求的值是否存在于布隆过滤器中。不存在的话,直接返回请求参数错误信息给客户端,存在的话才会走后续流程。
在这里插入图片描述

2.2.4 接口限流

根据用户或者 IP 对接口进行限流,对于异常频繁的访问行为,还可以采取黑名单机制,例如将异常 IP 列入黑名单。

3 缓存击穿

3.1 什么是缓存击穿?

缓存击穿问题: 缓存击穿是指缓存中的某个热点数据突然失效或过期,此时有大量并发请求同时访问该数据,导致这些请求无法从缓存中获取数据,而直接访问数据库,造成数据库压力剧增,甚至可能导致数据库宕机。缓存击穿通常发生在具有高并发读取请求的热点数据上。
缓存击穿问题

3.2 缓存击穿的解决方法

3.2.1 调整热点数据过期时间

设置热点数据永不过期或设置较长过期时间,避免热点数据突然过期的情况,从根源上解决缓存击穿问题!

应该没人会去随便删除热点数据缓存吧?!

3.2.2 热点数据预热

针对热点数据提前预热,将其存入缓存中并设置合理的过期时间。这也能从根源上解决缓存击穿问题!

比如在秒杀场景中:可以在秒杀活动开始之前,将热点数据加载到缓存中,并设置其过期时间在秒杀结束之后。

3.2.3 控制数据库并发

在缓存失效时使用互斥锁(Mutex)或者分布式锁来保护数据库查询过程,只允许一个线程进行数据库查询,其他线程等待查询结果。

4 缓存雪崩

4.1 什么是缓存雪崩?

缓存雪崩问题: 缓存雪崩是指在缓存中存储的大量数据同时失效或者过期,导致大量请求直接访问数据库获取数据,从而造成数据库负载剧增,甚至引发系统崩溃的现象。

注意:缓存服务器宕机导致的缓存失效也算哦

缓存雪崩

4.2 缓存雪崩的解决方法

4.2.1 针对缓存服务不可用的情况

  • 采用 Redis 集群,避免单机出现问题整个缓存服务都没办法使用。
  • 限流,避免同时处理大量的请求。
  • 采用多级缓存,例如本地缓存+Redis 缓存的组合,当 Redis 缓存出现问题时,还可以从本地缓存中获取到部分数据。

4.2.2 针对缓存大面积过期的情况

  • 设置缓存数据的过期时间随机性,避免大量数据同时失效。
  • 缓存永不失效(不太推荐,实用性太差)。
  • 缓存预热,也就是在程序启动后或运行过程中,主动将热点数据加载到缓存中。

相关文章:

Redis进阶篇 - 缓存穿透、缓存击穿、缓存雪崩问题及其解决方案

文章目录 1 文章概述2 缓存穿透2.1 什么是缓存穿透?2.2 缓存穿透的解决方法2.2.1 做好参数校验2.2.2 缓存无效Key2.2.3 使用布隆过滤器2.2.4 接口限流 3 缓存击穿3.1 什么是缓存击穿?3.2 缓存击穿的解决方法3.2.1 调整热点数据过期时间3.2.2 热点数据预热…...

一天认识一个硬件之电源

无论是台式机还是笔记本,都离不开电源,台式机和笔记本电脑的电源都承担着将交流电转换为直流电,并为电脑内部各个部件提供稳定电力供应的重要任务。今天就来分享一下台式机和笔记本的电源区别 设计和功率 台式机电源:设计为内置…...

关于BSV区块链覆盖网络的常见问题解答(上篇)

​​发表时间:2024年9月20日 在BSV区块链上的覆盖网络服务为寻求可扩展、安全、高效交易处理解决方案的开发者和企业家开辟了新的视野。 作为开创性的曼达拉升级的一部分,覆盖网络服务提供了一个强大的框架,用于管理特定类型的交易和数据访问…...

VUE 开发——Node.js学习(一)

一、认识Node.js Node.js是一个跨平台JavaScript运行环境,使开发者可以搭建服务器端的JavaScript应用程序 使用Node.js编写服务器端程序——编写数据接口、前端工程化; Node.js环境没有BOM和DOM; Node.js安装:下载node-v16.19…...

角膜移植难题现,传统方式缺陷显,创新水凝胶破局

大家好!今天来了解一篇天然聚合物衍生光固化生物粘附水凝胶研究——《Natural polymer-derived photocurable bioadhesive hydrogels for sutureless keratoplasty》发表于《Bioactive Materials》。本文介绍了一种用于无缝合角膜移植术的天然聚合物衍生光固化生物粘…...

探索Spring Boot:实现“衣依”服装电商平台

1系统概述 1.1 研究背景 如今互联网高速发展,网络遍布全球,通过互联网发布的消息能快而方便的传播到世界每个角落,并且互联网上能传播的信息也很广,比如文字、图片、声音、视频等。从而,这种种好处使得互联网成了信息传…...

使用 cron 来设置定时任务

使用 cron 来设置定时任务,以便定期运行这个脚本。 在 Linux 系统中设置定时任务的步骤: 1. 编辑 cron 任务 打开终端并输入以下命令以编辑 crontab 文件: crontab -e2. 设置每天 8 点运行脚本 在 crontab 文件的最后,添加以下…...

C# Blazor Server 调用海康H5Player播放摄像头画面

目标 调用海康综合安防平台api,通过摄像头的cameraIndexCode调用【获取监控点预览取流URLv2】api,得到websocket 的url,然后在blazor server中使用htplayer.js播放摄像头实时画面。 步骤 根据摄像头名字,调用【查询监控点列表v2…...

CSS实现服务卡片

CSS实现服务卡片 效果展示 CSS 知识点 回顾整体CSS知识点灵活运用CSS知识点 页面整体布局 <div class"container"><div class"card"><div class"box"><div class"icon"><ion-icon name"color-pal…...

问:如何判断系统环境是大端/小端存储?

大端存储&#xff08;Big Endian&#xff09;和小端存储&#xff08;Little Endian&#xff09;是两种不同的字节序&#xff08;即字节顺序&#xff09;规则&#xff0c;用于在计算机中存储和表示多字节数据类型&#xff08;例如整数&#xff09;。 概念解释 大端存储&#x…...

使用NumPy进行线性代数的快速指南

介绍 NumPy 是 Python 中用于数值计算的基础包。它提供了处理数组和矩阵的高效操作&#xff0c;这对于数据分析和科学计算至关重要。在本指南中&#xff0c;我们将探讨 NumPy 中可用的一些基本线性代数操作&#xff0c;展示如何通过运算符重载和内置函数执行这些操作。 元素级…...

uni-app之旅-day02-分类页面

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言创建cate分支4.1 渲染分类页面的基本结构4.2 获取分类数据4.3 动态渲染左侧的一级分类列表4.4 动态渲染右侧的二级分类列表4.5 动态渲染右侧的三级分类列表4.6 …...

鸿蒙harmonyos next flutter通信之BasicMessageChannel获取app版本号

本文将通过BasicMessageChannel获取app版本号&#xff0c;以此来演练BasicMessageChannel用法。 建立channel flutter代码&#xff1a; //建立通道 BasicMessageChannel basicMessageChannel BasicMessageChannel("com.xmg.basicMessageChannel",StringCodec());…...

【文件增量备份系统】MySQL百万量级数据量分页查询性能优化

&#x1f3af; 导读&#xff1a;本文针对大数据量下的分页查询性能问题进行了深入探讨与优化&#xff0c;最初查询耗时长达12秒&#xff0c;通过避免全表计数及利用缓存保存总数的方式显著提升了浅分页查询速度。面对深分页时依然存在的延迟&#xff0c;采用先查询倒数第N条记录…...

音视频入门基础:FLV专题(12)——FFmpeg源码中,解析DOUBLE类型的ScriptDataValue的实现

一、引言 从《音视频入门基础&#xff1a;FLV专题&#xff08;9&#xff09;——Script Tag简介》中可以知道&#xff0c;根据《video_file_format_spec_v10_1.pdf》第80到81页&#xff0c;SCRIPTDATAVALUE类型由一个8位&#xff08;1字节&#xff09;的Type和一个ScriptDataV…...

【AI知识点】分层可导航小世界网络算法 HNSW(Hierarchical Navigable Small World)

HNSW&#xff08;Hierarchical Navigable Small World&#xff09;分层可导航小世界网络算法 是一种高效的近似最近邻搜索&#xff08;Approximate Nearest Neighbor Search, ANN&#xff09; 算法&#xff0c;特别适用于大规模、高维数据集的相似性检索。HNSW 基于小世界网络&…...

ubuntu图形界面右上角网络图标找回解决办法

问题现象&#xff1a; ubuntu图形界面右上角网络图标消失了&#xff0c;不方便联网&#xff1a; 正常应该是下图&#xff1a; 网络寻找解决方案&#xff0c;问题未解决&#xff0c;对于某些场景可能有用&#xff0c;引用过来&#xff1a; 参考方案 Ubuntu虚拟机没有网络图标或…...

maven安装本地jar包到本地仓库

有时候我们需要把本地的 jar 包 install 到本地的 maven 仓库&#xff0c;这时就需要手动install依赖项。例如&#xff0c;把下面的 zhdx-license-1.0.jar 安装到本地 maven 仓库的操作如下&#xff1a; <dependency><groupId>com.zhdx</groupId><artifa…...

1panel申请https/ssl证书自动续期

参考教程 https://hin.cool/posts/sslfor1panel.html #Acme 账户 #1panel.腾讯云dns账号 这里有一步不需要参考,腾讯云dns账号,就是子帐号授权 直接控制台搜索 访问管理 创建用户 授权搜索dns,选择第一个 点击用户名,去掉AdministratorAccess权限 5.点击api密钥生成即可…...

【C语言】指针篇 | 万字笔记

写在前面 在学习C语言过程&#xff0c;总有一个要点难点离不开&#xff0c;那就是大名鼎鼎的C语言指针&#xff0c;也是应为有指针的存在&#xff0c;使得C语言一直长盛不衰。因此不才把指针所学的所有功力都转换成这个笔记。希望对您有帮助&#x1f970;&#x1f970; 学习指…...

像素语言·跨维传送门参数详解:Hunyuan-MT-7B引擎温度/长度/对齐策略调优指南

像素语言跨维传送门参数详解&#xff1a;Hunyuan-MT-7B引擎温度/长度/对齐策略调优指南 1. 工具概览与核心价值 像素语言跨维传送门(Pixel Language Portal)是基于Tencent Hunyuan-MT-7B引擎构建的创新翻译工具&#xff0c;它将传统翻译体验重构为16-bit像素冒险风格。不同于…...

人脸分析系统快速上手教程:一键部署智能人脸检测工具

人脸分析系统快速上手教程&#xff1a;一键部署智能人脸检测工具 1. 系统介绍与核心功能 1.1 什么是人脸分析系统 人脸分析系统&#xff08;Face Analysis WebUI&#xff09;是一个基于InsightFace框架的智能人脸检测与分析工具。它能够自动识别图片中的人脸&#xff0c;并提…...

Qwen3视觉黑板报辅助数据库课程设计:ER图与数据关系可视化

Qwen3视觉黑板报辅助数据库课程设计&#xff1a;ER图与数据关系可视化 你是不是也经历过这样的场景&#xff1f;面对《数据库课程设计》这门课&#xff0c;老师布置了一个“图书管理系统”或者“学生选课系统”的题目&#xff0c;你脑子里有一堆想法&#xff0c;但就是不知道该…...

Pixel Couplet Gen快速上手:Rust+WASM加速正则解析器性能实测报告

Pixel Couplet Gen快速上手&#xff1a;RustWASM加速正则解析器性能实测报告 1. 项目概览 Pixel Couplet Gen是一款融合传统春节文化与现代像素艺术风格的AI春联生成器。通过ModelScope大模型驱动&#xff0c;这款工具将中国传统的春联创作带入了数字时代&#xff0c;特别采用…...

ClassGraph安全封装绕过:Narcissus与JVM-Driver深度分析

ClassGraph安全封装绕过&#xff1a;Narcissus与JVM-Driver深度分析 【免费下载链接】classgraph An uber-fast parallelized Java classpath scanner and module scanner. 项目地址: https://gitcode.com/gh_mirrors/cl/classgraph ClassGraph作为一款超快速的并行化Ja…...

Python数据分析实战:用Seaborn绘制炫酷相关性热力图(附完整代码)

Python数据分析实战&#xff1a;用Seaborn绘制炫酷相关性热力图 数据分析工作中&#xff0c;相关性分析是理解变量间关系的核心技能。而热力图作为直观展示相关性的工具&#xff0c;已经成为数据科学家和商业分析师的标准配置。本文将带你从零开始&#xff0c;掌握用Seaborn绘…...

手把手搓FPGA版W5500三合一驱动

FPGA W5500 3合一 驱动 UDP、TCP客户端、TCP服务端三合一&#xff0c;8个SOCKET都可用源代码&#xff0c;SPI时钟80m,无时序问题&#xff0c;上手即用 硬件实测&#xff0c;高速、稳定 verilog编写&#xff0c;纯逻辑实现 这块W5500芯片的驱动在项目里被我折腾了半个月&#xf…...

Python智能自动化:JianYingApi赋能视频处理新范式

Python智能自动化&#xff1a;JianYingApi赋能视频处理新范式 【免费下载链接】JianYingApi Third Party JianYing Api. 第三方剪映Api 项目地址: https://gitcode.com/gh_mirrors/ji/JianYingApi 在数字内容创作领域&#xff0c;视频处理的智能化与自动化已成为提升效率…...

2026 靠谱网站建设公司推荐|中大型企业 / 上市公司建站避坑与优选指南

摘要 在 AI 与 GEO&#xff08;生成式引擎优化&#xff09;主导的 2026 年&#xff0c;企业官网早已不是简单的展示窗口&#xff0c;而是品牌信任、获客转化、合规披露、全球触达的核心数字资产。选择一家靠谱的网站建设公司&#xff0c;直接决定企业数字化成果与长期商业价值。…...

哈佛医学院做了5679次组学分析:大模型能力没差别,关键在验证

哈佛医学院Zitnik团队的MEDEA 给出了一条明确的技术路线&#xff1a;与其追求更强的骨干大模型&#xff0c;不如在分析流程的每一步嵌入验证机制。在理解 MEDEA 的设计逻辑之前&#xff0c;先看一组来自消融实验的数据。在细胞类型特异性靶点发现任务中&#xff0c;研究团队将M…...