【Redis】如何处理缓存穿透、击穿、雪崩
Redis 缓存穿透、击穿和雪崩是高并发场景下的典型问题,以下是详细解决方案和最佳实践:
一、缓存穿透(Cache Penetration)
问题:恶意请求不存在的数据(如不存在的ID),绕过缓存直接访问数据库。
解决方案:
-
布隆过滤器(Bloom Filter)
- 前置过滤器拦截非法请求,存储所有合法键的指纹。
- 实现示例:
# 使用RedisBloom模块(需安装) # 创建布隆过滤器,预期容量100万,错误率1% BF.RESERVE my_filter 0.01 1000000 # 将合法ID加入过滤器 BF.ADD my_filter valid_id_1 # 查询前先检查过滤器 if BF.EXISTS my_filter request_id:# 查缓存或数据库 else:return None
-
缓存空对象(Null Caching)
- 对查询结果为空的请求,缓存短时效的空值。
- 实现示例:
Object value = redis.get(key); if (value == null) {value = db.query(key);if (value == null) {// 缓存空值,设置较短过期时间(如30秒)redis.setex(key, 30, "NULL");} else {redis.setex(key, 3600, value);} } else if ("NULL".equals(value)) {return null; // 避免数据库查询 }
最佳实践:
- 结合布隆过滤器与空对象缓存:先用过滤器拦截绝对不存在的数据,对可能存在的Key缓存空值。
- 定期清理空值缓存,避免内存浪费。
二、缓存击穿(Cache Breakdown)
问题:热点Key突然过期,大量并发请求直接击穿到数据库。
解决方案:
-
互斥锁(Mutex Lock)
- 使用分布式锁控制单线程重建缓存。
- 实现示例(Redis分布式锁):
def get_data(key):data = redis.get(key)if data is None:# 尝试获取锁(SETNX + 超时时间)if redis.setnx("lock:" + key, 1, ex=10):try:data = db.query(key)redis.setex(key, 3600, data)finally:redis.delete("lock:" + key)else:# 等待并重试或返回默认值time.sleep(0.1)return get_data(key)return data
-
逻辑过期(Logical Expiration)
- 缓存永不过期,但存储逻辑过期时间,异步更新。
- 数据结构示例:
{"value": "真实数据","expire": 1715000000 // 逻辑过期时间戳 } - 后台线程检测过期时间并主动更新。
最佳实践:
- 对热点Key启用永不过期策略,结合异步更新(如定时任务或消息队列触发更新)。
- 使用Redisson等成熟库实现分布式锁,避免手写锁逻辑出错。
三、缓存雪崩(Cache Avalanche)
问题:大量缓存Key同时过期,导致数据库负载骤增。
解决方案:
-
随机过期时间
- 基础过期时间 + 随机偏移量(如30分钟±随机600秒)。
- 示例代码:
int baseExpire = 1800; // 30分钟 int randomExpire = ThreadLocalRandom.current().nextInt(-600, 600); redis.setex(key, baseExpire + randomExpire, value);
-
多级缓存架构
- 本地缓存(如Caffeine) + Redis + 数据库。
- 流程:
- 先查本地缓存
- 本地未命中则查Redis
- Redis未命中则查数据库并回填
-
服务熔断与降级
- 使用Hystrix或Sentinel在数据库压力过大时触发降级策略(如返回默认值)。
最佳实践:
- 关键数据设置分层过期时间(如核心数据永不过期+异步刷新)。
- 启用Redis Cluster或Sentinel实现高可用,避免单点故障。
综合防御策略
- 监控与预热:
- 实时监控缓存命中率,热点数据提前预热。
- 使用Redis的
SLOWLOG分析慢查询。
- 压测验证:
- 模拟极端场景(如缓存宕机),验证降级策略是否生效。
- 代码示例(综合方案):
public Object getData(String key) {// 1. 布隆过滤器拦截if (!bloomFilter.mightContain(key)) {return null;}// 2. 查缓存Object value = redis.get(key);if (value != null) {return "NULL".equals(value) ? null : value;}// 3. 获取分布式锁重建缓存RLock lock = redisson.getLock("lock:" + key);try {lock.lock();// 二次检查缓存value = redis.get(key);if (value == null) {value = db.query(key);redis.setex(key, 300 + random.nextInt(60), value == null ? "NULL" : value);}return value;} finally {lock.unlock();} }
总结
- 穿透:布隆过滤器 + 空值缓存。
- 击穿:分布式锁 + 逻辑过期。
- 雪崩:随机TTL + 多级缓存。
- 所有方案需结合业务场景调整参数(如过期时间、锁超时时间),并通过压测验证可靠性。
相关文章:
【Redis】如何处理缓存穿透、击穿、雪崩
Redis 缓存穿透、击穿和雪崩是高并发场景下的典型问题,以下是详细解决方案和最佳实践: 一、缓存穿透(Cache Penetration) 问题:恶意请求不存在的数据(如不存在的ID),绕过缓存直接访…...
区块链技术如何重塑金融衍生品市场?
区块链技术如何重塑金融衍生品市场? 金融衍生品市场一直是全球金融体系的重要组成部分,其复杂性和风险性让许多投资者望而却步。然而,随着区块链技术的兴起,这一领域正在经历一场深刻的变革。区块链以其去中心化、透明和不可篡改…...
实战打靶集锦-35-GitRoot
文章目录 1. 主机发现2. 端口扫描3. 服务枚举4. 服务探查5. 系统提权6. 写在最后 靶机地址:https://download.vulnhub.com/gitroot/GitRoot.ova 1. 主机发现 目前只知道目标靶机在192.168.56.xx网段,通过如下的命令,看看这个网段上在线的主机…...
Vue3 + Element Plus + AntV X6 实现拖拽树组件
Vue3 Element Plus AntV X6 实现拖拽树组件 介绍 在本篇文章中,我们将介绍如何使用 Vue 3 和 Element Plus 结合 antv/x6 实现树形结构的拖拽功能。用户可以将树节点拖拽到图形区域,自动创建相应的节点。我们将会通过简单的示例来一步步讲解实现过程…...
从零开始跑通3DGS教程:介绍
写在前面 本文内容 本文所属《从零开始跑通3DGS教程》系列文章,将实现从原始图像(有序、无序)数据开始,经过处理(视频抽帧成有序),SFM,3DGS训练、编辑、渲染等步骤,完整地呈现从原始图像到新视角合成的全部流程&#x…...
聊聊Spring AI的Chat Model
序 本文主要研究一下Spring AI的Chat Model Model spring-ai-core/src/main/java/org/springframework/ai/model/Model.java public interface Model<TReq extends ModelRequest<?>, TRes extends ModelResponse<?>> {/*** Executes a method call to …...
将mysql配置成服务的方法
第一步:配置环境变量 1)新建MYSQL_HOME变量,并配置:C:\Program Files\MySQL\MySQL Server 5.6 MYSQL_HOME:C:\Program Files\MySQL\MySQL Server 5.6 2)编辑path系统变量,将%MYSQL_HOME%\bin添加到path变量后。配置path环境变量…...
GaussDB(for PostgreSQL) 存储引擎:ASTORE 与 USTORE 详细对比
GaussDB(for PostgreSQL) 存储引擎:ASTORE 与 USTORE 详细对比 1. 背景说明 GaussDB(for PostgreSQL) 是华为基于 PostgreSQL 开发的企业级分布式数据库,其存储引擎分为 ASTORE 和 USTORE 两种类型,分别针对不同场景优化。 2. 核心对比 (1)…...
英语口语 -- 常用 1368 词汇
英语口语 -- 常用 1368 词汇 介绍常用单词List1 (96 个)时间类气候类自然类植物类动物类昆虫类其他生物地点类 List2 (95 个)机构类声音类食品类餐饮类蔬菜类水果类食材类饮料类营养类疾病类房屋类家具类服装类首饰类化妆品类 Lis…...
SpringBoot+Vue 中 WebSocket 的使用
WebSocket 是一种在单个 TCP 连接上进行全双工通信的协议,它使得客户端和服务器之间可以进行实时数据传输,打破了传统 HTTP 协议请求 - 响应模式的限制。 下面我会展示在 SpringBoot Vue 中,使用WebSocket进行前后端通信。 后端 1、引入 j…...
关于依赖注入框架VContainer DIIOC 的学习记录
文章目录 前言一、VContainer核心概念1.DI(Dependency Injection(依赖注入))2.scope(域,作用域) 二、练习例子1.Hello,World!步骤一,编写一个底类。HelloWorldService步骤二,编写使用低类的类。GamePresenter步骤三&am…...
LRU缓存是什么
LRU缓存是什么 LRU(Least Recently Used)即最近最少使用,是一种缓存淘汰策略。在缓存空间有限的情况下,当新的数据需要存入缓存,而缓存已满时,LRU 策略会优先淘汰最近最少使用的数据,以此保证缓存中存储的是最近最常使用的数据。 LRU缓存的工作原理 LRU 缓存的核心思…...
Qt常用控件第一部分
1.控件概述 Widget 是 Qt 中的核⼼概念. 英⽂原义是 "⼩部件", 我们此处也把它翻译为 "控件" . 控件是构成⼀个图形化界⾯的基本要素. 像上述⽰例中的, 按钮, 列表视图, 树形视图, 单⾏输⼊框, 多⾏输⼊框, 滚动条, 下拉框等, 都可以称为 "控件"…...
docker存储卷及dockers容器源码部署httpd
1. COW机制 Docker镜像由多个只读层叠加而成,启动容器时,Docker会加载只读镜像层并在镜像栈顶部添加一个读写层。 如果运行中的容器修改了现有的一个已经存在的文件,那么该文件将会从读写层下面的只读层复制到读写层,该文件的只读版本依然存在,只是已经被读写层中该文件…...
JMeter接口自动化发包与示例
前言 JMeter接口自动化发包与示例 近期需要完成对于接口的测试,于是了解并简单做了个测试示例,看了看这款江湖上声名远播的强大的软件-Jmeter靠不靠谱。 官网:Apache JMeter - Apache JMeter™ 1简介 Apache-Jmeter是一个使用java语言编写且开源&…...
INFINI Console 极限控制台密码忘记了,如何重置?
在使用 INFINI Console(极限控制台)时,可能会遇到忘记密码的情况,这对于管理员来说是一个常见但棘手的问题。 本文将详细介绍如何处理 INFINI Console 密码忘记的情况,并提供两种可能的解决方案,帮助您快速…...
Python运算符的理解及简单运用
免责声明 如有异议请在评论区友好交流,或者私信 内容纯属个人见解,仅供学习参考 如若从事非法行业请勿食用 如有雷同纯属巧合 版权问题请直接联系本人进行删改 前言 提示:这里可以添加本文要记录的大概内容: 提示:以…...
汇编学习之《jcc指令》
JCC(Jump on Condition Code)指的是条件跳转指令,c中的就是if-else, while, for 等分支循环条件判断的逻辑。它包括很多指令集,各自都不太一样,接下来我尽量将每一个指令的c 源码和汇编代码结合起来看,加深…...
k8s的容器操作指令
几个命令目录 1、kubectl exec -n ithmp-prod -it <pod-name> /bin/bash命令组成部分使用场景注意事项 2、docker ps基本用法输出格式常用选项1. 列出所有容器(包括已停止的)2. 显示最近创建的容器3. 显示最近创建的几个容器4. 显示容器的详细信息…...
从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.3低代码开发:快速构建行业应用(电商推荐与金融风控案例)
👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路 文章大纲 从零构建大语言模型全栈开发指南-第四部分:工程实践与部署4.3.3 低代码开发:快速构建行业应用(电商推荐与金融风控案例)1. 低代码与AI结合的核心价值2. 电商推荐系统案例2.1 技术架构与实现2.2 性能…...
基于vue框架的智能服务旅游管理系统54kd3(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
系统程序文件列表 项目功能:用户,景点信息,门票预订,酒店客房,客房预订,旅游意向,推荐景点,景点分类 开题报告内容 基于Vue框架的智能服务旅游管理系统开题报告 一、研究背景与意义 1.1 行业现状与挑战 传统系统局限性:当前旅游管理系统普遍存在信息…...
用Python实现TCP代理
依旧是Python黑帽子这本书 先附上代码,我在原书代码上加了注释,更好理解 import sys import socket import threading#生成可打印字符映射 HEX_FILTER.join([(len(repr(chr(i)))3) and chr(i) or . for i in range(256)])#接收bytes或string类型的输入…...
MySQL的进阶语法7(索引-B+Tree 、Hash、聚集索引 、二级索引(回表查询)、索引的使用及设计原则
目录 一、索引概述 1.1 基本介绍 1.2 基本演示 1.3 特点及优势 二、索引结构 2.1 概述 2.2 二叉树 2.3 B-Tree 2.4 BTree 2.5 Hash 2.5.1 结构 2.5.2 特点 2.5.3 存储引擎支持 三、索引的分类 3.1 索引分类 3.2 聚集索引和二级索引 3.2.1 聚集索引和二级…...
【CSS3】04-标准流 + 浮动 + flex布局
本文介绍浮动与flex布局。 目录 1. 标准流 2. 浮动 2.1 基本使用 特点 脱标 2.2 清除浮动 2.2.1 额外标签法 2.2.2 单伪元素法 2.2.3 双伪元素法(推荐) 2.2.4 overflow(最简单) 3. flex布局 3.1 组成 3.2 主轴与侧轴对齐方式 3.2.1 主轴 3.2.2 侧轴 3.3 修改主…...
内网环境将nginx的http改完https访问
原文参考链接:https://www.cnblogs.com/leilcoding/p/16138778.html 编写生成证书的脚本 vim gen-ssl.sh #!/bin/sh # create self-signed server certificate: read -p "Enter your domain [www.example.com]: " DOMAIN echo "Create server key…...
使用 libevent 处理 TCP 粘包问题(基于 Content-Length 或双 \r\n)
在基于 libevent 的 TCP 服务器开发中,处理消息边界是常见需求。以下是两种主流分包方案的完整实现: 一、基于 Content-Length 的分包方案 1.1 数据结构设计 typedef struct {struct bufferevent *bev;int content_length; // 当前消息的预期长度int received_bytes; //…...
论坛系统的测试
项目背景 论坛系统采用前后端分离的方式来实现,同时使用数据库 来处理相关的数据,同时将其部署到服务器上。前端主要有7个页面组成:登录页,列表页,论坛详情页,编辑页,个人信息页,我…...
宠物店小程序怎么做?助力实体店实现营销突破
宠物店小程序怎么做?助力实体店实现营销突破 ——一个宠物店老板的“真香”实战分享 一、行业现状:线下宠物店的“流量焦虑” 作为开了3年宠物店的“铲屎官供应商”,这两年明显感觉生意难做了:某宝9.9包邮的狗粮、某团“满…...
《Mycat核心技术》第21章:高可用负载均衡集群的实现(HAProxy + Keepalived + Mycat)
作者:冰河 星球:http://m6z.cn/6aeFbs 博客:https://binghe.gitcode.host 文章汇总:https://binghe.gitcode.host/md/all/all.html 星球项目地址:https://binghe.gitcode.host/md/zsxq/introduce.html 沉淀,…...
obsidian ios git同步
首先感谢几位博主的文章,我现在时间久了,未保存原文地址。以下是我自己的执行步骤总结。 应用商店安装 iSH 打开iSH,执行 apk update 安装下面软件,(我觉得只安装第一个应该就行,下次测试)。 …...
