java-redis-雪崩
Redis 雪崩问题
Redis雪崩 是指在 Redis 缓存系统中,当大量缓存同时失效时,所有请求直接打到数据库,导致数据库瞬间压力激增,甚至崩溃的现象。雪崩问题通常出现在高并发的系统中,因为缓存的失效导致后端数据库承受不了巨大的请求量。
具体表现:
- 大量缓存同时失效后,所有流量直接访问数据库。
- 数据库承载过大的并发量,导致性能急剧下降,甚至崩溃。
- 之后,当 Redis 缓存恢复正常时,由于数据库崩溃或者性能下降,依然无法正常服务。
一、Redis 雪崩的原因
-
大批量缓存同时失效:当 Redis 中的大批量缓存设置了相同的过期时间,并且过期后没有及时重新生成,所有原本应从缓存中获取的数据都会直接从数据库中请求,导致数据库压力瞬间增加。
-
缓存服务器宕机:如果 Redis 缓存服务器因为某种原因宕机,所有请求将直接访问数据库,这可能会导致数据库无法承受高并发的请求,进而崩溃。
-
网络问题:Redis 服务在某些时段因为网络原因无法连接,导致缓存服务不可用,所有请求也直接打到数据库上,可能引发类似雪崩的情况。
二、Redis 雪崩的解决方案
-
缓存预热:在系统上线之前,可以提前将一些常用数据缓存到 Redis 中,避免上线后大量请求直接打到数据库。这可以通过后台线程预先加载一些热门数据,也可以手动设置缓存。
-
设置不同的缓存过期时间:如果所有的缓存数据设置相同的过期时间,当缓存到期后,可能会出现大量缓存同时失效的情况。为了避免这种情况,可以为不同的缓存设置不同的过期时间,或者在设置缓存时加上一个随机的时间差。
-
缓存永不过期:对于一些热点数据,特别是经常被访问但又很少变化的数据,可以设置缓存永不过期,同时在后台更新缓存。
-
缓存降级:当 Redis 宕机或者出现异常时,可以使用缓存降级策略,允许某些非核心数据的读取失败。也可以通过服务降级手段,限制对数据库的访问,从而保护数据库。
-
互斥锁(防止击穿):当大量缓存同时失效时,如果多个线程同时请求数据库并写入缓存,可能会导致数据库压力剧增。可以使用互斥锁的方式,确保只有一个线程能够更新缓存,其他线程等待缓存更新完成后再读取缓存。
-
数据持久化与集群:使用 Redis 的持久化机制(如 RDB、AOF)或搭建 Redis 集群来保证缓存的高可用性。当某个节点失效时,可以自动切换到其他节点,避免缓存服务器宕机导致雪崩。
-
请求限流和熔断:对系统进行限流和熔断保护,当缓存失效时,限制对数据库的请求数量,防止数据库过载。
三、解决方案的具体实现
1. 缓存预热
通过提前加载一些常用的缓存数据,避免在系统刚启动时,所有请求直接打到数据库。这可以通过手动加载或者后台任务实现。
@Service
public class CachePrewarmService {@Autowiredprivate RedisTemplate<String, Object> redisTemplate;public void preloadCache() {// 假设我们要预热一些数据String key = "hot_data_key";Object data = loadDataFromDB(); // 从数据库加载数据redisTemplate.opsForValue().set(key, data, 1, TimeUnit.HOURS); // 设置缓存,并设定1小时过期}private Object loadDataFromDB() {// 模拟从数据库加载数据return new Object(); // 返回数据库中的数据}
}
2. 随机过期时间(解决大规模缓存同时失效)
我们可以通过在设置缓存过期时间时,给每个缓存增加一个随机值,避免同时过期导致雪崩。
@Service
public class CacheService {@Autowiredprivate RedisTemplate<String, Object> redisTemplate;public void setCacheWithRandomTTL(String key, Object value) {// 设置基础的缓存时间,比如1小时long baseTime = 60 * 60;// 添加一个随机的过期时间,避免同一时间大量缓存同时失效long randomTime = new Random().nextInt(300); // 随机增加0~300秒redisTemplate.opsForValue().set(key, value, baseTime + randomTime, TimeUnit.SECONDS);}
}
3. 使用互斥锁防止缓存击穿
缓存击穿是指某个热点数据的缓存失效后,瞬间大量请求直接打到数据库,导致数据库压力骤增。可以使用分布式锁,确保在缓存失效时,只有一个线程能请求数据库,其他线程等待缓存重新生成。
@Service
public class CacheWithLockService {@Autowiredprivate RedisTemplate<String, Object> redisTemplate;// 获取数据时,使用分布式锁public Object getCacheWithLock(String key) {Object value = redisTemplate.opsForValue().get(key);if (value == null) {// 使用 Redis 的 setIfAbsent (NX) 命令实现分布式锁String lockKey = key + "_lock";Boolean lockAcquired = redisTemplate.opsForValue().setIfAbsent(lockKey, "LOCK", 5, TimeUnit.SECONDS);if (lockAcquired != null && lockAcquired) {try {// 缓存失效且获得锁,查询数据库并更新缓存value = loadDataFromDB();redisTemplate.opsForValue().set(key, value, 60, TimeUnit.SECONDS);} finally {// 释放锁redisTemplate.delete(lockKey);}} else {// 未获得锁,等待缓存更新try {Thread.sleep(100);} catch (InterruptedException e) {e.printStackTrace();}return redisTemplate.opsForValue().get(key); // 再次尝试获取缓存}}return value;}private Object loadDataFromDB() {// 模拟从数据库加载数据return new Object(); // 返回数据库中的数据}
}
4. 缓存降级
当 Redis 不可用时,系统可以通过降级策略,直接访问数据库或者返回一些默认值。我们可以通过 try-catch 捕获 Redis 异常,来实现降级逻辑。
@Service
public class CacheDegradeService {@Autowiredprivate RedisTemplate<String, Object> redisTemplate;public Object getData(String key) {try {Object value = redisTemplate.opsForValue().get(key);if (value != null) {return value;}} catch (Exception e) {// Redis 发生异常时,执行降级逻辑System.out.println("Redis不可用,执行降级策略");}// Redis不可用或者缓存失效,直接从数据库获取数据return loadDataFromDB();}private Object loadDataFromDB() {// 模拟从数据库加载数据return new Object(); // 返回数据库中的数据}
}
5. 数据持久化与集群
Redis 提供了 RDB 和 AOF 的持久化机制来保证数据不会因为 Redis 崩溃而丢失。同时,通过 Redis 的集群模式,我们可以将数据分布在多个节点上,提升系统的可靠性和可用性。
# 开启 AOF 持久化
appendonly yes
# 每秒同步一次 AOF 文件
appendfsync everysec# Redis Cluster 配置,启动多个节点,配置集群
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 5000
四、总结
-
Redis 雪崩 是在缓存失效后,大量请求直接打到数据库,导致数据库压力骤增甚至崩溃的问题。在高并发场景下,Redis 雪崩可能会带来严重后果。
-
为了避免 Redis 雪崩,可以采取多种措施,如 缓存预热、设置不同过期时间、使用互斥锁防止缓存击穿、缓存降级、限流与熔断机制 等。
-
持久化与集群 是提升 Redis 可用性的关键,确保即便在单个节点失效的情况下,服务依然能够正常工作。
通过合理的策略和设计,开发者可以大大降低 Redis 雪崩的风险,保障系统的高可用性和稳定性。
相关文章:
java-redis-雪崩
Redis 雪崩问题 Redis雪崩 是指在 Redis 缓存系统中,当大量缓存同时失效时,所有请求直接打到数据库,导致数据库瞬间压力激增,甚至崩溃的现象。雪崩问题通常出现在高并发的系统中,因为缓存的失效导致后端数据库承受不了…...
如何在mac上玩使命召唤手游?苹果电脑好玩的第一人称射击游戏推荐
《使命召唤4:现代战争》(Call of Duty 4: Modern Warfare)是由Infinity Ward开发并于2007年发行的第一人称射击游戏。该游戏是《使命召唤》系列的第四部作品,是一款非常受欢迎的游戏之一,《使命召唤4:现代战…...
SimHash算法详解与应用
1. 简介 在当今信息爆炸的时代,如何有效地管理和处理海量的文本数据,尤其是去除重复内容,是一项重要的任务。SimHash 是一种巧妙的哈希算法,它不仅能快速生成文本的哈希值,还能在不同文本之间生成相似的哈希值&#x…...
RasberryPi 3B树莓派基本配置
RaspberryPi 3B树莓派基本配置 文章目录 RaspberryPi 3B树莓派基本配置一、准备工作1.1 硬件准备:1.1.1 树莓派和电源适配器:1.1.2 USB转TTL模块:1.1.3 读卡器和TF卡: 1.2 软件准备:1.2.1 下载 Raspberry Pi OS&#x…...
Docker编译环境的使用(ubuntu)
目录 Ubuntu安装docker 重启docker 拉取镜像 进入docker安装软件 提交docker 添加用户到docker组 进入docker 添加build用户 停止容器 保存docker镜像 load镜像 删除容器 Ubuntu安装docker sudo apt install docker.io 国内可用的源 Welcome to nginx! (tence…...
认知杂谈53
今天分享 有人说的一段争议性的话 I I 1.自助者天助 首先呢,咱得好好琢磨琢磨“自助者天助”这句话。这话说起来好像有点高深莫测的感觉,其实啊,道理特别简单。 就是说要是你自己都不乐意努力,那老天爷也不会平白无故地来帮你…...
量子计算信息安全威胁与应对策略分析
作者简介 赖俊森 中国信息通信研究院技术与标准研究所光网络技术与应用研究部主任工程师,正高级工程师,主要研究方向为量子信息、量子通信、量子计算等。 赵文玉 中国信息通信研究院技术与标准研究所副所长,正高级工程师,主要…...
Oracle(112)如何使用RMAN恢复数据库?
使用 RMAN(Recovery Manager)恢复 Oracle 数据库是确保数据在灾难情况下能够得到恢复的关键步骤。以下是详细的指导和代码示例,展示如何使用 RMAN 进行数据库恢复。 1. 准备工作 在开始恢复之前,需要确保以下几点: …...
I2C通信协议
简介 I2C(Inter IC Bus)是由Philips公司开发的一种通用数据总线,由两根通信线:SCL(Serial Clock)和SDA(Serial Data)组成。是一种同步、半双工带数据应答的通信协议,支持…...
使用Python实现智能信用评分系统
1. 项目简介 本教程将带你一步步实现一个智能信用评分系统。我们将使用Python和一些常用的深度学习库,如TensorFlow和Keras。最终,我们将实现一个可以预测信用评分的模型。2. 环境准备 首先,你需要安装以下库: TensorFlowKeraspandasnumpyscikit-learn你可以使用以下命令…...
RocketMQ之发送消息源码分析
RocketMQ之send()源码分析 一、代码序列图 二、关键步骤分析 1、向namesrv拉取队列信息 2、选择目标队列 3、向broker发送消息 三、代码学习 1、代码结构 (设计模式) 2、工具类和方法...
使用宝塔面板安装mrdoc
使用宝塔面板安装mrdoc 1、所需环境2、ubuntu系统安装3、宝塔面板安装4、NginxPHPMySQL安装5、python项目管理器安装6、 python版本安装7、mrdoc的部署7.1、下载项目源码7.2、新建python管理器项目 8、使用MySQL作为默认数据库8.1、安装mysqlclient插件8.2、配置数据库连接信息…...
C++操作符重载实例
C操作符重载实例,我们把坐标值CVector的加法进行重载,计算c3c1c2时,也就是计算x3x1x2,y3y1y2,以下是C代码: #include <iostream> using namespace std;class CVector{public:int x,y;CVector(){} ; …...
Linux高效进程控制的实战技巧
Linux高效进程控制的实战技巧 Linux是一种开源的Unix-like操作系统内核,由林纳斯托瓦兹(Linus Torvalds)于1991年首次发布。Linux以其稳定性、安全性和灵活性而著称,广泛应用于服务器、桌面、嵌入式系统等多个领域。在Linux系统编…...
使用条件变量实现线程同步:C++实战指南
使用条件变量实现线程同步:C实战指南 在多线程编程中,线程同步是确保程序正确性和稳定性的关键。条件变量(condition variable)是一种强大的同步原语,用于在线程之间进行协调,避免数据竞争和死锁。本文将详…...
Spark2.x 入门: KMeans 聚类算法
一 KMeans简介 KMeans 是一个迭代求解的聚类算法,其属于 划分(Partitioning) 型的聚类方法,即首先创建K个划分,然后迭代地将样本从一个划分转移到另一个划分来改善最终聚类的质量。 ML包下的KMeans方法位于org.apach…...
如何快速练习键盘盲打
盲打是指在不看键盘的情况下进行打字,这样可以显著提高打字速度和效率。以下是一些练习盲打的方法: 熟悉键盘布局:首先,你需要熟悉键盘上的字母和符号的位置。可以通过键盘图或者键盘贴纸来帮助记忆。 使用在线打字练习工具&…...
Flask中实现WebSocket需要什么组件
在Flask中实现WebSocket功能,通常不会直接使用Flask本身,因为Flask是一个轻量级的Web框架,主要设计用于处理HTTP请求。然而,你可以通过集成一些第三方库来在Flask应用中支持WebSocket。WebSocket是一种在单个TCP连接上进行全双工通…...
java8 Stream流详解
前言 Java 8引入了一种新的处理集合的方式——Stream API。它提供了一种高级迭代方式,支持函数式编程风格,使得集合操作更加简洁、清晰。本文将详细介绍Java 8 Stream API的核心概念、操作和使用技巧。 Stream API 简介 Stream API是Java 8中的一大亮…...
通信工程学习:什么是AB地址总线、DB数据总线、CD控制总线
AB地址总线、DB数据总线、CD控制总线 在计算机体系结构中,总线(Bus)是一种用于在计算机内部各个组件之间传输信息的物理通道。其中,AB地址总线、DB数据总线和CD控制总线是计算机总线系统中非常重要的三个组成部分,它们…...
MCP 实现深度技术报告
1. MCP 协议概述与架构定位 1.1 协议背景 Model Context Protocol (MCP) 是 Anthropic 推出的开放标准协议,旨在标准化 AI 助手与外部数据源、工具之间的集成方式。在 Claude Code 中,MCP 不仅是外部集成接口,更是核心架构组件,…...
DAMOYOLO模型一键部署教程:基于Ubuntu20.04与Docker环境
DAMOYOLO模型一键部署教程:基于Ubuntu20.04与Docker环境 想试试最新的目标检测模型,但被复杂的依赖和配置搞得头大?别担心,今天咱们就来聊聊怎么用最简单的方式,在Ubuntu 20.04上把DAMOYOLO模型跑起来。整个过程就像搭…...
OpenClaw自动化流水线:Phi-3-vision处理图片转Excel报表
OpenClaw自动化流水线:Phi-3-vision处理图片转Excel报表 1. 为什么需要自动化报表生成 上周我收到财务同事发来的20张手机拍摄的销售数据表照片,要求整理成统一格式的Excel报表。手动录入数据花了整整3小时,期间还因为看错数字返工两次。这…...
StructBERT语义分析工具实测:一键判断句子相似度,支持GPU加速
StructBERT语义分析工具实测:一键判断句子相似度,支持GPU加速 1. 工具核心价值 StructBERT语义分析工具是一款专为中文文本设计的本地化语义相似度计算解决方案。不同于传统的关键词匹配方法,该工具基于阿里巴巴开源的StructBERT-Large模型…...
丹青幻境效果展示:宣纸底纹UI下生成图像与界面美学统一性视觉报告
丹青幻境效果展示:宣纸底纹UI下生成图像与界面美学统一性视觉报告 1. 设计理念与视觉定位 丹青幻境的设计理念源于传统东方美学与现代数字艺术的完美融合。这款基于Z-Image架构打造的数字艺术创作工具,彻底摒弃了传统AI工具冰冷的技术感,将…...
PyFlow多线程编程:SingletonThreadSampleNode的完整实现指南
PyFlow多线程编程:SingletonThreadSampleNode的完整实现指南 【免费下载链接】PyFlow Visual scripting framework for python 项目地址: https://gitcode.com/gh_mirrors/py/PyFlow PyFlow作为Python的视觉化脚本框架,为开发者提供了直观的节点编…...
PhotoMaker性能基准测试终极指南:建立你的AI人像生成速度参考标准
PhotoMaker性能基准测试终极指南:建立你的AI人像生成速度参考标准 【免费下载链接】PhotoMaker 项目地址: https://ai.gitcode.com/hf_mirrors/TencentARC/PhotoMaker 想要了解PhotoMaker的实际性能表现吗?作为一款革命性的AI人像生成工具&#…...
HY-Motion 1.0作品集展示:12类日常动作+8类专业运动生成效果
HY-Motion 1.0作品集展示:12类日常动作8类专业运动生成效果 1. 引言:当文字能驱动骨骼 想象一下,你正在为一个游戏角色设计一套连贯的格斗动作,或者为一个虚拟主播编排一段自然的舞蹈。传统流程需要动画师一帧一帧地调整骨骼&am…...
CPython AOT编译器模块全图谱,从_pycompile.c到aot_codegen.cc的17个关键函数逐行注释与性能拐点分析
第一章:CPython AOT编译器模块全图谱概览与演进脉络CPython 的 Ahead-of-Time(AOT)编译能力并非原生内建,而是近年来通过社区驱动的实验性项目逐步构建起模块化支撑体系。其核心演进路径始于 PEP 698 提出的字节码预编译增强机制&…...
Shell编程避坑指南:为什么你的while循环总出问题?7个常见错误排查
Shell编程避坑指南:为什么你的while循环总出问题?7个常见错误排查 在Shell脚本开发中,while循环是处理未知迭代次数的利器,但也是错误的高发区。很多开发者在使用while时经常遇到脚本卡死、逻辑异常或结果不符合预期等问题。本文将…...
