当前位置: 首页 > news >正文

【缓存】缓存雪崩与缓存穿透:高并发系统的隐形杀手

缓存雪崩与缓存穿透:高并发系统的隐形杀手

在高并发系统中,缓存是提升性能的重要手段。然而,缓存使用不当也会带来一系列问题,其中最常见的就是缓存雪崩缓存穿透。这两个问题如果不加以解决,可能会导致系统崩溃,甚至引发严重的生产事故。本文将深入探讨缓存雪崩和缓存穿透的成因,并提供解决方案,最后用Java代码实现。

一、缓存雪崩

1.1 什么是缓存雪崩?

缓存雪崩是指大量缓存数据在同一时间失效,导致所有请求都直接打到数据库上,数据库瞬间承受巨大压力,甚至崩溃。

1.2 缓存雪崩的成因

  • 缓存集中过期:缓存数据设置了相同的过期时间,导致大量缓存同时失效。
  • 缓存服务器宕机:缓存服务器出现故障,无法提供服务。

1.3 解决方案

  1. 设置不同的过期时间:为缓存数据设置随机的过期时间,避免同时失效。
  2. 使用多级缓存:在本地缓存和分布式缓存之间增加一层缓存,减少直接访问数据库的压力。
  3. 缓存预热:在系统启动时,提前加载热点数据到缓存中。
  4. 限流降级:使用限流工具(如Sentinel)对数据库进行保护,防止数据库被压垮。

1.4 Java实现

import java.util.Random;
import java.util.concurrent.TimeUnit;public class CacheAvalancheSolution {private static final int BASE_EXPIRE_TIME = 3600; // 基础过期时间private static final int RANDOM_RANGE = 600; // 随机范围public static void main(String[] args) {// 模拟缓存数据String cacheKey = "hot_data";String cacheValue = getDataFromCache(cacheKey);if (cacheValue == null) {// 缓存失效,重新加载cacheValue = getDataFromDB();setCacheWithRandomExpire(cacheKey, cacheValue);}System.out.println("Cache Value: " + cacheValue);}private static String getDataFromCache(String key) {// 模拟从缓存中获取数据return null; // 假设缓存失效}private static String getDataFromDB() {// 模拟从数据库中获取数据return "Data from DB";}private static void setCacheWithRandomExpire(String key, String value) {// 设置缓存,并添加随机过期时间int expireTime = BASE_EXPIRE_TIME + new Random().nextInt(RANDOM_RANGE);System.out.println("Set cache with expire time: " + expireTime + " seconds");// 实际项目中可以使用Redis等缓存工具}
}

二、缓存穿透

2.1 什么是缓存穿透?

缓存穿透是指查询一个不存在的数据,由于缓存中没有该数据,请求直接打到数据库上。如果大量请求查询不存在的数据,数据库可能会被压垮。

2.2 缓存穿透的成因

  • 恶意攻击:攻击者故意查询不存在的数据,导致数据库压力过大。
  • 业务逻辑问题:业务代码中没有对查询参数进行校验,导致大量无效查询。

2.3 解决方案

  1. 布隆过滤器:使用布隆过滤器过滤掉不存在的数据,避免无效查询。
  2. 缓存空值:对于查询结果为空的请求,缓存一个空值,并设置较短的过期时间。
  3. 参数校验:在业务逻辑层面对查询参数进行校验,过滤掉无效请求。

2.4 Java实现

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;public class CachePenetrationSolution {private static BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(), 1000000, 0.01); // 布隆过滤器public static void main(String[] args) {// 模拟查询String queryKey = "non_existent_key";if (!bloomFilter.mightContain(queryKey)) {// 布隆过滤器判断不存在System.out.println("Data not exist in bloom filter");return;}String cacheValue = getDataFromCache(queryKey);if (cacheValue == null) {// 缓存失效,重新加载cacheValue = getDataFromDB(queryKey);if (cacheValue == null) {// 数据库中没有该数据,缓存空值setCacheWithShortExpire(queryKey, "NULL");} else {setCacheWithShortExpire(queryKey, cacheValue);}}System.out.println("Cache Value: " + cacheValue);}private static String getDataFromCache(String key) {// 模拟从缓存中获取数据return null; // 假设缓存失效}private static String getDataFromDB(String key) {// 模拟从数据库中获取数据return null; // 假设数据库中不存在该数据}private static void setCacheWithShortExpire(String key, String value) {// 设置缓存,并添加较短的过期时间System.out.println("Set cache with short expire time for key: " + key);// 实际项目中可以使用Redis等缓存工具}
}

三、总结

缓存雪崩和缓存穿透是高并发系统中常见的缓存问题,如果不加以解决,可能会导致系统崩溃。通过设置不同的过期时间、使用布隆过滤器、缓存空值等方法,可以有效避免这些问题。在实际项目中,我们需要根据业务场景选择合适的解决方案,确保系统的稳定性和高性能。


关注我,获取更多技术干货!如果你有任何问题或建议,欢迎在评论区留言。

相关文章:

【缓存】缓存雪崩与缓存穿透:高并发系统的隐形杀手

缓存雪崩与缓存穿透&#xff1a;高并发系统的隐形杀手 在高并发系统中&#xff0c;缓存是提升性能的重要手段。然而&#xff0c;缓存使用不当也会带来一系列问题&#xff0c;其中最常见的就是缓存雪崩和缓存穿透。这两个问题如果不加以解决&#xff0c;可能会导致系统崩溃&…...

HTML AI 编程助手

HTML AI 编程助手 引言 随着人工智能技术的飞速发展&#xff0c;编程领域也迎来了新的变革。HTML&#xff0c;作为网页制作的基础语言&#xff0c;与AI技术的结合&#xff0c;为开发者带来了前所未有的便利。本文将探讨HTML AI编程助手的功能、应用场景以及如何利用它提高编程…...

李宏毅机器学习课程学习笔记04 | 浅谈机器学习-宝可梦、数码宝贝分类器

文章目录 案例&#xff1a;宝可梦、数码宝贝分类器第一步&#xff1a;需要定义一个含有未知数的function第二步&#xff1a;loss of a function如何Sample Training Examples > 如何抽样可以得到一个较好的结果如何权衡模型的复杂程度 Tradeoff of Model Complexity todo 这…...

AIGC(生成式AI)试用 26 -- 跟着清华教程学习 - DeepSeek与AI幻觉

目标&#xff1a;继续学习 个人理解&#xff1a; - AI幻觉&#xff1a;一本正经的胡说八道&#xff0c;你还觉得很道理&#xff0c;倾向于相信&#xff1b;事实不一致&#xff0c;指令(预期)与实际不一致&#xff1a;跑题 - 潜在风险&#xff1a;把AI带坏了&#xff1b;信息误…...

Ubuntu 下 nginx-1.24.0 源码分析 - ngx_conf_add_dump

ngx_conf_add_dump 定义在src\core\ngx_conf_file.c static ngx_int_t ngx_conf_add_dump(ngx_conf_t *cf, ngx_str_t *filename) {off_t size;u_char *p;uint32_t hash;ngx_buf_t *buf;ngx_str_node_t *sn;ngx_conf_dump_t *cd;has…...

QEMU源码全解析 —— 内存虚拟化(23)

接前一篇文章:QEMU源码全解析 —— 内存虚拟化(22) 本文内容参考: 《趣谈Linux操作系统》 —— 刘超,极客时间 《QEMU/KVM源码解析与应用》 —— 李强,机械工业出版社 QEMU内存管理模型...

【北京迅为】itop-3568 开发板openharmony鸿蒙烧写及测试-第1章 体验OpenHarmony—烧写镜像

瑞芯微RK3568芯片是一款定位中高端的通用型SOC&#xff0c;采用22nm制程工艺&#xff0c;搭载一颗四核Cortex-A55处理器和Mali G52 2EE 图形处理器。RK3568 支持4K 解码和 1080P 编码&#xff0c;支持SATA/PCIE/USB3.0 外围接口。RK3568内置独立NPU&#xff0c;可用于轻量级人工…...

TypeScript 类型声明

在 TypeScript 开发中简化类型声明&#xff0c;可以通过以下 7 种实用技巧 显著提升效率&#xff1a; 一、善用类型推断&#xff08;30% 场景免声明&#xff09; // ❌ 冗余写法 const user: { name: string; age: number } { name: Jack, age: 25 };// ✅ 自动推断&#xff…...

从0搭建Tomcat第二天:深入理解Servlet容器与反射机制

在上一篇博客中&#xff0c;我们从0开始搭建了一个简易的Tomcat服务器&#xff0c;并实现了基本的HTTP请求处理。今天&#xff0c;我们将继续深入探讨Tomcat的核心组件之一——Servlet容器&#xff0c;并介绍如何使用反射机制动态加载和管理Servlet。 1. Servlet容器的作用 S…...

【Python】yield函数

【Python】yield函数 1. yield介绍2.yield基本用法3.yield高级用法3.1 yield send() 方法3.2 yield from方法3.3 yield 和yield from叠加处理复杂情况下的叠加 4.yield主要应用场景5.总结 python官方api地址 1. yield介绍 在Python中&#xff0c;yield关键字主要用于生成器函…...

Android13修改多媒体默认音量

干就完了! 设置音量为最大音量,修改如下: /framework/base/media/java/android/media/AudioSystem.java/** hide */public static int[] DEFAULT_STREAM_VOLUME new int[] {4, // STREAM_VOICE_CALL7, // STREAM_SYSTEM5, // STREAM_RING-5, // STREAM_MUSIC15, // STREAM…...

nginx+keepalived负载均衡及高可用

一、环境准备 主机名ip地址备注openEuler-1 192.168.121.11&#xff08;本机&#xff09; 192.168.131.11&#xff08;心跳连接&#xff09; nginx主负载均衡调度器openEuler-2 192.168.121.12&#xff08;本机&#xff09; 192.168.131.12&#xff08;心跳连接&#xff09; n…...

SP导入智能材质球

智能材质球路径 ...\Adobe Substance 3D Painter\resources\starter_assets\smart-materials 放入之后就会自动刷新...

Kotlin语言特性(一):空安全、扩展函数与协程

Kotlin语言特性&#xff08;一&#xff09;&#xff1a;空安全、扩展函数与协程 一、引言 Kotlin作为Android官方推荐的开发语言&#xff0c;相比Java具有诸多现代化特性。本文将重点介绍Kotlin三个最具特色的语言特性&#xff1a;空安全、扩展函数和协程&#xff0c;并结合A…...

Sqlserver安全篇之_启用TLS即配置SQL Server 数据库引擎以加密连接

官方文档 https://learn.microsoft.com/zh-cn/sql/database-engine/configure-windows/configure-sql-server-encryption?viewsql-server-ver16 https://learn.microsoft.com/zh-cn/sql/database-engine/configure-windows/manage-certificates?viewsql-server-ver15&pre…...

Python 爬虫 – BeautifulSoup

Python 爬虫&#xff08;Web Scraping&#xff09;是指通过编写 Python 程序从互联网上自动提取信息的过程。 爬虫的基本流程通常包括发送 HTTP 请求获取网页内容、解析网页并提取数据&#xff0c;然后存储数据。 Python 的丰富生态使其成为开发爬虫的热门语言&#xff0c;特…...

【星云 Orbit-STM32F4】07. 用判断数据尾来接收据的串口通用程序框架

【星云 Orbit-STM32F4】用判断数据尾来接收一串数据的串口通用程序框架 摘要 本文介绍了一种基于STM32F407微控制器的串口数据接收通用程序框架。该框架通过判断数据尾来实现一串数据的完整接收&#xff0c;适用于需要可靠数据传输的应用场景。本文从零开始&#xff0c;详细讲…...

授权与认证之jwt(一)创建Jwt工具类

JWT的Token要经过加密才能返回给客户端&#xff0c;包括客户端上传的Tokn,后端项目需要验证核 实。于是我们需要一个WT工具类&#xff0c;用来加密Token和验证Token的有效性。 一、导入依赖 <dependency><groupId>com.auth0</groupId><artifactId>jav…...

Kubernetes Service服务发现dns之CoreDNS

文章目录 背景什么是Service、服务发现、Endpoint什么是CoreDNSCoreDNS 的工作原理 常用命令coredns 运行状态根据服务名&#xff0c;判断某个服务dns解析是否正常 背景 Kubernetes 集群内部的服务发现是微服务架构的核心基础&#xff0c;而 DNS 服务则是实现这一机制的关键组…...

Spring Boot 测试:单元、集成与契约测试全解析

一、Spring Boot 分层测试策略 Spring Boot 应用采用经典的分层架构&#xff0c;不同层级的功能模块对应不同的测试策略&#xff0c;以确保代码质量和系统稳定性。 Spring Boot 分层架构&#xff1a; Spring Boot分层架构 A[客户端] -->|HTTP 请求| B[Controller 层] …...

Tomato-Novel-Downloader:高性能小说下载工具的技术实践与应用指南

Tomato-Novel-Downloader&#xff1a;高性能小说下载工具的技术实践与应用指南 【免费下载链接】Tomato-Novel-Downloader 番茄小说下载器不精简版 项目地址: https://gitcode.com/gh_mirrors/to/Tomato-Novel-Downloader 1 核心价值&#xff1a;重新定义小说下载体验 …...

经营分析会哪些指标最重要?老板最该看的10个经营分析指标

开经营分析会&#xff0c;最怕的就是数据。很多老板一开经营分析会就头疼&#xff1a;这么多数字&#xff0c;我到底该看哪个&#xff1f;做了十多年财务管理了&#xff0c;我一直在内部推行一套极简框架&#xff1a;所有经营讨论&#xff0c;都必须围绕这10个根本指标展开。这…...

微信小程序框架详解

小程序包含一个描述整体程序的app实例和多个描述页面的page。其中app由三个文件构成:公共配置app.json、公共样式app.wxss、主体逻辑app.js。每个page最多由四个文件构成:页面配置page.json、页面结构page.wxml、页面样式page.wxss、页面主体逻辑page.js。 微信小程序的主体部…...

OpenClaw浏览器自动化:千问3.5-9B实现智能爬虫

OpenClaw浏览器自动化&#xff1a;千问3.5-9B实现智能爬虫 1. 为什么需要智能爬虫&#xff1f; 去年我接手了一个市场调研项目&#xff0c;需要从200多个电商页面提取商品信息和用户评价。传统爬虫遇到三个致命问题&#xff1a;动态加载内容抓取不全、验证码频繁拦截、非结构…...

HoYo-Glyphs:11款米哈游游戏文字字体,轻松打造你的专属游戏世界

HoYo-Glyphs&#xff1a;11款米哈游游戏文字字体&#xff0c;轻松打造你的专属游戏世界 【免费下载链接】HoYo-Glyphs Constructed scripts by HoYoverse 米哈游的架空文字 项目地址: https://gitcode.com/gh_mirrors/ho/HoYo-Glyphs 你是否曾被《原神》中蒙德教堂的哥特…...

OpenClaw多任务队列:gemma-3-12b-it并行处理技巧与实践

OpenClaw多任务队列&#xff1a;gemma-3-12b-it并行处理技巧与实践 1. 为什么需要多任务队列 去年冬天&#xff0c;我正尝试用OpenClaw自动化处理一批市场调研报告。当同时提交5个分析任务时&#xff0c;发现系统要么卡死&#xff0c;要么任务相互覆盖。这种经历让我意识到—…...

百度网盘直链解析工具:突破限速壁垒的完整实践方案

百度网盘直链解析工具&#xff1a;突破限速壁垒的完整实践方案 【免费下载链接】baidu-wangpan-parse 获取百度网盘分享文件的下载地址 项目地址: https://gitcode.com/gh_mirrors/ba/baidu-wangpan-parse 诊断下载困境&#xff1a;识别百度网盘限速的核心问题 量化速度…...

图卷积网络终极指南:如何在PyTorch中实现GCN模型

图卷积网络终极指南&#xff1a;如何在PyTorch中实现GCN模型 【免费下载链接】pygcn Graph Convolutional Networks in PyTorch 项目地址: https://gitcode.com/gh_mirrors/py/pygcn 图卷积网络&#xff08;Graph Convolutional Networks&#xff0c;简称GCN&#xff09…...

Zstats高级版教程(3):如何进行数据整理(下),分类变量如何设置对照组?设置值标签?

本篇是风暴统计平台教程系列的第三章&#xff0c;将详细说明如何使用数据整理模块&#xff0c;节省后续分析的时间。因为涉及内容比较多&#xff0c;分为上中下三篇&#xff0c;此为下篇。前两篇数据整理教程分别向大家详细介绍了数据整理模块的定量数据转分类、计算新变量、变…...

告别编译报错!Termux安装Pandas最稳方案实测(附Matplotlib、Numpy、Scipy一键配置清单)

Termux科学计算环境搭建&#xff1a;零报错安装Pandas与数据三件套实战指南 在移动端进行Python数据分析曾是天方夜谭&#xff0c;直到Termux的出现打破了这一限制。但许多用户在安装Pandas、Numpy、Scipy和Matplotlib这组"数据科学四件套"时&#xff0c;总会遇到各种…...