Redis系列-3 Redis缓存问题
1.缓存的作用
数据库(如Mysql)的持久化特点带来了较低的性能,高并发的场景下,连接池很快被耗尽而出现宕机或DOS,无法继续对外提供服务。相对于数据库的硬盘IO,缓存中间件基于内存进行读写,从而具备较大的吞吐量和高并发抵抗能力。
在服务器与数据库之间添加一层缓存,一方面可以缓解数据库压力,适应高并发场景;另一方面可以提高服务器的响应速度(内存读写速度远高于磁盘IO),具体流程如下所示:
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1Llifcjw-1714982408769)(C:\Users\0216001379\AppData\Roaming\Typora\typora-user-images\1714965497585.png)]](https://img-blog.csdnimg.cn/direct/4b0a14482f454c6abad12b83815797f8.png)
引入缓存后,服务器会先从缓存服务器查询,若数据不存在,才会从数据库查询,并将数据库查询结果写入缓存服务器。当数据被缓存至缓存服务器后,服务器后续直接从内存读取,不再经过数据库。
数据库中的数据都多写少,而且一般而言遵循二八定律,即20%为热点数据,80%为不常用数据。内存资源较为宝贵,所以希望缓存中尽可能多的是热点数据;过期时间、续期等机制为其提供了一个很好的解决方案。
Redis是缓存常用的方案,本文介绍的缓存服务器默认指Redis,数据库默认指代Mysql。Redis中以键值对的形式存放数据。Redis之所以可以保护Mysql,是因为过滤了绝大部分请求压力,当这部分压力透过Redis直接转移到Mysql时, 会导致Mysql服务宕机。有三种场景会导致这个问题,以下分章节进行介绍。
2.缓存穿透
当访问数据库中不存在的数据时,也不会将数据缓存到Redis中,从而每次请求都直接访问数据库,如同穿透了缓存一样。攻击者可以借此绕开Redis的缓存保护,供给服务器的数据库,如Mysql数据库的ID为自增序列时,高并发查询ID为-1的数据。
如下图所示,Redis和Mysql中不存在数据C,客户端高并发请求C数据时,请求会全部发送到Mysql中。

存在以下解决方案:
方案1:缓存空值
查询数据据库的结果为空时,在Redis中缓存空值并设置较短的有效时间。对于每个不存在的数据都缓存一个空值,可能导致Redis中缓存了大量无效的空值,占据内存空间;另外,在空值的有效期内,可能出现数据不一致情况(数据在数据库中被添加了)。
方案2:布隆过滤器
布隆过滤器基于Hash函数和长数组实现,特点是可能误判(不存在表示一定不存在,存在表示可能存在)和不可删除,当数据变化时,需要重建(定时器执行)布控过滤器。
使用布隆过滤器的流程如下:
初始化:

处理请求:
![[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kZZX3Xdt-1714982408771)(C:\Users\0216001379\AppData\Roaming\Typora\typora-user-images\1714982323034.png)]](https://img-blog.csdnimg.cn/direct/e53044b373474dbb8f8f699e65e7f904.png)
在《Redis系列-1 Redis介绍》中对Redission库仅介绍了分布式锁API的使用方式,除此之外,Redission库还提供了大量分布式操作的API,如布隆过滤器等。
3.缓存击穿
Redis中存放的热点数据存在过期时间,当热点数据过期后,客户端的请求会穿过Redis直达数据库。如下所示,Redis中数据C是个热点数据,当数据C在Redis中过期而被清除后,高并发请求数据C时,请求会直达Mysql。

存在以下解决方案:
方案1:加分布式锁
查询数据库前,获取分布式锁,结合DCL可以保证每个热点数据仅有一次查询发送到数据库。
方案2:热点数据持续刷新
服务初始化时,将热点数据刷入Redis中,同时启动一个定时服务:定时更新热点数据的过期时间。另外,对于特殊业务场景下,可以设置热点数据永不过期。
3.缓存雪崩
当Redis中大量缓存过期或者Redis服务器宕机,会导致Redis对于这些数据的拦截失败,请求会发送到Mysql.

根据不同的原因,存在如下对应解决方案:
方案1:缓存预热
启动时进行缓存预热,将热点数据提前写入Redis缓存中,避免系统启动时高并发访问Mysql.
方案2:缓存时间添加随机值
缓存时间添加指定范围的随机值,防止缓存集中失效。
方案3:部署Redis集群
Redis宕机会导致缓存数据全局失效,可通过部署Redis集群提高可用性。
另外,还可通过添加分布式锁来压缩请求速度,从而给数据库争取处理时间;由于严重影响吞吐量,使用较少。
相关文章:
Redis系列-3 Redis缓存问题
1.缓存的作用 数据库(如Mysql)的持久化特点带来了较低的性能,高并发的场景下,连接池很快被耗尽而出现宕机或DOS,无法继续对外提供服务。相对于数据库的硬盘IO,缓存中间件基于内存进行读写,从而具备较大的吞吐量和高并…...
【数据结构】堆(Heap)
文章目录 一、堆的概念及结构二、堆的实现1.向上调整算法2.向下调整算法3.堆的创建4.堆的插入5.堆的删除6.堆的其他操作 三、堆的应用1.堆排序2.Top-K问题 一、堆的概念及结构 堆(Heap)是一种特殊的非线性结构。堆中的元素是按完全二叉树的顺序存储方式存储在数组 中。满足任意…...
vue cli 自定义项目架子,vue自定义项目架子,超详细
脚手架Vue CLI基本介绍: Vue CLI 是Vue官方提供的一个全局命令工具 可以帮助我们快速创建一个开发Vue项目的标准化基础架子【集成了webpack配置】 脚手架优点: 开箱即用,零配置内置babel等工具标准化的webpack配置 脚手架 VueCLI相关命令…...
flink cdc,读取datetime类型
:flink cdc,读取datetime类型,全都变成了时间戳 Flink CDC读取MySQL的datetime类型时会转换为时间戳的问题,可以通过在Flink CDC任务中添加相应的转换器来解决。具体来说,可以在MySQL数据源的debezium.source.converter配置项中指…...
Kotlin 编译器和工具链:深入解析与实践案例
Kotlin 编译器和工具链是构建 Kotlin 项目的核心组件,它们负责将 Kotlin 代码转换为可在 JVM 或 JavaScript 环境中运行的代码。本文将详细介绍 Kotlin 编译器和工具链的工作原理、使用方法,以及在实际开发中的应用案例。 1. 引言 Kotlin 作为一种现代…...
kettle
文章目录 读取共享数据库连接报错 读取共享数据库连接报错 读取共享数据库连接报错 解决方法:修改共享文件中的中文字符,文件位置一般是默认的:C:\Users\Administrator.kettle。将shared.xml文件中的中文字符改成英文后问题就解决了。...
Maven 自动化构建
优质博文:IT-BLOG-CN 一、Maven:是一款服务于 Java平台的自动化构建工具 【1】Maven可以将一个项目按模块划分成不同的工程,利于分工协作; 【2】Maven可以将 jar包保存在自己的中央“仓库”中进行统一管理,有需要使用的工程引用这…...
Unicode字符集和UTF编码
文章目录 前言一、字符集和编码方式二、unicode字符集utf32编码utf8编码utf8编码函数示例utf8解码函数示例 utf16编码utf16编码解码函数示例 总结 前言 本文详细介绍 u n i c o d e unicode unicode 字符集和其相关的三种编码方式: u t f 8 utf8 utf8,…...
echarts默认图例(横线+圈圈)
修改echarts 图例样式 项目里折线图需要去掉圆点, 但是图例样式需要是默认样式(横线和圈圈) 原始代码:(只展示series 和legend配置 ) series: [{name: chartObj.names[ind_one],yAxisIndex: yIndex,type: ele_one,barMaxWidth: 15,tooltip: {show: true},data: chartObj.yAx…...
Shell脚本的基础和变量
1.shell脚本基础 1.1 shell的作用 Linux 系统中的 Shell 是一个特殊的应用程序,它介于操作系统内核与用户之间,充当 了一个“命令解释器”的角色,负责接收用户输入的操作指令(命令)并进行解释,将需要执 行的…...
VRRP协议-负载分担配置【分别在路由器与交换机上配置】
VRRP在路由器与交换机上的不同配置 一、使用路由器实现负载分担二、使用交换机实现负载分担一、使用路由器实现负载分担 使用R1与R2两台设备分别进行VRRP备份组 VRRP备份组1,虚拟pc1的网关地址10.1.1.254 VRRP备份组2,虚拟pc2的网关地址10.1.1.253 ①备份组1的vrid=1,vrip=…...
商务分析方法与工具(十):Python的趣味快捷-公司财务数据最炫酷可视化
Tips:"分享是快乐的源泉💧,在我的博客里,不仅有知识的海洋🌊,还有满满的正能量加持💪,快来和我一起分享这份快乐吧😊! 喜欢我的博客的话,记得…...
思源笔记如何结合群晖WebDav实现云同步数据
文章目录 1. 开启群晖WebDav 服务2. 本地局域网IP同步测试3. 群晖安装Cpolar4. 配置远程同步地址5. 笔记远程同步测试6. 固定公网地址7. 配置固定远程同步地址 在数字化时代,信息的同步与共享变得尤为重要。无论是个人用户还是企业团队,都渴望能够实现跨…...
Electron Forge | 跨平台实战详解(中)
简介 上篇 介绍了 Electron 和 Electron Builder 的基本用法,本篇将介绍更常用也更方便的打包工具,Electron Forge 。 Electron Forge 是一个为 Electron 应用的开发、打包和分发而设计的全功能工具集。它整合了多个底层 Electron 工具到一个统一的命令…...
stable diffusion教程
Stable Diffusion 是一种流行的图像生成模型,它可以根据文本提示生成高质量的图片。如果你想了解如何使用 Stable Diffusion,这里有一些基本的步骤和资源,可以帮助你开始使用: ### 1. 安装 Stable Diffusion 首先,你需…...
音频文件分析-- whisper(python 文档解析提取)
使用whisper转文本,这里使用的是large-v3版本 pip install githttps://github.com/openai/whisper.git import whisper import os from tqdm import tqdmmodel whisper.load_model("large-v3")path "rag_data" for fi in tqdm(os.listdir(pa…...
Python深度学习基于Tensorflow(3)Tensorflow 构建模型
文章目录 数据导入和数据可视化数据集制作以及预处理模型结构低阶 API 构建模型中阶 API 构建模型高阶 API 构建模型保存和导入模型 这里以实际项目CIFAR-10为例,分别使用低阶,中阶,高阶 API 搭建模型。 这里以CIFAR-10为数据集,C…...
火爆多年的抖音小店,2024年想要入驻需要什么条件呢?
大家好,我是电商糖果 我相信现在只要会上网的年轻人,对抖音小店一定不会感觉陌生。 它最近几年的风头,可是远远超过某宝,某多多了。 不少抖音用户也有了在抖音购物的习惯,现在的抖音上入驻了上百万家电商商家。 这…...
STM32G030C8T6:EEPROM读写实验(I2C通信)
本专栏记录STM32开发各个功能的详细过程,方便自己后续查看,当然也供正在入门STM32单片机的兄弟们参考; 本小节的目标是,系统主频64 MHZ,采用高速外部晶振,实现PB11,PB10 引脚模拟I2C 时序,对M24C08 的EEPRO…...
使用Git管理github的代码库-上
1、下载安装Git https://download.csdn.net/download/notfindjob/11451730?spm1001.2014.3001.5503 2、注册一个github的账号(已经注册的,可略过这一步) 3、打开git命令行,配置github账号 git config --global user.name &quo…...
别再只会复制代码了!用CubeMX配置STM32F407的PWM驱动TB6612,从原理到实战一次搞懂
从零构建PWM电机控制系统:STM32F407与TB6612的深度实践指南 引言:为什么你需要摆脱复制粘贴的陷阱 在实验室里,我见过太多学生面对电机控制项目时的第一反应——打开搜索引擎,寻找"STM32 PWM驱动电机代码",然…...
告别调参玄学:在GID遥感数据集上优化DeeplabV3+的5个实战技巧
告别调参玄学:在GID遥感数据集上优化DeeplabV3的5个实战技巧 遥感影像分割一直是计算机视觉领域的难点任务,尤其是面对GID这类包含复杂地物边界和多尺度目标的数据集时。许多研究者在初步跑通DeeplabV3模型后,往往会陷入mIoU指标停滞不前的困…...
ThinkPad X1 Tablet Gen3 vs Gen2键盘对比:为何Gen3更适合改装Type-C?
ThinkPad X1 Tablet Gen3键盘Type-C改装全解析:为何它成为DIY玩家的终极选择? 在移动办公设备轻量化与模块化设计成为主流的今天,ThinkPad X1 Tablet系列凭借其独特的二合一形态和标志性键盘手感,始终保持着特殊地位。特别是第三代…...
Mamba模型实战:如何用Python快速搭建一个长序列处理Demo(附代码)
Mamba模型实战:如何用Python快速搭建一个长序列处理Demo(附代码) 在自然语言处理和时间序列分析领域,处理长序列数据一直是个棘手的问题。传统Transformer架构虽然表现出色,但随着序列长度增加,其计算复杂度…...
5分钟搞定Qwen2-7B本地部署:从GGUF下载到API调用的保姆级教程
5分钟极速部署Qwen2-7B:从模型下载到API调用的实战手册 在人工智能技术快速迭代的今天,能够在本地高效运行大语言模型已成为开发者的一项核心竞争力。Qwen2-7B作为当前最受关注的中等规模开源模型之一,以其出色的中文理解能力和适中的硬件需求…...
零基础玩转OpenClaw:星图Qwen3-32B镜像的10个入门级自动化案例
零基础玩转OpenClaw:星图Qwen3-32B镜像的10个入门级自动化案例 1. 为什么选择OpenClawQwen3-32B组合? 去年冬天,当我第一次听说OpenClaw这个开源自动化框架时,内心是既兴奋又忐忑的。兴奋的是终于有一个能在本地电脑上实现AI自动…...
OpenVSCode Server数据安全终极指南:完整备份与恢复策略
OpenVSCode Server数据安全终极指南:完整备份与恢复策略 【免费下载链接】openvscode-server 项目地址: https://gitcode.com/gh_mirrors/op/openvscode-server OpenVSCode Server是一款强大的云端代码编辑器,让开发者能够在浏览器中享受完整的V…...
从LED驱动到充电桩:拆解PFC双环控制在5个真实产品里的不同玩法
从LED驱动到充电桩:拆解PFC双环控制在5个真实产品里的不同玩法 当你在深夜加班时,LED驱动电源的稳定输出让办公室保持明亮;当你为电动车充电时,充电桩高效转换着电网能量;这些场景背后都离不开一个关键技术——PFC双环…...
uConfigLib:嵌入式轻量级类型安全配置注册表
1. uConfigLib 库深度解析:面向嵌入式系统的轻量级配置注册表实现1.1 设计目标与工程定位uConfigLib 是一个专为资源受限嵌入式平台设计的纯 C 语言配置管理库,其核心目标并非提供通用键值存储,而是构建一种类 Windows 注册表(Reg…...
探索水煤气交换反应的SOFC模型:从理论到Comsol仿真
水煤气交换反应的SOFC模型,固体氧化物燃料电池 考察了水煤气反应对电池内部气体浓度,温度的影响,基于仿真软件comsol探究了单通道SOFC的内特性,考虑了传热传质下的SOFC内特性,电池片的厚度来自于实际电池SEM扫描结果&a…...
