Redis 缓存(Cache)
什么是缓存
缓存(cache)是计算机中的一个经典的概念在很多场景中都会涉及到。
核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方,方便随时读取。
这里所说的“触手可及”是个相对的概念
我们知道,对于硬件的访问速度来说,通常情况下:
CPU 寄存器 > 内存 > 硬盘 > 网络
那么硬盘相对于网络是“触手可及的",就可以使用硬盘作为网络的缓存
内存相对于硬盘是"触手可及的”,就可以使用内存作为硬盘的缓存
CPU 寄存器相对于内存是"触手可及的,就可以使用 CPU 寄存器作为内存的缓存
对于计算机硬件来说,往往访问速度越快的设备,成本越高,存储空间越小
缓存是更快,但是空间上往往是不足的。因此大部分的时候,缓存只放一些热点数据(访问频繁的数据)就非常有用了。
关于二八定律:20% 的热点数据能够应对 80% 的访问场景,因此只需要把这少量的热点数据缓存起来,就可以应对大多数场景,从而在整体上有明显的性能提升。
使用 Redis 作为缓存
在一个网站中,我们经常会使用关系型数据库(比如MySQL)来存储数据。
关系型数据库虽然功能强大,但是有一个很大的缺陷,就是性能不高。(换而言之,进行一次查询操作消耗的系统资源较多)
为什么说关系型数据库性能不高?
- 数据库把数据存储在硬盘上,硬盘的 IO 速度并不快尤其是随机访问
- 如果查询不能命中索引,就需要进行表的遍历,这就会大大增加硬盘 IO 次数
- 关系型数据库对于 SOL 的执行会做一系列的解析,校验,优化工作
- 如果是一些复杂查询,比如联合查询,需要进行笛卡尔积操作,效率更是降低很多
因此,如果访问数据库的并发量比较高,对于数据库的压力是很大的,很容易就会使数据库服务器宕机。
为什么并发量高了就会宕机?
服务器每次处理一个请求,都是需要消耗一定的硬件资源的。所谓的硬件资源包括不限于 CPU,内存,硬盘,网络带宽…
一个服务器的硬件资源本身是有限的,一个请求消耗一份资源,请求多了自然把资源就耗尽了。后续的请求没有资源可用,自然就无法正确处理。更严重的还会导致服务器程序的代码出现崩溃。
如何让数据库能够承担更大的并发量呢?
核心思路主要是两个:
- 开源:引入更多的机器,部署更多的数据库实例,构成数据库集群(主从复制,分库分表等…)
- 节流:引入缓存使用其他的方式保存经常访问的热点数据从而降低直接访问数据库的请求数量
实际开发中,这两种方案往往是会搭配使用的。
Redis 就是一个用来作为数据库缓存的常见方案
Redis 访问速度比 MySOL 快很多。或者说处理同一个访问请求,Redis 消耗的系统资源比 MySQL 少很多。因此 Redis 能支持的并发量更大。
- Redis 数据在内存中,访问内存比硬盘快很多
- Redis 只是支持简单的 key-value 存储,不涉及复杂查询的那么多限制规则
- 客户端访问业务服务器,发起查询请求
- 业务服务器先查询 Redis,看想要的数据是否在 Redis 中存在
- 如果已经在 Redis 中存在了就直接返回此时不必访问 MySQL 了
- 如果在 Redis 中不存在,再查询 MySQL
按照二八定律,只需要在 Redis 中放 20% 的热点数据,就可以使 80% 的请求不再真正查询数据库了
绝大多数情况下,使用缓存都能够大大提升整体的访问效率,降低数据库的压力
注意:缓存是用来加快"读操作”的速度的,如果是"写操作"还是要老老实实写数据库,缓存并不能提高性能。
缓存的更新策略
接下来还有一个重要的问题,到底哪些数据才是“热点数据”呢?
定期生成
每隔一定的周期(比如一天/一周/一个月),对于访问的数据频次进行统计。挑选出访问频次最高的前 N% 的数据。
以搜索引擎为例:
用户在搜索引擎中会输入一个“查询词”有些词是属于高频的,大家都爱搜(鲜花,蛋糕,同城交友…)。有些词就属于低频的,大家很少搜
搜索引擎的服务器会把哪个用户什么时间搜了啥词,都通过日志的方式记录的明明白白。然后每隔一段时间对这期间的搜索结果进行统计(日志的数量可能非常巨大,这个统计的过程可能需要使用 hadoop 或者 spark 等方式完成),从而就可以得到“高频词表”。
这种做法实时性较低,对于⼀些突然情况应对的并不好。
比如春节期间,“春晚"这样的词就会成为非常高频的词,而平时则很少会有人搜索"春晚”。
实时生成
先给缓存设定容量上限(可以通过 Redis 配置文件的 maxmemory
参数设定)。
接下来把用户每次查询:
- 如果在 Redis 查到了,就直接返回
- 如果 Redis 中不存在,就从数据库查,把查到的结果同时也写入 Redis
如果缓存已经满了(达到上限),就触发缓存淘汰策略,把一些"相对不那么热门”的数据淘汰掉。
按照上述过程,持续一段时间之后 Redis 内部的数据自然就是“热门数据”了
通用的淘汰策略主要有以下几种:
下列策略并非局限于 Redis,其他缓存也可以按这些策略展开
FIFO(First In First Out)先进先出
把缓存中存在时间最久的(也就是先来的数据)淘汰掉
LRU (Least Recently Used)淘汰最久未使用的
记录每个 key 的最近访问时间。把最近访问时间最老的 key 淘汰掉
LFU(Least Frequently Used)淘汰访问次数最少的
记录每个 key 最近一段时间的访问次数。把访问次数最少的淘汰掉
Random 随机淘汰
从所有的 key 中抽取幸运儿被随机淘汰掉
Redis 内置的淘汰策略如下:
- volatile-lru 当内存不足以容纳新写入数据时,从设置了过期时间的 key 中使用 LRU (最近最少使用)算法进行淘汰
- allkeys-lru 当内存不足以容纳新写入数据时,从所有 key 中使用LRU (最近最少使用)算法进行淘汰
- volatile-lfu 4.0版本新增,当内存不足以容纳新写入数据时,在过期的 key 中,使用 LFU 算法进行删除 key
- allkeys-lfu 4.0版本新增,当内存不足以容纳新写入数据时,从所有 key 中使用 LFU 算法进行淘汰.
- volatile-random 当内存不足以容纳新写入数据时,从设置了过期时间的 key 中,随机淘汰数
- allkeys-random 当内存不足以容纳新写入数据时,从所有 key 中随机淘汰数据
- volatile-ttl 在设置了过期时间的 key 中,根据过期时间进行淘汰,越早过期的优先被淘汰(相当于 FIFO,只不过是局限于过期的 key)
- noeviction 默认策略,当内存不足以容纳新写入数据时,新写入操作会报错
整体来说 Redis 提供的策略和我们上述介绍的通用策略是基本一致的,只不过 Redis 这里会针对"过期“key"和“全部 key"做分别处理
缓存预热,缓存穿透,缓存雪崩和缓存击穿
缓存预热(Cache preheating)
什么是缓存预热?
使用 Redis 作为 MySQL 的缓存的时候当 Redis 刚刚启动,或者 Redis 大批 key 失效之后,此时由于 Redis 自身相当于是空着的,没啥缓存数据,那么 MySQL 就可能直接被访问到,从而造成较大的压力。
因此就需要提前把热点数据准备好,直接写到 Redis 中,使 Redis 可以尽快为 MySOL 撑起保护伞
热点数据可以基于之前介绍的统计的方式生成即可,这份热点数据不一定非得那么"准确”,只要能帮助 MySQL 抵挡大部分请求即可。随着程序运行为推移,缓存的热点数据会逐渐自动调整,来更适应当前情况。
缓存穿透(Cache penetration)
什么是缓存穿透?
访问的 key 在 Redis 和 MySQL 中都不存在,此时这样的 key 不会被放到缓存上,后续如果仍然在访问该 key,依然会访问到数据库
这就会导致数据库承担的请求太多,压力很大,这种情况称为缓存穿透
为何产生?
原因可能有几种:
- 业务设计不合理,比如缺少必要的参数校验环节,导致非法的 key 也被进行查询了
- 开发/运维误操作,不小心把部分数据从数据库上误删了
- 黑客恶意攻击
如何解决?
- 针对要查询的参数进行严格的合法性校验,比如要查询的 key 是用户的手机号,那么就需要校验当前 key 是否满足一个合法的手机号的格式。
- 针对数据库上也不存在的 key,也存储到 Redis 中,比如 value 就随便设成一个”“,避免后续频繁访问数据库。
- 使用布隆过滤器先判定 key 是否存在,再真正查询
布隆过滤器是结合了 hash+bitmap 的思想,能够用较少的空间,判定某个元素是否存在
缓存雪崩(Cache avalanche)
什么是缓存雪崩
短时间内大量的 key 在缓存上失效,导致数据库压力骤增,甚至直接宕机。
本来 Redis 是 MySQL 的一个护盾,帮 MySQL 抵挡了很多外部的压力。一旦护盾突然失效了,MySQL 自身承担的压力骤增,就可能直接崩溃。
为何产生?
大规模 key 失效,可能性主要有两种:
- Redis 挂了
- Redis 上的大量的 key 同时过期
为啥会出现大量的 key 同时过期?
这种很可能是短时间内在 Redis 上缓存了大量的 key,并且设定了相同的过期时间
如何解决?
- 部署高可用的 Redis 集群并且完善监控报警体系
- 不给 key 设置过期时间或者设置过期时间的时候添加随机时间因子
缓存击穿(Cache breakdown)
什么是缓存击穿?
相当于缓存雪崩的特殊情况,针对热点 key,突然过期了,导致大量的请求直接访问到数据库上,甚至引起数据库宕机.
如何解决?
-
基于统计的方式发现热点 key,并设置永不过期
何解决?** -
部署高可用的 Redis 集群并且完善监控报警体系
-
不给 key 设置过期时间或者设置过期时间的时候添加随机时间因子
缓存击穿(Cache breakdown)
什么是缓存击穿?
相当于缓存雪崩的特殊情况,针对热点 key,突然过期了,导致大量的请求直接访问到数据库上,甚至引起数据库宕机.
如何解决?
- 基于统计的方式发现热点 key,并设置永不过期
- 进行必要的服务降级,例如访问数据库的时候使用分布式锁。限制同时请求数据库的并发数
相关文章:

Redis 缓存(Cache)
什么是缓存 缓存(cache)是计算机中的一个经典的概念在很多场景中都会涉及到。 核心思路就是把一些常用的数据放到触手可及(访问速度更快)的地方,方便随时读取。 这里所说的“触手可及”是个相对的概念 我们知道,对于硬件的访问速度来说,通常…...

ChatGPT回答模式
你发现了吗,ChatGPT的回答总是遵循这些类型方式。 目录 1.解释模式 2.类比模式 3.列举模式 4.限制模式 5.转换模式 6.增改模式 7.对比模式 8.翻译模式 9.模拟模式 10.推理模式 1.解释模式 ChatGPT 在回答问题或提供信息时,不仅仅给出…...

戏曲文化苑|戏曲文化苑小程序|基于微信小程序的戏曲文化苑系统设计与实现(源码+数据库+文档)
戏曲文化苑小程序目录 目录 基于微信小程序的戏曲文化苑系统设计与实现 一、前言 二、系统功能设计 三、系统实现 1、微信小程序前台 2、管理员后台 (1)戏曲管理 (2)公告信息管理 (3)公告类型管理…...

Mysql数据库主从集群从库Slave因为RelayLog过多过大引起服务器硬盘爆满生产事故实战解决
Mysql数据库主从集群从库slave因为RelayLog过多过大引起从库服务器硬盘爆满生产事故实战解决 一、MySQL数据库主从集群概念 MySQL数据库主从集群是一种高可用性和读写分离的数据库架构,它基于MySQL的复制(Replication)技术来同步数据。在主…...

QT基本组件
四、基本组件 Designer 设计师(重点) Qt包含了一个Designer程序,用于通过可视化界面设计开发界面,保存文件格式为.ui(界面文件)。界面文件内部使用xml语法的标签式语言。 在Qt Creator中创建文件时…...

uniapp实现全局悬浮框
uniapp实现全局悬浮框(按钮,页面,图片自行设置) 可拖动 话不多说直接上干货 1,在components新建组件(省去了每个页面都要引用组件的麻烦) 2,实现代码 <template><view class"call-plate" :style"top: top px;left: left px;" touchmove&quo…...

C语言特殊函数
静态函数 背景知识:普通函数都是跨文件可见的,即在文件 a.c 中定义的函数可以在 b.c 中使用。 静态函数:只能在定义的文件内可见的函数,称为静态函数。 语法 staitc void f(void) // 在函数头前面增加关键字 static ÿ…...
全栈开发(TS,React,Vue, Java, 移动端flutter)接单
个人主页 https://hz.minicv.net/ 技术栈 前端:NextJS React VueJS 后端:NestJS Java 移动端:Flutter 其他:SpringCloud Redis Kafka Zookeeper 项目案例 微行简历( TS 全栈项目,一个极简的简历管理平…...
vue3使用百度地图
前情提要: 本文vue采用vue3框架,使用百度地图通过组件vue-baidu-map-3x: 组件官网:地图容器 | vue-baidu-map-3x 使用百度地图需要 申请百度地图AK秘钥 步骤:1.进入百度地图开放平台 | 百度地图API SDK | 地图开…...
docker 安装达梦dm8 包含lincese
1.加载达梦数据库docker镜像 dm_v8.1.1.66_x86_rh7_64_ent.tar为申请的镜像文件。 docker load -i dm_v8.1.1.66_x86_rh7_64_ent.tar 查看镜像 docker images 创建达梦数据库容器 执行创建命令: docker run -d -p 30236:5236 --restartalways --name dm8_test…...

golang入门介绍-1
今天开始发布关于go语言入门到实战内容,各位小伙伴准备好。 go介绍 Go语言(或 Golang)起源于 2007 年,并在 2009 年正式对外发布。是由 Google 公司开发的一种静态强类型、编译型、并发型、并具有垃圾回收功能的编程语言。 Go 是…...
273.【华为OD机试真题】园区参观路径(动态规划-JavaPythonC++JS实现)
🚀点击这里可直接跳转到本专栏,可查阅顶置最新的华为OD机试宝典~ 本专栏所有题目均包含优质解题思路,高质量解题代码(Java&Python&C++&JS分别实现),详细代码讲解,助你深入学习,深度掌握! 文章目录 一. 题目-园区参观路径二.解题思路三.题解代码Python题解…...

ChatGPT调教指南 | 咒语指南 | Prompts提示词教程(二)
在我们开始探索人工智能的世界时,了解如何与之有效沉浸交流是至关重要的。想象一下,你手中有一把钥匙,可以解锁与OpenAI的GPT模型沟通的无限可能。这把钥匙就是——正确的提示词(prompts)。无论你是AI领域的新手&#…...

超市售货|超市售货管理小程序|基于微信小程序的超市售货管理系统设计与实现(源码+数据库+文档)
超市售货管理小程序目录 目录 基于微信小程序的超市售货管理系统设计与实现 一、前言 二、系统功能设计 三、系统实现 1、微信小程序前台 2、管理员后台 (1)商品管理 (2)出入库管理 (3)公告管理 …...

流程图:理解、创建与优化的视觉工具
流程图:理解、创建与优化的视觉工具 引言 在日常生活和工作中,我们经常遇到需要描述一系列步骤或过程的情况。这些步骤可能是制作一杯咖啡、完成一个项目,或者是解决一个复杂的数学问题。流程图,作为一种强大的视觉工具…...
Java EE面试题解析(下)
21、 什么是Servlet?【掌握】 Servlet是使用Java Servlet应用程序接口(API)及相关类和方法的Java程序。所有的Servlet都必须要实现的核心接口是javax.servlet.servlet。每一个Servlet都必须要直接或者间接实现这个接口,或者继承j…...
从零开始手写mmo游戏从框架到爆炸(二十一)— 战斗系统二
导航:从零开始手写mmo游戏从框架到爆炸(零)—— 导航-CSDN博客 上一章(从零开始手写mmo游戏从框架到爆炸(二十)— 战斗系统一-CSDN博客)我们只是完成了基本的战斗,速度属性并没有…...
强化学习入门(Matlab2021b)-创建环境【3】
目录 1 前言2 根据类模板创建自定义环境2.1 创建类模板2.2 Environment properties(环境特性)2.3 Required Functions(需要的环境方法)2.3.1 Constructor function(构造函数)2.3.2 reset function2.3.3 step function2.4 Optional Functions(可选的环境方法)2.5 Environment Vi…...

C++如何避免float误差?
C如何避免float误差? 在开始前我有一些资料,是我根据网友给的问题精心整理了一份「c的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!! …...

深信服技术认证“SCCA-C”划重点:深信服超融合HCI
为帮助大家更加系统化地学习云计算知识,高效通过云计算工程师认证,深信服特推出“SCCA-C认证备考秘笈”,共十期内容。“考试重点”内容框架,帮助大家快速get重点知识 划重点来啦 *点击图片放大展示 深信服云计算认证(S…...

关于nvm与node.js
1 安装nvm 安装过程中手动修改 nvm的安装路径, 以及修改 通过nvm安装node后正在使用的node的存放目录【这句话可能难以理解,但接着往下看你就了然了】 2 修改nvm中settings.txt文件配置 nvm安装成功后,通常在该文件中会出现以下配置&…...

LeetCode - 394. 字符串解码
题目 394. 字符串解码 - 力扣(LeetCode) 思路 使用两个栈:一个存储重复次数,一个存储字符串 遍历输入字符串: 数字处理:遇到数字时,累积计算重复次数左括号处理:保存当前状态&a…...

376. Wiggle Subsequence
376. Wiggle Subsequence 代码 class Solution { public:int wiggleMaxLength(vector<int>& nums) {int n nums.size();int res 1;int prediff 0;int curdiff 0;for(int i 0;i < n-1;i){curdiff nums[i1] - nums[i];if( (prediff > 0 && curdif…...
c++ 面试题(1)-----深度优先搜索(DFS)实现
操作系统:ubuntu22.04 IDE:Visual Studio Code 编程语言:C11 题目描述 地上有一个 m 行 n 列的方格,从坐标 [0,0] 起始。一个机器人可以从某一格移动到上下左右四个格子,但不能进入行坐标和列坐标的数位之和大于 k 的格子。 例…...

华为OD机试-食堂供餐-二分法
import java.util.Arrays; import java.util.Scanner;public class DemoTest3 {public static void main(String[] args) {Scanner in new Scanner(System.in);// 注意 hasNext 和 hasNextLine 的区别while (in.hasNextLine()) { // 注意 while 处理多个 caseint a in.nextIn…...

基于Docker Compose部署Java微服务项目
一. 创建根项目 根项目(父项目)主要用于依赖管理 一些需要注意的点: 打包方式需要为 pom<modules>里需要注册子模块不要引入maven的打包插件,否则打包时会出问题 <?xml version"1.0" encoding"UTF-8…...

【配置 YOLOX 用于按目录分类的图片数据集】
现在的图标点选越来越多,如何一步解决,采用 YOLOX 目标检测模式则可以轻松解决 要在 YOLOX 中使用按目录分类的图片数据集(每个目录代表一个类别,目录下是该类别的所有图片),你需要进行以下配置步骤&#x…...

华为云Flexus+DeepSeek征文|DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建
华为云FlexusDeepSeek征文|DeepSeek-V3/R1 商用服务开通全流程与本地部署搭建 前言 如今大模型其性能出色,华为云 ModelArts Studio_MaaS大模型即服务平台华为云内置了大模型,能助力我们轻松驾驭 DeepSeek-V3/R1,本文中将分享如何…...

windows系统MySQL安装文档
概览:本文讨论了MySQL的安装、使用过程中涉及的解压、配置、初始化、注册服务、启动、修改密码、登录、退出以及卸载等相关内容,为学习者提供全面的操作指导。关键要点包括: 解压 :下载完成后解压压缩包,得到MySQL 8.…...

论文阅读:Matting by Generation
今天介绍一篇关于 matting 抠图的文章,抠图也算是计算机视觉里面非常经典的一个任务了。从早期的经典算法到如今的深度学习算法,已经有很多的工作和这个任务相关。这两年 diffusion 模型很火,大家又开始用 diffusion 模型做各种 CV 任务了&am…...