Redis内存策略:「过期Key删除策略」+ 「内存淘汰策略」
Redis之所以性能强,最主要的原因就是基于内存存储,然而单节点的Redis其内存大小不宜过大,否则会影响持久化或主从同步的性能。
Redis内存满了,会发生什么?
- 在Redis的运行内存达到了某个阈值,就会触发内存淘汰机制 => 防止把内存撑爆,这个阈值就是我们设置的最大运行内存。
我们可以通过修改redis.conf配置文件来设置Redis的最大内存,配置项为maxmemory:
- Redis默认情况下是没有对最大内存大小做限制的,默认情况下Redis就是根据你当前的服务器里面,当前最多可以申请到的内存大小来去做限制!
# 格式:
# maxmemory <bytes>
# 例如:
maxmemory 1gb
当内存使用达到上限,就无法存储更多数据了,因此,为了解决这个问题,Redis内部会有两套内存回收的策略:
- 内存过期策略
- 内存淘汰策略
内存过期策略 - 过期key处理 - 过期删除策略
如何设置过期时间?
- expire key n秒
- pexpire key n毫秒
- set key value ex n秒
- set key value nx n毫秒
查看某个key剩余的存活时间:TTL key
- 我们可以通过expire / EX命令给Redis的key设置TTL(过期时间 / 存活时间),单位:秒,当key的TTL到期以后,即当过期时间到了以后,再次访问该key时返回的是nil,说明这个Key已经不存在了,对应的内存也得到释放,从而起到内存回收的目的。
# 写入一条数据
set num 123
# 设置20秒过期时间
expire num 20
# 写入一条数据并设置20s过期时间
set num EX 20
Redis是如何知道一个key是否过期呢?
-
Redis本身是一个典型的key-value的键值型内存存储数据库,因此所有的key-value都保存在Dict结构中,在其redisDb结构体中,有两个Dict,也就是哈希表:一个用来记录KEY-VALUE键值对(当然存的不是真正的Key-Value,存储的其实是RedisObject对应的内存地址的指针),另一个用来记录key的TTL。
过期字典存储在 redisDb 结构中,如下:
来看下redisDb的底层源码:
typedef struct redisDb {dict dict; / The keyspace for this DB , 也就是存放KEY和VALUE的哈希表*/dict *expires; /* 同样是哈希表,但保存的是设置了TTL的KEY,及其到期时间*/dict *blocking_keys; /* Keys with clients waiting for data (BLPOP)*/dict *ready_keys; /* Blocked keys that received a PUSH */dict *watched_keys; /* WATCHED keys for MULTI/EXEC CAS /int id; / Database ID, 0 ~ 15 /long long avg_ttl; / Average TTL, just for stats /unsigned long expires_cursor; / Cursor of the active expire cycle. */list *defrag_later; /* List of key names to attempt to defrag one by one, gradually. */
} redisDb;
每当我们对一个key设置了过期时间后,Redis会把该key带上过期时间存储到一个过期字典(expires dict)中,也就是说「过期字典」保存了数据库中所有 key 的过期时间。
当我们查询一个 key 时,Redis 首先检查该 key 是否存在于过期字典中:
- 如果不在,则正常读取键值;
- 如果存在,则会获取该 key 的过期时间,然后与当前系统时间进行比对,如果比系统时间大,那就没有过期,否则判定该 key 已过期 => 查询到对应的TTL,加以判断即可。
是不是TTL到期就立即删除了呢?
TTL(Time To Live)的含义是存活时间。
- Redis并不会在Key过期时立刻删除KEY,因为要实现这样的效果就必须给每一个过期Key设置一个定时器,并监控这些Key的过期状态,然后去做判断,在key过期的那一刻给它立刻删掉 => 定时删除,它的优点就是保证过期key会被尽快删除,也就是内存可以尽快得到释放,因此,定时删除对内存是最友好的;
- 如果说我们的key比较少那还好,但是如果我们的key非常的多,达到数十万甚至数百万,那么这些key如果我们都给它设置这样一个定时器,无论是对CPU还是对内存都会带来极大的负担,这样一来,就会严重影响到Redis服务本身的一个性能,所以说这个是没有办法接受的,因此,我们在实际应用当中,Redis采用的并不是立即删除,而是惰性删除 + 周期删除 => Redis 使用的过期删除策略是「惰性删除+定期删除」这两种策略配和使用,删除的对象是已过期的 key。
Redis的过期KEY删除策略有两种:
-
惰性删除
-
周期删除或定期删除
惰性删除
- 顾名思义就是TTL过期后不会立刻删除,惰性删除策略的做法是,不主动删除过期键,而是在访问使用一个key的时候,判断当前key有没有设置TTL过期时间,如果有,则检查该key的存活时间,如果发现key已经过期才执行删除操作,如果没有过期,不做任何处理,然后返回正常的键值对给客户端。
惰性删除策略的优缺点:
优点:
- 因为每次访问时,才会检查该key是否过期,因此惰性删除策略可以节省CPU资源,对CPU时间最友好。
缺点:
- 如果一个key已经过期,而这个key又仍然保留在数据库中,那么只要这个过期key一致没有被访问,它所占用的内存就不会释放,会造成一定的内存空间浪费,所以惰性删除策略对内存不友好 => 这不就是会导致内存泄漏吗???
周期删除 / 定期删除策略
- 顾名思义就是通过一个定时任务,每隔一段时间周期性的从数据库中抽取一定数量的key进行检查,并删除其中的过期key。
Redis默认会每秒进行10次过期检查(此配置可以通过Redis的配置文件redis.conf进行配置,配置键为hz,它的默认值是hz 10),每次检查数据库并不是遍历过期字典中的所有key,而是从数据库中随机抽取一定数量的key进行过期检查:
- 从过期字典中随机抽取20个key;
- 检查这20个key是否过期,并删除已过期的key;
- 如果本轮检查的已过期key的数量,超过5个(5 / 20 = 1 / 4 = 25%),也就是「已过期 key 的数量」占比「随机抽取 key 的数量」大于 25%,则继续随机抽查,重复步骤1;如果已过期的key的比例小于25%,则停止继续删除过期key,退出本轮检查,然后等待下一轮再检查。
可以看到,定期删除是一个循环的流程。
Redis为了保证定期删除不会出现循环过度,导致线程卡死现象,为此增加了定期删除循环流程的时间上限,默认不会超过25ms,超出时间限制则退出。
定期删除策略的优缺点
优点:
- 定期删除是Redis的主动删除策略,它可以确保过期key能够及时被删除
缺点:
- 会占用CPU资源去扫描key,可能会影响到Redis的性能
可以看到,惰性删除策略和定期删除策略都有各自的优缺点,所以Redis选择「惰性删除+定期删除」这两种策略配和使用,以求在合理使用 CPU 时间和避免内存浪费之间取得平衡。
如果过期键没有被访问,而定期删除又跟不上新键产生的速度,内存不就慢慢耗尽了吗?
内存淘汰策略
内存淘汰:
- 就是当Redis的内存使用达到设置的阈值时,Redis就会主动挑选部分key删除以释放更多内存的流程,这就叫做内存淘汰机制。
- 内存淘汰策略是解决内存过大的问题。
内存淘汰时机
当内存达到阈值时执行内存淘汰,但问题是Redis什么时候会去判断内存是否达到阈值呢?
- Redis每次执行任何命令时,都会判断内存是否达到阈值。
当Redis内存不足时会怎么做?
- 这取决于配置的内存淘汰策略,Redis支持很多种内存淘汰策略,例如LRU、LFU、Random,但默认的策略是直接决绝新的写入请求,而如果设置了其它策略,则会在每次执行命令后判断内存占用是否达到阈值,如果达到阈值则会基于配置的内存淘汰策略尝试进行内存淘汰,直到占用内存小于阈值为止。
Redis 内存淘汰策略有哪些?
Redis支持内存淘汰,配置参数maxmemory-policy决定了内存淘汰策略,这个参数一共有8个枚举值,也就是说Redis内存淘汰策略共有8种,这八种策略大体分为「不进行数据淘汰」和「进行数据淘汰」两类策略:
1. 不进行数据淘汰的策略
- noeviction(Redis3.0之后,默认的内存淘汰策略) :禁止删除数据,它表示当Redis的运行内存超过最大设置内存时,也就是当Redis内存满时,不淘汰任何键值对数据,而是不再提供服务,不允许写入新数据,Redis的写命令会直接返回错误信息(但是读命令还是可以正常返回)。
2. 进行数据淘汰的策略
针对「进行数据淘汰」这一类策略,又可以细分为「在设置了过期时间的数据中进行淘汰」和「在所有数据范围内进行淘汰」这两类策略。 在设置了过期时间的数据中进行淘汰:
- volatile-random:随机淘汰设置了过期时间的任意键值 - 从已设置过期时间的数据集中任意选择数据淘汰;
- volatile-ttl:从已设置过期时间的数据集中挑选将要过期的数据淘汰:比较key的剩余TTL值,TTL越小越先被淘汰。
- volatile-lru(Redis3.0 之前,默认的内存淘汰策略):LRU(Least Recently Used),最近最久未使用,利用LRU算法淘汰所有设置了TTL过期时间的键值中,最久未使用的键值;
- volatile-lfu(Redis 4.0 后新增的内存淘汰策略):LFU(Least Frequently Used),最少频率使用,淘汰所有设置了TTL过期时间的键值中,最少使用的键值;
在所有数据范围内进行淘汰:
- allkeys-random:对全体key,随机进行淘汰;
- allkeys-lru:LRU(Least Recently Used),最近最久未使用,淘汰全体键值中最久未使用的键值;
- allkeys-lfu(Redis 4.0 后新增的内存淘汰策略)::LFU(Least Frequently Used),最少频率使用,淘汰整个键值中最少使用的键值,即访问频率最低的那个key-value。
比较容易混淆的有两个算法:
- LRU(Least Recently Used),最近最久未使用(根据访问时间淘汰),会选择淘汰最近最少使用的数据,用当前时间减去最后一次访问时间,这个值越大则淘汰优先级越高。
- LFU(Least Frequently Used),最少频率使用(根据访问频率淘汰),LFU 算法是根据数据访问次数来淘汰数据的,它的核心思想是“如果数据过去被访问多次,那么将来被访问的频率也更高”,所以, LFU 算法会统计每个key的访问频率,值越小淘汰优先级越高。
Redis 4.0开始支持基于LFU算法的淘汰策略!
Redis为什么新增了LFU淘汰策略?
为什么Redis 4.0有了LFU?
- 比如Redis中的一个键,之前一直都没有被访问过,最近突然被访问了一次,如果使用LRU淘汰策略就很难被淘汰,因为LRU会把它定义为热键;
- 而使用LFU淘汰策略该key就可能很快被淘汰,因为LRU优先淘汰最近未被使用的,而LFU淘汰的是最近访问频率最低的。
- LFU比LRU淘汰更精确,有助于提升Redis的缓存命中率。
Redis怎么知道某个KEY的最后一次访问时间或者是访问频率呢?
- redisObject结构体当中的lru就是记录最近一次访问时间和访问频率的,以低8位无符号数字来记录逻辑访问次数。
- 逻辑访问次数又是怎么回事呢?8位无符号数字最大才255,访问次数超过255怎么办?
逻辑访问次数是如何计算的?
- 由于记录访问次数的只有8bit,即便是无符号数,最大值只有255,不可能记录真实的访问次数,因此LFU的访问次数之所以叫做逻辑访问次数,是因为并不是每次key被访问都计数,Redis统计的其实是逻辑访问次数,这其中是一个计算公式,会根据当前的访问次数做计算,结果要么是次数 + 1,要么是次数不变,且最大不超过255,除此以外,逻辑访问次数还有一个衰减周期,访问次数会随时间衰减,默认为1分钟,即每隔1分钟逻辑访问次数会 -1,这样逻辑访问次数就能基本反映出一个key的访问热度了。
显然LFU的基于访问频率的统计更符合我们的淘汰目标,因此官方推荐使用LFU算法。
内存淘汰用到的是LRU算法吗?
- 嗯...Redis使用的是近似LRU算法,传统LRU算法的实现需要一个双向链表来记录数据最近被访问的顺序,最新操作的键会被移动到表头,当需要内存淘汰时,只需要删除链表尾部的数据即可,因为链表尾部的元素就代表最久未被使用的元素。
- 但是Redis中的KEY可能有数百万甚至更多,出于节省内存的考虑,Redis的LRU算法并非完整的实现,Redis的算法并不是真正的LRU,而是一种基于抽样的近似LRU算法!
- Redis采用的是抽样法,即每次抽样一定数量(maxmemory-samples)的key,然后和目前维持的淘汰候选池综合比较,然后基于内存策略做排序,找出淘汰优先级最高的,删除这个key,这就使得算法的结果更接近于真正的LRU算法了,特别是在抽样值较高的情况下(例如10),可以达到与真正的LRU接近的结果。
当Redis作为缓存使用的时候,推荐使用allkeys-lru淘汰策略,该策略会将最近最久未使用的key淘汰,像这种key后期命中的概率也最低,所以将其淘汰。
相关文章:

Redis内存策略:「过期Key删除策略」+ 「内存淘汰策略」
Redis之所以性能强,最主要的原因就是基于内存存储,然而单节点的Redis其内存大小不宜过大,否则会影响持久化或主从同步的性能。 Redis内存满了,会发生什么? 在Redis的运行内存达到了某个阈值,就会触发内存…...
el-table 个体行绑定点击事件时 表格中有el-radio和el-checkbox 点击触发两次事件处理方法
问题描述 在element的table中 使用radio或者checkbox 的单击事件,会导致radio或者checkbox的单击事件触发两次 解决办法 <el-table :data"tableData" style"width: 100%" max-height"500" :header-cell-style"tableHeaderCellStyle&q…...

CentOs 环境下使用 Docker 部署 Ruoyi-Vue
CentOs 环境下使用 Docker 部署 Ruoyi-Vue RuoYi-Vue 项目下载地址 RuoYi-Vue: 🎉 基于SpringBoot,Spring Security,JWT,Vue & Element 的前后端分离权限管理系统,同时提供了 Vue3 的版本 (gitee.com) Docker 部…...
axios 后端不配和添加api
export function returnBaseUrl(proxyUrl, url) {// console.log(process.env, "process.env3333");let returnBaseUrl "";if (process.env.NODE_ENV "production") {// // test 环境// if (process.env.VUE_APP_ENV "test") {// …...

力扣LCR 166. 珠宝的最高价值(java 动态规划)
Problem: LCR 166. 珠宝的最高价值 文章目录 解题思路思路解题方法复杂度Code 解题思路 思路 改题目与本站64题实质上是一样的,该题目在64题的基础上将求取最小路径和改成了求取最大路径和。具体实现思路如下: 1.定义一个int类型的二维数组dp大小为给定…...

【Python基础】一文搞懂:Python 中 Excel 文件的写入与读取
文章目录 1 引言2 使用 openpyxl2.1 安装 openpyxl2.2 写入 Excel 文件2.3 读取 Excel 文件 3 使用 pandas3.1 安装 pandas 和 openpyxl3.2 写入 Excel 文件3.3 读取 Excel 文件 4 实例演示4.1 安装所需库4.2 封装为excel_example.py脚本文件 5 注意事项6 总结 1 引言 在现代办…...

二叉树题目:完全二叉树插入器
文章目录 题目标题和出处难度题目描述要求示例数据范围 解法思路和算法代码复杂度分析 题目 标题和出处 标题:完全二叉树插入器 出处:919. 完全二叉树插入器 难度 6 级 题目描述 要求 完全二叉树是每一层(除最后一层外)都…...

用MATLAB求最短路径(graphshortestpath)和求最小生成树(minspantree),代码演示
求最短路径(graphshortestpath),求最小生成树(minspantree) 文章目录 求最短路径(graphshortestpath),求最小生成树(minspantree)1、最短路径问题2、最小生成…...

用win系统搭建Minecraft世界服务器,MC开服教程,小白开服教程
雨云VPS用Windows系统搭建我的世界世界服务器,Minecraft开服教程,小白开服教程,MC 1.19.4版本服务器搭建教程。 此教程使用 Mohist 1.19.4 服务端,此服务端支持Forge模组和Bukkit/Spigot/Paper插件,如果需要开其他服务…...

MacOS安装Miniforge、Tensorflow、Jupyter Lab等(2024年最新)
大家好,我是邵奈一,一个不务正业的程序猿、正儿八经的斜杠青年。 1、世人称我为:被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员… 2、这几年,我整理了很多IT技术相关的教程给大家࿰…...

iOS 应用上架指南:资料填写及提交审核
摘要 本文提供了iOS新站上架资料填写及提交审核的详细指南,包括创建应用、资料填写-综合、资料填写-IOS App和提交审核等步骤。通过本指南,您将了解到如何填写正确的资料,并顺利通过苹果公司的审核。 引言 在开发iOS应用后,将其…...

车速预测 | Matlab基于RBF径向基神经网络的车速预测模型(多步预测,尾巴图)
目录 效果一览基本介绍程序设计参考资料 效果一览 基本介绍 车速预测 | Matlab基于RBF径向基神经网络的车速预测模型(多步预测,尾巴图) 程序设计 完整程序和数据获取方式:私信博主回复Matlab基于RBF径向基神经网络的车速预测模型…...

MySQL 5.7.35下载安装使用_忘记密码_远程授权
文章目录 MySQL 5.7.35下载安装使用_忘记密码_远程授权MySQL下载地址mysql安装点击安装,最好以管理员身份运行选择自定义安装选择64位勾选启动自定义产品执行点击同意点击下一步点击执行下一步配置数据库端口号设置登录密码,如果密码忘记,下面…...

openGauss学习笔记-194 openGauss 数据库运维-常见故障定位案例-分析查询语句长时间运行的问题
文章目录 openGauss学习笔记-194 openGauss 数据库运维-常见故障定位案例-分析查询语句长时间运行的问题194.1 分析查询语句长时间运行的问题194.1.1 问题现象194.1.2 原因分析194.1.3 处理办法 openGauss学习笔记-194 openGauss 数据库运维-常见故障定位案例-分析查询语句长时…...

GoLang:gRPC协议的介绍以及详细教程,从Protocol开始
目录 编辑 引言 一、安装相关Go语言库和相关工具 1. 安装Go 2. 安装Protocol Buffers Compiler 2.1 Windows 2.1.1 下载 2.1.2 解压 2.1.3 环境变量 2. macOS 3. Linux 4. 验证安装 3. 安装gRPC-Go 4. 安装Protocol Buffers的Go插件 二、定义服务 三、生成Go…...
LeetCode-2645. 构造有效字符串的最少插入数
给你一个字符串 word ,你可以向其中任何位置插入 “a”、“b” 或 “c” 任意次,返回使 word 有效需要插入的最少字母数。 如果字符串可以由 “abc” 串联多次得到,则认为该字符串有效 。 示例 1: 输入:word “b” …...

ssm+vue的城投公司企业人事管理系统设计与实现(有报告)。Javaee项目,ssm vue前后端分离项目。
演示视频: ssmvue的城投公司企业人事管理系统设计与实现(有报告)。Javaee项目,ssm vue前后端分离项目。 项目介绍: 采用M(model)V(view)C(controller&#x…...

nginx基础面试题以及配置文件解析和命令控制
目录 1、nginx是什么 2、nginx的特点 3、为什么中国大陆有:百度、京东、新浪、网易、腾讯、淘宝等这么多用户使用nginx 4、nginx 的内部技术架构 上一期我们配置安装了nginx接着讲一下nginx配置文件的解析和nginx 命令控制 感谢观看!希望能够帮助到…...

全自动网页生成系统网站源码重构版
源码优点: 所有模板经过精心审核与修改,完美兼容小屏手机大屏手机,以及各种平板端、电脑端和360浏览器、谷歌浏览器、火狐浏览器等等各大浏览器显示。 免费制作 为用户使用方便考虑,全自动网页制作系统无需繁琐的注册与登入,直…...

【算法每日一练]-动态规划 (保姆级教程 篇16) #纸带 #围栏木桩 #四柱河内塔
目录 今日知识点: 计算最长子序列的方案个数,类似最短路径个数问题 四柱河内塔问题:dp[i]min{ (p[i-k]f[k])dp[i-k] } 纸带 围栏木桩 四柱河内塔 纸带 思路: 我们先设置dp[i]表示从i到n的方案数。 那么减法操作中ÿ…...

日语AI面试高效通关秘籍:专业解读与青柚面试智能助攻
在如今就业市场竞争日益激烈的背景下,越来越多的求职者将目光投向了日本及中日双语岗位。但是,一场日语面试往往让许多人感到步履维艰。你是否也曾因为面试官抛出的“刁钻问题”而心生畏惧?面对生疏的日语交流环境,即便提前恶补了…...

前端导出带有合并单元格的列表
// 导出async function exportExcel(fileName "共识调整.xlsx") {// 所有数据const exportData await getAllMainData();// 表头内容let fitstTitleList [];const secondTitleList [];allColumns.value.forEach(column > {if (!column.children) {fitstTitleL…...

对WWDC 2025 Keynote 内容的预测
借助我们以往对苹果公司发展路径的深入研究经验,以及大语言模型的分析能力,我们系统梳理了多年来苹果 WWDC 主题演讲的规律。在 WWDC 2025 即将揭幕之际,我们让 ChatGPT 对今年的 Keynote 内容进行了一个初步预测,聊作存档。等到明…...
第25节 Node.js 断言测试
Node.js的assert模块主要用于编写程序的单元测试时使用,通过断言可以提早发现和排查出错误。 稳定性: 5 - 锁定 这个模块可用于应用的单元测试,通过 require(assert) 可以使用这个模块。 assert.fail(actual, expected, message, operator) 使用参数…...

现代密码学 | 椭圆曲线密码学—附py代码
Elliptic Curve Cryptography 椭圆曲线密码学(ECC)是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础,例如椭圆曲线数字签…...

NLP学习路线图(二十三):长短期记忆网络(LSTM)
在自然语言处理(NLP)领域,我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感,还是实现语言的翻译,都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心,而循环神经网络(RNN) 曾被视为…...
今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存
文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...
动态 Web 开发技术入门篇
一、HTTP 协议核心 1.1 HTTP 基础 协议全称 :HyperText Transfer Protocol(超文本传输协议) 默认端口 :HTTP 使用 80 端口,HTTPS 使用 443 端口。 请求方法 : GET :用于获取资源,…...

【从零学习JVM|第三篇】类的生命周期(高频面试题)
前言: 在Java编程中,类的生命周期是指类从被加载到内存中开始,到被卸载出内存为止的整个过程。了解类的生命周期对于理解Java程序的运行机制以及性能优化非常重要。本文会深入探寻类的生命周期,让读者对此有深刻印象。 目录 …...

Selenium常用函数介绍
目录 一,元素定位 1.1 cssSeector 1.2 xpath 二,操作测试对象 三,窗口 3.1 案例 3.2 窗口切换 3.3 窗口大小 3.4 屏幕截图 3.5 关闭窗口 四,弹窗 五,等待 六,导航 七,文件上传 …...