当前位置： 首页 > news >正文

Redis 删除策略

news 文章来源：https://blog.csdn.net/weixin_62587914/article/details/132748670 2025/5/13 18:08:07

文章目录

  • Redis 删除策略
    • 一、过期数据
    • 二、数据删除策略
      • 1、定时删除
      • 2、惰性删除
      • 3、定期删除
      • 4、删除策略对比
    • 三、逐出算法

Redis 删除策略

一、过期数据

Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态

  • XX ：具有时效性的数据
  • -1 ：永久有效的数据
  • -2 ：已经过期的数据或被删除的数据或未定义的数据

问：过期的数据真的删除了吗？

**答：**不是的

二、数据删除策略

数据删除策略的目标

在内存占用与CPU占用之间寻找一种平衡，顾此失彼都会造成整体redis性能的下降，甚至引发服务器宕机或内存泄露

  • 定时删除

  • 惰性删除

  • 定期删除

1、定时删除

  • 创建一个定时器，当 key 设置有过期时间，且过期时间到达时，由定时器任务立即执行对键的删除操作
  • **优点：**节约内存，到时就删除，快速释放掉不必要的内存占用
  • **缺点：**CPU 压力很大，无论CPU 此时负载多高，均占用 CPU，会影响 redis 服务器响应时间和指令吞吐量
  • 总结：用处理器性能换取存储空间（拿时间换空间）

2、惰性删除

  • 数据到达过期时间，不做处理，等下次访问该数据时
    • 如果未过期，返回数据
    • 发现已过期，删除，返回不存在
  • **优点：**节约 CPU 性能，发现必须删除的时候才删除
  • **缺点：**内存压力很大，出现长期占用内存的数据
  • 总结：用存储空间换取处理器性能（拿空间换时间）

3、定期删除

以上两种删除策略的折中策略

  • Redis 启动服务器初始化时，读取配置 server.hz 的值，默认为 10
  • 每秒钟执行server.hz次**serverCron()**中的方法—databasesCron()–activeExpireCycle()
  • activeExpireCycle() 对每个expires[]逐一进行检测，每次执行 250ms/server.hz
  • 对某个 expires[]检测时，随机挑选W个 key 检测
    • 如果 key 超时，删除 key
    • 如果一轮中删除的key的数量>W * 25%，循环该过程
    • 如果一轮中删除的key的数量≤W * 25%，检查下一个expires[*]，0-15循环
    • W取值=ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP属性值
  • 参数current_db用于记录activeExpireCycle() 进入哪个expires[*] 执行
  • 如果**activeExpireCycle()**执行时间到期，下次从current_db继续向下执行

在这里插入图片描述

**定期删除：**周期性轮询redis库中的时效性数据，采用随机抽取的策略，利用过期数据占比的方式控制删除频度

  • 优点1：CPU性能占用设置有峰值，检测频度可自定义设置
  • 优点2：内存压力不是很大，长期占用内存的冷数据会被持续清理
  • 总结：周期性抽查存储空间 （随机抽查，重点抽查）

4、删除策略对比

  1. 定时删除 节约内存，无占用 不分时段占用CPU资源，频度高 拿时间换空间
  2. 惰性删除 内存占用严重 延时执行，CPU利用率高 拿空间换时间
  3. 定期删除 内存定期随机清理 每秒花费固定的CPU资源维护内存 随机抽查，重点

三、逐出算法

当新数据进入redis时如果内存不足怎么办？

  • Redis使用内存存储数据，在执行每一个命令前，会调用freeMemoryIfNeeded()检测内存是否充足。如果内存不满足新加入数据的最低存储要求，redis要临时删除一些数据为当前指令清理存储空间。清理数据的策略称为逐出算法

  • 注意：逐出数据的过程不是100%能够清理出足够的可使用的内存空间，如果不成功则反复执行。当对所有数据尝试完毕后，如果不能达到内存清理的要求，将出现错误信息。

    抛出异常：(error) OOM command not allowed when used memory >'maxmemory

影响数据逐出的相关配置

  • maxmemory最大可使用内存

    占用物理内存的比例，默认值为0，表示不限制,生产环境中根据需求设定，通常设置在50%以上。

  • maxmemory-samples每次选取待删除数据的个数

    选取数据时并不会全库扫描，导致严重的性能消耗，降低读写性能。因此采用随机获取数据的方式作为待检测删除数据

  • maxmemory-policy删除策略

检测易失数据（可能会过期的数据集server.db[i].expires ）

① volatile-lru：挑选最近最少使用的数据淘汰

② volatile-lfu：挑选最近使用次数最少的数据淘汰

③ volatile-ttl：挑选将要过期的数据淘汰

④ volatile-random：任意选择数据淘汰

检测全库数据（所有数据集****server.db[i].dict ）

⑤ allkeys-lru：挑选最近最少使用的数据淘汰

⑥ allkeys-lfu：挑选最近使用次数最少的数据淘汰

⑦ allkeys-random：任意选择数据淘汰

放弃数据驱逐

⑧ no-enviction（驱逐）：禁止驱逐数据（

redis4.0中默认策略），会引发错误OOM（Out Of

Memory）达到最大内存后的，对被挑选出来的数据进行删除的策略

相关文章：

Redis 删除策略

文章目录 Redis 删除策略一、过期数据二、数据删除策略1、定时删除2、惰性删除3、定期删除4、删除策略对比 三、逐出算法 Redis 删除策略 一、过期数据 Redis是一种内存级数据库，所有数据均存放在内存中，内存中的数据可以通过TTL指令获取其状态 XX &a…...

编程日记 2023/9/9 20:20:57

自动化运维——ansible (五十二) （01）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 目录 一、概述 1.1 为什么要用自动化运维软件 1.2 自动化运维 1.3 自动化运维要注意的方面 1.4 自动化运维主要关注的方面 1.5 常见的开源自动化运维软件 1.6 自动化运维软件…...

编程日记 2023/9/9 20:19:56

渗透测试漏洞原理之---【不安全的反序列化】

文章目录 1、序列化与反序列化1.1、引入1.2、序列化实例1.2.1、定义一个类1.2.2、创建 对象1.2.3、反序列化1.2.4、对象注入 2、漏洞何在2.1、漏洞触发2.1.2、定义一个类2.1.3、定义一个对象2.1.3、反序列化执行代码 2.2 为什么会这样 3、反序列化漏洞攻防3.1、PHP反序列化实例…...

编程日记 2023/9/9 20:18:53

建站系列（四）--- Web服务器之Apache、Nginx

目录 相关系列文章前言一、简介二、Apache与Nginx（1）Apache与Nginx的区别（2）Nginx相对于Apache的优点（3）Apache相对于Nginx 的优点（4）选择 三、反向代理与正向代理 相关系列文章 建…...

编程日记 2023/9/9 20:17:52

TCP和UDP的区别

TCP和UDP的区别 1、TCP面向连接（如打电话要先拨号建立连接）;UDP是无连接的，即发送数据之前不需要建立连接 2、TCP提供可靠的服务。也就是说，通过TCP连接传送的数据，无差错，不丢失，不重复&…...

编程日记 2023/9/9 20:16:51

MBR、GPT、LVM分区

GPT分区（支持大于2T的空间分区UEFI系统） 支持128个主分区 (parted) mklabel New disk label type? gpt (parted) mkpart Partition name? []? vdb1 File system type? [ext2]? ext4 Start? 0% End? 40% (parted) mkpart Partition name? []…...

编程日记 2023/9/9 20:15:49

uniapp 下拉刷新

需求：我使用一个滚动列表，需要下拉刷新页面的功能 下拉刷新的情况取决于滚动列表使用的技术 第一 种：页面滚动 产生页面很简单，只需要列表长度超过页面高度，就直接产生了滚动条。 处理页面滚动的下拉刷新。 1. 配置…...

编程日记 2023/9/9 20:14:48

ifstream之seekg/tellg

声明：我个人特别讨厌：收费专栏、关注博主才可阅读等行为，推崇知识自由分享，推崇开源精神，呼吁你一起加入，大家共同成长进步！ 在文件读写的时候，一般需要借助fstream来进行文件操作&a…...

编程日记 2023/9/9 20:13:43

OpenCV 01(图像加载与显示)

一、机器视觉 现在说的机器视觉(Machine Vision)一般指计算机视觉(Computer Vision), 简单来说就是研究如何使机器看懂东西。就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传…...

编程日记 2023/9/9 20:12:43

1-Pytorch初始化张量和张量的类型

1-Pytorch初始化张量和张量的类型 1 导入必备库 import torch import numpy as np2 初始化张量 # 初始化张量 t torch.tensor([1,2])#.type(torch.FloatTensor) print(t) print(t.dtype)输出： tensor([1, 2]) torch.int643 创建float型张量 # 创建float型张量…...

编程日记 2023/9/9 20:11:42

诊断网络卡的原因

首先，通过ipconfig和ping命令来诊断。 手头要有一台Windows电脑。在dos窗口下，输入ipconfig，可以查看到本机“手动设置”或者“自动获取”的IP地址。 这里有几种可能性： IP地址和网关地址都正确。（不存在问题&#xf…...

编程日记 2023/9/9 20:10:40

100万级连接，爱奇艺WebSocket网关如何架构

说在前面 在40岁老架构师 尼恩的读者社区(50)中，很多小伙伴拿到一线互联网企业如阿里、网易、有赞、希音、百度、滴滴的面试资格。 最近，尼恩指导一个小伙伴简历，写了一个《高并发网关项目》，此项目帮这个小伙拿到 字节/阿里/微…...

编程日记 2023/9/9 20:09:39

当电脑遇到msvcp110.dll丢失怎么办？最新解决方法分享

在使用电脑过程中，我们经常会遇到一些系统文件丢失的问题。其中，msvcp110.dll是Windows操作系统中的一个重要的动态链接库文件，它包含了许多与C运行库有关的函数和类。当系统中缺少或损坏这个文件时，可能会导致一些应用程序无法正…...

编程日记 2023/9/9 20:08:38

微信小程序自动化测试pytest版工具使用方法

-mini https://github.com/zx490336534/pytest-mini 微信小程序自动化测试pytest插件/工具 基于MiniTest进行pytest改造 使用方法 准备测试小程序 根据miniprogram-demo项目介绍运行一次项目 成功运行后关闭 安装&更新 pip install pytest-mini --upgrade引入插件…...

编程日记 2023/9/9 20:07:37

React 与 TS 结合使用时的技巧总结

使用 TS 泛型来定义通用参数 有些时候会遇到有些业务页面结构是通用的&#xff0c;只是传入页面组件的参数略有不同&#xff0c;这样我们可以使用 TS 的泛型来定义通用参数。具体的实例如下&#xff1a; type GenericPropsData<T> {items: T[];onClick: (value: T) &g…...

编程日记 2023/9/9 20:06:36

【深入解析spring cloud gateway】07 自定义异常返回报文

Servlet的HttpResponse对象&#xff0c;返回响应报文&#xff0c;一般是这么写的&#xff0c;通过输出流直接就可以将返回报文输出。 OutputStream out response.getOutputStream(); out.write("输出的内容"); out.flush();在filter中如果发生异常&#xff08;例如…...

编程日记 2023/9/9 20:05:36

如何写一个sh脚本将一个本地文件通过 scp命令上传到远程的 centos服务器？

如何写一个sh脚本将一个本地文件通过 scp命令上传到远程的 centos服务器&#xff1f; 1.1 背景需求1.2 解决方案1.3 附录1.3.1 scp命令用法与示例1.3.1.1 scp命令用法与解释1.3.1.2 scp 命令用法示例1.3.1.2.1 示例一&#xff1a;从本地复制文件到远程计算机1.3.1.2.2 示例二&a…...

编程日记 2023/9/9 20:04:34

【CMake工具】工具CMake编译轻度使用(C/C++)

目录 CMake编译工具 一、CMake概述 二、CMake的使用 2.1 注释 2.1.1 注释行 2.1.2 注释块 2.2 源文件 2.1.1 共处一室 2.1.2 VIP包房 2.3 私人定制 2.2.1 定义变量 2.2.2 指定使用的C标准 2.2.3 指定输出的路径 2.4 搜索文件 2.3.1 方式1 2.3.2 方式2 2.5 包含…...

编程日记 2023/9/9 20:03:33

用Navicat备份Mysql演示系统数据库的时候出：Too Many Connections

今天用Navicat进行数据备份的时候&#xff0c;发现由于数据库连接数目过多导致连接锁定&#xff0c;这种情况在多人协同开发的场景中很常见。当然我这里也因为多个应用使用了数据库连接&#xff0c;所以出现了Too Many Connections。 可能是超过最大连接数了。 1、进入Navicat…...

编程日记 2023/9/9 20:02:32

知识储备--基础算法篇-矩阵

2.矩阵 2.1第54题螺旋矩阵 第一题上来就跪了&#xff0c;看了官方答案感觉不是很好理解&#xff0c;找了一个比较容易理解的。 class Solution(object):def spiralOrder(self, matrix):""":type matrix: List[List[int]]:rtype: List[int]"""…...

编程日记 2023/9/9 20:01:31

Zabbix -- QQ邮箱报警

目录 一、创建监控项及触发器 1.1创建监控项 1.2 创建监控项的触发器 1.3 测试触发器 二、邮箱媒介设置 2.1 设置报警媒介类型 2.2 创建用户群组和用户 三、动作绑定 3.1 创建动作 3.2 动作操作 3.3 动作测试&#xff08;发送邮件测试&#xff09; 四、问题总结 4.1 邮件发送…...

编程日记 2023/9/9 20:00:30

eclipse链接MySQL数据库

在MySQL官网下载驱动 MySQLhttps://www.mysql.com/cn/点击下载&#xff1a; 页面滚动到最下方选择社区版&#xff1a; 选择Java版本: 接下来&#xff0c;需要选择操作系统&#xff0c;我们选择平台独立&#xff1a; eclipse 接下来&#xff0c;我们打开eclipse&#xff0c;新建…...

编程日记 2023/9/9 19:59:29

ansible 使用roles简单部署LAMP平台

目录 一、了解roles目录 二、基于构建LAMP平台创建roles目录 1、在192.168.115.148创建目录 2、书写php的测试页面 3、编写httpd角色的main.yml文件 4、编写mysql角色的main.yml文件 6、编写lamp的playbook 7、启动剧本 8、访问 一、了解roles目录 在Ansible中&#…...

编程日记 2023/9/9 19:58:28

如何使用Web Storage对页面中数据进行监听？

当使用Web Storage存储的数据发生变化时&#xff0c;会触发Window对象的storage事件&#xff0c;我们可以监听该事件并指定事件处理函数&#xff0c;当其他页面中的localStorage或 sessionStorage中保存的数据发生改变时&#xff0c;就会执行事件处理函数。 监听storage事件的…...

编程日记 2023/9/9 19:57:27

GO语言网络编程（并发编程）runtime包

GO语言网络编程&#xff08;并发编程&#xff09;runtime包 1. runtime包 1.1.1. runtime.Gosched() 让出CPU时间片&#xff0c;重新等待安排任务(大概意思就是本来计划的好好的周末出去烧烤&#xff0c;但是你妈让你去相亲,两种情况第一就是你相亲速度非常快&#xff0c;见…...

编程日记 2023/9/9 19:56:26

MR源码解析和join案例

MR源码解析 new Job(): 读取本地文件, xml配置job.start(): 启动线程job的run():线程方法 runTasks(): 传入对应的接口&#xff0c;启动map或者reduceMapTask类的run(): 设置map阶段的参数&#xff0c;初始化任务&#xff0c;创建上下文对象 创建读取器LineRecordReader判断是…...

编程日记 2023/9/9 19:55:25

ML+LLMs：利用LLMs大语言模型赋能或者结合ML机器学习算法进行具体应用的简介、具体案例之详细攻略

ML+LLMs：利用LLMs大语言模型赋能或者结合ML机器学习算法进行具体应用的简介、具体案例之详细攻略 目录 利用LLMs赋能或者结合ML算法进行具体应用的简介...

编程日记 2023/9/9 19:54:24

python GIL锁

1、GIL是什么 GIL&#xff1a;Global Interpreter Lock又称全局解释器锁。简单来说是一个互斥锁&#xff0c;每个线程在执行的过程中都需要先获取GIL&#xff0c;作用就是限制多线程同时执行&#xff0c;使得在同一进程内任何时刻仅有一个线程在执行。 由于GIL的存在&#xff0…...

编程日记 2023/9/9 19:53:24

git打tag和版本控制规范

我们在开发中经常会遇到要打tag的情况&#xff0c;但这个tag应该如何打呢&#xff1f;我不知道大家平时是怎么打的&#xff0c;但我基本就是从1.0.0开始进行往上递增&#xff0c;至于如何递增&#xff0c;基本凭感觉。今天同事新打了一个tag进行发版&#xff0c;然后被架构点名…...

编程日记 2023/9/9 19:52:22

php版 短信跳转微信小程序

实现这功能首先&#xff0c;小程序端添加业务域名 php代码 <?php declare (strict_types1);namespace app\controller\Admin;use app\model\Set; use app\Request;class Admin_Url_Scheme {public function getScheme(Request $request) {$appid 小程序appid;$secret 小…...

编程日记 2023/9/9 19:51:21