Redis中的过期策略与内存淘汰策略
因为Redis是纯内存操作,所以在Redis中创建的键一般都会带有过期时间,以此来保证内存中存储数据的时效性。这篇文章我们就来讲解一下Redis中的过期策略与内存淘汰策略。
如何设置Redis中键的过期时间?
Redis提供了4个命令来设置键的过期时间:
(1)EXPIRE<key><ttl>:表示将键key的生存时间设置为ttl秒。
(2)PEXPIRE<key><ttl>:表示将键key的生存时间设置为ttl毫秒。
(3)EXPIREAT<key><timestamp>:表示将键key的生存时间设置为timestamp所指定的秒数时间戳。
(4)PEXPIREAT<key><timestamp>:表示将键key的生存时间设置为timestamp所指定的毫秒数时间戳。
在Redis的内部实现中,前面三个设置过期时间的命令最后都会转换成最后一个PEXPIREAT命令来完成。
Redis中还提供了移除键的过期时间和查询键的剩余时间的操作。
(1)PERSIST<key>:表示将key的过期时间移除。
(2)TTL<key>:以秒的单位返回键key的剩余生存时间。
(3)PTTL<key>:以毫秒的单位返回键key的剩余生存时间。
Redis如何判定键是否过期?
在Redis内部,每当我们设置一个键的过期时间时,Redis就会将该键带上过期时间存放到一个过期字典中。当我们查询一个键时,Redis便首先检查该键是否在过期字典中,如果在,那就获取其过期时间。然后将过期时间和当前系统时间进行比较,如果比系统时间要大,则说明键还没有过期;反之,则说明键已经过期。
Redis中过期键的删除策略是什么?
首先介绍一下常见的3种过期删除策略:
(1)定时删除策略
当我们在设置键key的过期时间的同时,我们创建一个定时器,让定时器在过期时间到来时立刻执行键的删除操作。这种策略的优点是,对内存是最友好的,能够保证键key只要一过期就能够立即从内存中移除。缺点是对CPU最不友好,在过期的键比较多的时候,删除键会占用大量的CPU时间,从而使服务器的响应时间变长,吞吐量下降。
(2)惰性删除策略
当我们在设置键key的过期时间后,不再去管它,当需要使用该key时,我们再检查其是否过期,如果过期则执行删除操作,反之则正常执行其余操作。这种策略的优点是对CPU友好,我们只在使用到key的时候才去检查其过期时间和执行过期删除操作,对于一些过期但没有被使用到的key,不会立即执行删除操作,从而不会浪费大量时间在key的过期检查上。缺点是,对内存不友好,如果一个键已经过期了又长时间没有被使用,那么这个键会一直占用内存的空间,如果这样的键越来越多,就会造成大量内存泄露。
(3)定期删除策略
每隔一段时间,我们就对一些key进行过期检查,删除里面已经过期的key。这种策略的优点是可以通过限制删除操作执行的时长和频率来减少删除操作对CPU的影响,同时也可以定期清除内存中过期的键,防止内存泄漏。缺点是难以确定删除操作执行的时长和频率。如果执行的频率太大,那就和定时删除策略的缺点一样,会占用大量CPU的时间;如果执行的频率太小,那就和惰性删除策略的缺点一样,会造成内存的大量泄露。还有一点,在获取某个键时,如果某个键的过期时间已经到了,但是还没有执行定期删除,那么就会返回这个键的值,这是在实际业务上不能忍受的错误。
介绍了以上三种删除策略后,我们发现各有优缺点,所以Redis使用惰性删除策略和定期删除策略配合使用来作为过期键的删除策略。
Redis中的惰性删除策略由db.c/expirelfNeeded函数实现,所有键读写命令执行之前都会调用expirelfNeeded函数对其进行检查,如果过期,则删除该键,并执行键不存在的操作;未过期则不作任何操作,继续执行原有的命令。
Redis中定期删除策略由redis.c/activeExpireCycle函数实现,函数以一定的频率运行,每次运行时,都从一定数量的数据库中取出一定数量的随机键进行检查,并删除其中的过期键。Redis在执行定期删除策略时,并不是一次运行就检查所有的库,所有的键,而是随机检查一定数量的键。
Redis中内存淘汰策略有哪些?
虽然Redis中使用了键的过期策略来清理出内存空间,但是当Redis中存入大量键时,可能内存空间会不够用,这个时候只靠键的过期策略难以应对,因此需要有对应的内存淘汰策略。
当Redis的内存超过最大允许内存的内存之后,Redis会触发内存淘汰策略,淘汰一些不常用的数据,以保证Redis的正常运行。
Redisv4.0之前提供了6种内存数据淘汰策略:
(1)volatile-lru:在设置过过期时间的key中,利用LRU算法淘汰一部分。LRU算法是淘汰那些最近最少被使用过的内存数据。
(2)allkeys-lru:在内存的全部key中,利用LRU算法淘汰一部分。
(3)volatile-ttl:从已经设置过过期时间的数据中(server.db[i].expires)挑选将要过期的数据进行淘汰。
(4)volatile-random:从已经设置过过期时间的数据中(server.db[i].expires)随机挑选一部分进行淘汰。
(5)allkeys-random:从内存的全部key中,随机淘汰一部分。
(6)no-eviction:当内存不足时,新的写入操作会引发报错。
Redisv4.0之后又添加了2种内存淘汰策略:
(1)volatile-lfu:从已经设置过过期时间的数据中(server.db[i].expires)挑选最不经常使用的数据进行淘汰,也就是保留下来的key都是使用频率相对比较高的。
(2)allkeys-lfu:从内存的全部key中挑选最不常使用的数据进行淘汰。
Redis中的内存淘汰策略可以通过配置文件来更改。默认的是no-eviction(实际业务中不会使用),实际业务中最常使用的是allkeys-lru内存淘汰策略。
相关文章:
Redis中的过期策略与内存淘汰策略
因为Redis是纯内存操作,所以在Redis中创建的键一般都会带有过期时间,以此来保证内存中存储数据的时效性。这篇文章我们就来讲解一下Redis中的过期策略与内存淘汰策略。 如何设置Redis中键的过期时间? Redis提供了4个命令来设置键的过期时间&…...

基于SDN环境下的DDoS异常攻击的检测与缓解
参考以下两篇博客,最后成功: 基于SDN的DDoS攻击检测和防御方法_基于sdn的ddos攻击检测与防御-CSDN博客 利用mininet模拟SDN架构并进行DDoS攻击与防御模拟(Ryumininetsflowpostman)_mininet模拟dos攻击-CSDN博客 需求 H2 模拟f…...
HarmonyOS 实战:给笔记应用加防截图水印
最近在做笔记类应用时,遇到一个头疼的需求:防止用户内容被非法截图传播。思来想去,加水印是个直接有效的方案。研究了 HarmonyOS 的开发文档后,发现用 Canvas 配合布局组件能轻松实现动态水印效果。今天就来聊聊如何给笔记页面加上…...

如何轻松地将文件从 PC 传输到 iPhone?
传统上,您可以使用 iTunes 将文件从 PC 传输到 iPhone,但现在,使用 iTunes 已不再是唯一的选择。现在有多种不同且有效的方法可以帮助您传输文件。在今天的指南中,您可以找到 8 种使用或不使用 iTunes 传输文件的方法,…...
前端面试二之运算符与表达式
目录 1.JavaScript 中的 和 运算符 2.|| (逻辑或) 运算符 与 ES6 默认参数的区别 与 ?? (空值合并运算符) 的区别 3.?.(可选链)运算符 (1). 安全访问深层嵌套属性 (2). 安全调用可能不存在的函数 (3). 安全访问数组元素 4.展开运算符 (..…...
【运维实战】使用Nvm配置多Node.js环境!
背景 新项目 使用Node.js-v16.17.1旧项目 使用Node.js- v14.18.0 【且依赖于node-saas模块,根据 node-sass 的官方文档,目前最新版本的 node-sass(即 v5.0.0)支持的 Node.js 版本范围是 Node.js 10.x、Node.js 12.x、Node.js 14.…...

Bresenham算法
一 Bresenham 绘直线 使用 Bresenham 算法,可以在显示器上绘制一直线段。该算法主要思想如下: 1 给出直线段上两个端点 ,根据端点求出直线在X,Y方向上变化速率 ; 2 当 时,X 方向上变化速率快于 Y 方向上变化速率&am…...

【从GEO数据库批量下载数据】
从GEO数据库批量下载数据 1:进入GEO DataSets拿到所需要下载的数据的srr.list,上传到linux, 就可以使用prefetch这个函数来下载 2:操作步骤如下: conda 安装sra-tools conda create -n sra-env -c bioconda -c co…...

day 44
使用DenseNet预训练模型对cifar10数据集进行训练 import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms, models from torch.utils.data import DataLoader import matplotlib.pyplot as plt import os# 设置中文字体…...
鸿蒙OSUniApp开发跨平台AR扫描识别应用:HarmonyOS实践指南#三方框架 #Uniapp
UniApp开发跨平台AR扫描识别应用:HarmonyOS实践指南 前言 随着增强现实(AR)技术在移动应用中的广泛应用,越来越多的开发者需要在跨平台应用中实现AR功能。本文将深入探讨如何使用UniApp框架开发一个高性能的AR扫描识别应用&…...

NER实践总结,记录一下自己实践遇到的各种问题。
更。 没卡,跑个模型休息好几天,又闲又急。 一开始直接套用了别人的代码进行实体识别,结果很差,原因是他的词表没有我需要的东西,我是用的医学文本。代码直接在github找了改的,用的是BERT的Chinese版本。 然…...

微信小程序实现运动能耗计算
微信小程序实现运动能耗计算 近我做了一个挺有意思的微信小程序,能够实现运动能耗的计算。只需要输入性别、年龄、体重、运动时长和运动类型这些信息,就能算出对应的消耗热量。 具体来说,在小程序里,性别不同,身体基…...

iTunes 无法备份 iPhone:10 种解决方法
Apple 设备是移动设备市场上最先进的产品之一,但有些人遇到过 iTunes 因出现错误而无法备份 iPhone 的情况。iTunes 拒绝备份 iPhone 时,可能会令人非常沮丧。不过,幸运的是,我们有 10 种有效的方法可以解决这个问题。您可以按照以…...
施耐德特价型号伺服电机VIA0703D31A1022、常见故障
⚙️ 一、启动类故障 电机无法启动 可能原因:电源未接通、制动器未释放、接线错误或控制器故障。解决措施: 检查电源线路及断路器状态;验证制动器是否打开(带制动器型号);核对电机与控制器…...

LangChain4J 使用实践
这里写目录标题 大模型应用场景:创建一个测试示例AIService聊天记忆实现简单实现聊天记录记忆MessageWindowChatMemory实现聊天记忆 隔离聊天记忆聊天记忆持久化 添加AI提示词 大模型应用场景: 创建一个测试示例 导入依赖 <dependency><groupI…...
慢SQL调优(二):大表查询
最近在工作中写SQL出现几次慢SQL的BUG,总结下来归根到底就是因为大表的原因~这表有多大呢,执行 select COUNT(1) FROM position 是出不来结果滴,每天保底新增1000条数据,可想而知有多大了,所以多次踩坑了这张表。所以…...

【C++】—— 从零开始封装 Map 与 Set:实现与优化
人生的态度是,抱最大的希望,尽最大的努力,做最坏的打算。 —— 柏拉图 《理想国》 目录 1、理论基石——深度剖析 BSTree、AVLTree 与 RBTree 的概念区别 2、迭代器机制——RBTree 迭代器的架构与工程实现 3、高级容器设计——Map 与 Set…...

内网穿透之Linux版客户端安装(神卓互联)
选择Linux系统版本 获取安装包 :https://www.shenzhuohl.com/download.html 这里以Ubuntu 18.04为例,其它版本方法类似 登录Ubuntu操作系统: 打开Ubuntu系统终端,更新版本 apt-get update 安装运行环境: 安装C 运…...

开疆智能Profinet转Profibus网关连接CMDF5-8ADe分布式IO配置案例
本案例是客户通过开疆智能研发的Profinet转Profibus网关将PLC的Profinet协议数据转换成IO使用的Profibus协议,操作步骤如下。 配置过程: Profinet一侧设置 1. 打开西门子组态软件进行组态,导入网关在Profinet一侧的GSD文件。 2. 新建项目并…...

华为云Flexus+DeepSeek征文|Flexus云服务器单机部署+CCE容器高可用部署快速搭建生产级的生成式AI应用
前引: 在AI技术高速演进的浪潮中,如何快速、高效、安全地搭建一个大模型应用平台,成为开发者和企业关注的焦点。近日,华为云推出的Flexus云服务器配合CCE容器引擎和Dify LLM应用开发平台,带来了极具吸引力的解决方案。…...
扫地机产品--材质传感器算法开发与虚拟示波器
扫地机产品–材质传感器算法开发与虚拟示波器 文章目录 扫地机产品--材质传感器算法开发与虚拟示波器**一、材质传感器的工作原理**二、核心功能与应用场景三、技术参数与产品示例四.MCU 与压电陶瓷超声波的材质检测技术方案实现原理分析4.1 超声波原理4.2表面类型检测4.3 超声…...
[蓝桥杯]上三角方阵
上三角方阵 题目描述 方阵的主对角线之上称为"上三角"。 请你设计一个用于填充 nn 阶方阵的上三角区域的程序。填充的规则是:使用 1,2,3.... 的自然数列,从左上角开始,按照顺时针方向螺旋填充。 例如&am…...

60天python训练计划----day44
DAY 44 预训练模型 知识点回顾: 预训练的概念常见的分类预训练模型图像预训练模型的发展史预训练的策略预训练代码实战:resnet18 一、预训练的概念 我们之前在训练中发现,准确率最开始随着epoch的增加而增加。随着循环的更新,参数…...

【JAVA版】意象CRM客户关系管理系统+uniapp全开源
一.介绍 CRM意象客户关系管理系统,是一个综合性的客户管理平台,旨在帮助企业高效地管理客户信息、商机、合同以及员工业绩。系统通过首页、系统管理、工作流程、审批中心、线索管理、客户管理、商机管理、合同管理、CRM系统、数据统计和系统配置等模块&…...

API异常信息如何实时发送到钉钉
#背景 对于一些重要的API,开发人员会非常关注API有没有报错,为了方便开发人员第一时间获取错误信息,我们可以使用插件来将API报错实时发送到钉钉群。 接下来我们就来实操如何实现 #准备工作 #创建钉钉群 如果已有钉钉群,可以跳…...

Python爬虫(48)基于Scrapy-Redis与深度强化学习的智能分布式爬虫架构设计与实践
目录 一、背景与行业痛点二、核心技术架构设计2.1 分布式爬虫基础架构2.2 深度强化学习模块 三、生产环境实践案例3.1 电商价格监控系统3.2 学术文献采集系统 四、高级优化技术4.1 联邦学习增强4.2 神经架构搜索(NAS) 五、总结🌈Python爬虫相…...
AtCoder Beginner Contest 407 E - Most Valuable Parentheses
AtCoder Beginner Contest 407 E - Most Valuable Parentheses E - Most Valuable Parentheses 反悔贪心算法 性质: 假设长度为 n n n, n ≡ 0 ( m o d 2 ) n \equiv 0 \pmod{2} n≡0(mod2) 的括号序列是合法的,那么有 n 2 \frac{n}{2}…...

(1-6-3)Java 多线程
目录 0.知识拓扑 1. 多线程相关概念 1.1 进程 1.2 线程 1.3 java 中的进程 与 线程概述 1.4 CPU、进程 与 线程的关系 2.多线程的创建方式 2.1 继承Thread类 2.2 实现Runnable接口 2.3 实现Callable接口 2.4 三种创建方式对比 3.线程同步 3.1 线程同步机制概述 …...

java31
1.网络编程 三要素: 网址实质上就是ip InetAddress: UDP通信程序: 多个接收端的地址都要加入同一个组播地址,这样发送端发信息,全部接收端都能接受到数据 广播的代码差不多,就是地址不一样而已 TCP通信程序…...
多模态之智能数字人
多模态下智能数字人的开发是一个复杂且系统性的工程,它融合了人工智能(AI)、计算机图形学、自然语言处理(NLP)、语音技术、计算机视觉(CV)等多个前沿领域。 多模态下智能数字人的开发流程规范 目标: 构建一个能够理解并生成多模态信息(文本、语音、视觉等),具备智…...