Redis 内存淘汰策略深度解析
Redis 作为高性能的内存数据库,其内存资源的高效管理直接关系到系统的稳定性和性能。当 Redis 的内存使用达到配置的最大值(maxmemory)时,新的写入操作将触发内存淘汰机制(Eviction Policy),以释放空间存储新数据。本文将深入探讨 Redis 的内存淘汰策略、实现原理、适用场景及最佳实践。
一、 内存淘汰策略概述
Redis 的内存淘汰策略决定了在内存不足时,如何选择需要删除的键来释放空间。这些策略可以分为两大类:
- 基于过期时间的淘汰(volatile-*):仅针对设置了过期时间的键。
- 全局淘汰(allkeys-*):针对所有键,无论是否设置过期时间。
Redis 支持以下 8 种内存淘汰策略:
noeviction:默认策略,禁止写入新数据,直接返回错误。
volatile-lru:淘汰最近最少使用(LRU)的设置了过期时间的键。
volatile-lfu:淘汰最不经常使用(LFU)的设置了过期时间的键。
volatile-random:随机淘汰设置了过期时间的键。
volatile-ttl:优先淘汰剩余生存时间(TTL)最短的键。
allkeys-lru:淘汰所有键中最近最少使用的键。
allkeys-lfu:淘汰所有键中最不经常使用的键。
allkeys-random:随机淘汰任意键。
二、内存淘汰策略详解
2.1 noeviction(不淘汰)
行为:当内存不足时,拒绝所有写入命令(如 SET、LPUSH),但允许读取操作。
适用场景:适用于数据不可丢失的场景(如持久化存储),需确保内存足够或配合持久化机制。
缺点:若内存不足且无持久化,可能导致服务不可用。
2.2 LRU(Least Recently Used)
原理:淘汰最近最久未被访问的键。
Redis 实现:Redis 使用近似 LRU 算法,通过随机采样(默认取 5 个键)选择最久未使用的键,而非遍历所有键,以减少计算开销。
适用场景:适用于缓存场景,优先保留热点数据。
命令示例:
CONFIG SET maxmemory-policy volatile-lru # 针对带过期时间的键
CONFIG SET maxmemory-policy allkeys-lru # 针对所有键
2.3 LFU(Least Frequently Used)
原理:淘汰访问频率最低的键(Redis 4.0 引入)。
Redis 实现:通过计数器统计键的访问频率,并随时间衰减历史计数,避免长期累积导致无法淘汰旧键。
适用场景:适合长期缓存,如高频访问的静态数据。
命令示例:
CONFIG SET maxmemory-policy volatile-lfu # 针对带过期时间的键
CONFIG SET maxmemory-policy allkeys-lfu # 针对所有键
2.4 TTL(Time To Live)
原理:优先淘汰剩余生存时间(TTL)最短的键。
适用场景:适用于明确知道键生命周期的场景(如临时会话数据)。
限制:仅对设置了过期时间的键生效。
命令示例:
CONFIG SET maxmemory-policy volatile-ttl
2.5 Random(随机淘汰)
原理:随机选择键进行淘汰。
适用场景:内存压力大且数据重要性均等时,快速释放内存。
命令示例:
CONFIG SET maxmemory-policy volatile-random # 针对带过期时间的键
CONFIG SET maxmemory-policy allkeys-random # 针对所有键
三、 内存淘汰的底层实现
3.1 LRU/LFU 的近似算法
- Redis 通过 evictionPoolEntry结构维护候选淘汰键池。每次淘汰时,随机采样一组键,更新其访问时间或频率信息,选择最不活跃的键删除。
- LRU 时钟:Redis 使用全局 24 位时钟(精度为秒)记录键的最近访问时间。内存中每个对象存储与全局时钟的差值(lru字段),而非精确时间戳。
- LFU 计数器:每个键的 lru 字段被拆分为两部分:
- 高 16 位:最近访问时间的分钟级精度。
- 低 8 位:访问频率计数器(0~255),通过概率递增,随时间衰减。
3.2 淘汰流程
- 客户端执行写入命令触发内存检查。
- Redis 检查 maxmemory 是否已超出。
- 根据配置的策略选择待淘汰键。
- 删除键并触发相关事件(如 evicted 通知)。
四、 如何选择合适的内存淘汰策略?
4.1 缓存场景
推荐策略:allkeys-lru 或 allkeys-lfu
理由:优先保留热点数据,最大化缓存命中率。
4.2 持久化存储
推荐策略:noeviction(需确保内存足够或启用持久化)。
替代方案:若允许部分数据丢失,可使用 volatile-lru 结合过期时间。
4.3 临时数据场景
推荐策略:volatile-ttl
理由:自动清理生命周期明确的数据(如验证码、会话信息)。
4.4 混合型数据
推荐策略:allkeys-lru + 部分键设置过期时间。
示例:电商系统中,商品详情用 allkeys-lru 缓存,购物车数据设置 TTL。
五、最佳实践与注意事项
5.1 配置建议
设置合理的 maxmemory:通常为物理内存的 80%~90%,避免 OOM。
监控内存使用:
INFO memory # 查看内存指标(used_memory、maxmemory)
INFO stats # 查看 evicted_keys(淘汰键数量)
5.2 避免大规模淘汰
分片设计:通过集群分散数据,减少单个节点的内存压力。
预热缓存:重启后预加载高频数据,避免冷启动时集中淘汰。
5.3 常见误区
volatile-ttl 不依赖惰性删除:该策略仅在内存不足时触发,仍需依赖定期/惰性删除清理过期键。
LFU 计数器并非精确值:访问频率通过概率递增,适用于相对比较而非绝对计数。
六、总结
Redis 的内存淘汰策略是平衡内存使用与性能的关键机制。理解不同策略的原理和适用场景,结合业务需求合理配置,可显著提升系统的稳定性和效率。在高并发场景下,建议通过监控工具(如 RedisInsight、Prometheus)实时跟踪内存和淘汰指标,动态调整策略和资源配置。
通过本文的深度解析,希望您能掌握 Redis 内存淘汰的核心机制,并在实践中灵活运用,构建高效可靠的 Redis 服务。
参考资料
Redis 官方文档:https://redis.io/docs/reference/eviction/
《Redis 设计与实现》——黄健宏
Redis 源码解析(evict.c、object.c)
相关文章:
Redis 内存淘汰策略深度解析
Redis 作为高性能的内存数据库,其内存资源的高效管理直接关系到系统的稳定性和性能。当 Redis 的内存使用达到配置的最大值(maxmemory)时,新的写入操作将触发内存淘汰机制(Eviction Policy),以释…...
除了合并接口,还有哪些优化 Flask API 的方法?
除了合并接口,还有许多其他方法可以优化 Flask API,以下从性能优化、代码结构优化、安全性优化、错误处理优化等方面详细介绍: 性能优化 1. 使用缓存 内存缓存:可以使用 Flask-Caching 扩展来实现内存缓存,减少对数…...
MC9S12单片机的内存映射机制
地址空间 这是个16位的单片机。CPU的寻址空间最大为2^1664K。 这个64K是包括外设、RAM、EEPROM、和FLASH的。现在程序越来越大,64K的空间肯定是不够用的。因此,需要扩展。 扩展方法就是:分页。 把原来的64K空间,划分一块出来&a…...
C++二叉搜索树代码
代码一,对应力扣二叉搜索树中的检索,代码见下 /*** Definition for a binary tree node.* struct TreeNode {* int val;* TreeNode *left;* TreeNode *right;* TreeNode() : val(0), left(nullptr), right(nullptr) {}* TreeNode(i…...
计算机毕业设计SpringBoot+Vue.js科研项目验收管理系统(源码+文档+PPT+讲解)
温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…...
Docker Compose企业示例
利用容器编排完成haproxy和nginx负载均衡架构实施 1.mkdir docker.test 2.touch haproxy.yml 3.mkdir /var/lib/docker/volumes/conf 4.dnf install haproxy -y --downloadonly --downloaddir/xixi:下载内容到/xixi目录下 5. rpm2cpio haproxy-2.4.22-4.el9.x8…...
【Linux网络#11】: 传输层协议 TCP
📃个人主页:island1314 🔥个人专栏:Linux—登神长阶 ⛺️ 欢迎关注:👍点赞 👂🏽留言 😍收藏 💞 💞 💞 生活总是不会一帆风顺&#x…...
19. 大数据-技术生态简介
文章目录 前言一、Hadoop介绍1. 简介2. Hadoop发展史3. Hadoop现状 二、Hadoop特性1. Hadoop国外应用2. Hadoop国内应用 三、Hadoop架构变迁1. 发行版本2. Hadoop架构变迁(1.0-2.0变迁)3. Hadoop架构变迁(3.0新版本)4. 综述 四、技术生态体系 前言 大数据(Big Data…...
Android Native 之 文件系统挂载
一、文件系统挂载流程概述 二、文件系统挂载流程细节 1、Init启动阶段 众所周知,init进程为android系统的第一个进程,也是native世界的开端,要想让整个android世界能够稳定的运行,文件系统的创建和初始化是必不可少的ÿ…...
C++蓝桥杯基础篇(八)
片头 嗨~小伙伴们,大家好!今天我们一起来学习C蓝桥杯基础篇(八),练习相关字符串的习题,准备好了吗?Are you ready? Lets go! 第1题 字符串中的数字个数 这道题,我们用字符数组或者…...
IDEA Generate POJOs.groovy 踩坑小计 | 生成实体 |groovy报错
一、无法生成注释或生成的注释是null 问题可能的原因: 1.没有从表里提取注释信息,修改def calcFields(table)方法即可 def calcFields(table) {DasUtil.getColumns(table).reduce([]) { fields, col ->def spec Case.LOWER.apply(col.getDataType().…...
音视频入门基础:RTP专题(14)——FFmpeg源码中,对H.264的各种RTP有效载荷结构的解析
一、引言 由《音视频入门基础:RTP专题(10)——FFmpeg源码中,解析RTP header的实现》可以知道,FFmpeg源码的rtp_parse_packet_internal函数的前半部分实现了解析某个RTP packet的RTP header的功能。而在解析完RTP head…...
2. 电脑主机上配置机器人环境(具身智能机器人套件)
操作步骤跟树莓派一致 1. 安装 Miniconda curl -O https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-aarch64.sh bash ~/Anaconda3-2024.10-1-Linux-aarch64.sh source ~/.bashrc conda config --set auto_activate_base True source ~/.bashrc2. 配置LeRobot …...
IDEA2023 使用枚举类型java: 非法字符: ‘\ufffd‘
一、异常: 二、原因 文件编码问题 IDE或文本编辑器的文件编码设置不正确,可能会导致在保存文件时引入了错误的字符。 三、解决 在IntelliJ IDEA中,你可以通过File -> Settings -> Editor -> File Encodings来设置。...
服务器python项目部署
角色:root, 其他用户应该也可以 1. 安装python3环境 #如果是新机器,尽量执行,避免未知报错 yum -y update python -v yum install python3 python3 -v2. 使用virtualenvwrapper 创建虚拟环境,并使用workon切换不同的虚拟环境 # 安装virtua…...
3.6 登录认证
登录功能 登录思路 联调测试 登录校验 问题:在未登录情况下,我们也可以直接访问部门管理、员工管理等功能。 登录标记 用户登录成功之后,每一次请求中,都可以得到该标记。 统一拦截 过滤器Filter拦截器Interceptor 会话技术 会…...
OpenBMC:BmcWeb connect读取http请求
OpenBMC:BmcWeb构造connect对象-CSDN博客 OpenBMC:BmcWeb server.run-CSDN博客 1.构造了connect对象后,通过connection->start()开始处理来自客户端的请求 //http\http_connection.hpp void start() {...startDeadline();readClientIp();boost::beast::async_detect_ssl…...
金融合规测试:金融系统稳健运行的“定海神针“
一、什么是金融合规测试? 金融行业是受监管最严格的领域之一,各国政府和监管机构(如中国人民银行、银保监会、证监会、美国SEC、欧盟ESMA等)都制定了严格的法律法规,要求金融机构确保系统安全、交易透明、公平竞争&am…...
Nginx:从入门到实战使用教程
全方位解析Nginx:从入门到实战使用教程 Nginx安装、配置详细教程 文章目录 全方位解析Nginx:从入门到实战使用教程导语一、Nginx简介二、Nginx安装与配置 1. 在CentOS系统上安装Nginx:2. 在Ubuntu系统上安装Nginx:3. Nginx配置文…...
qt-C++笔记之ubuntu22.04源码安装Qt6.8.2
qt-C++笔记之ubuntu22.04源码安装Qt6.8.2 code review! 文章目录 qt-C++笔记之ubuntu22.04源码安装Qt6.8.21.作者环境:ubuntu22.04、cmake202.安装3.关联已安装的 Qt6 到 Qt Creator4.附:ubuntu18.0的处理,可尝试,作者没有遇到这个问题1.作者环境:ubuntu22.04、cmake20 安…...
Ubuntu 下 nginx-1.24.0 源码分析 - ngx_modules
定义在 objs\ngx_modules.c #include <ngx_config.h> #include <ngx_core.h>extern ngx_module_t ngx_core_module; extern ngx_module_t ngx_errlog_module; extern ngx_module_t ngx_conf_module; extern ngx_module_t ngx_openssl_module; extern ngx_modul…...
简单的二元语言模型bigram实现
内容总结归纳自视频:【珍藏】从头开始用代码构建GPT - 大神Andrej Karpathy 的“神经网络从Zero到Hero 系列”之七_哔哩哔哩_bilibili 项目:https://github.com/karpathy/ng-video-lecture Bigram模型是基于当前Token预测下一个Token的模型。例如&#x…...
计算机视觉之dlib人脸关键点绘制及微笑测试
dlib人脸关键点绘制及微笑测试 目录 dlib人脸关键点绘制及微笑测试1 dlib人脸关键点1.1 dlib1.2 人脸关键点检测1.3 检测模型1.4 凸包1.5 笑容检测1.6 函数 2 人脸检测代码2.1 关键点绘制2.2 关键点连线2.3 微笑检测 1 dlib人脸关键点 1.1 dlib dlib 是一个强大的机器学习库&a…...
Windows11下玩转 Docker
一、前提准备 WSL2:Windows 提供的一种轻量级 Linux 运行环境,具备完整的 Linux 内核,并支持更好的文件系统性能和兼容性。它允许用户在 Windows 系统中运行 Linux 命令行工具和应用程序,而无需安装虚拟机或双系统。Ubuntu 1.1 安…...
Android 平台架构系统启动流程详解
目录 一、平台架构模块 1.1 Linux 内核 1.2 硬件抽象层 (HAL) 1.3 Android 运行时 1.4 原生 C/C 库 1.5 Java API 框架 1.6 系统应用 二、系统启动流程 2.1 Bootloader阶段 2.2 内核启动 2.3 Init进程(PID 1) 2.4 Zygote与System Serv…...
【C++设计模式】第四篇:建造者模式(Builder)
注意:复现代码时,确保 VS2022 使用 C17/20 标准以支持现代特性。 分步骤构造复杂对象,实现灵活装配 1. 模式定义与用途 核心目标:将复杂对象的构建过程分离,使得同样的构建步骤可以创建不同的表示形式。 常见场景&am…...
使用GitLink个人建站服务部署Allure在线测试报告
更多技术文章,访问软件测试社区 文章目录 🚀前言🔑开通GitLink个人建站服务1. 前提条件2. 登录GitLink平台(https://www.gitlink.org.cn/login)3. 进入设置>个人建站>我的站点4. 新建站点5. 去仓部进行部署6. 安…...
WHAT - 前端异步事件流处理场景梳理
目录 一、典型场景二、解决方案与技术选型1. 基础异步控制2. 状态管理方案3. 复杂任务调度4. 任务取消机制5. 微任务队列优化 三、最佳实践建议四、工具链推荐 前端异步任务流处理是现代Web开发中常见的需求,尤其在复杂业务逻辑、高交互性应用中不可或缺。以下是常见…...
专业学习|多线程、多进程、多协程加速程序运行
学习资料来源:【2021最新版】Python 并发编程实战,用多线程、多进程、多协程加速程序运行_哔哩哔哩_bilibili 若有侵权,联系删除。 一、程序的提速方法——多线程、多进程、多协程 在现代编程中,多线程、多进程和多协程是三种常见…...
C/C++蓝桥杯算法真题打卡(Day3)
一、P8598 [蓝桥杯 2013 省 AB] 错误票据 - 洛谷 算法代码: #include<bits/stdc.h> using namespace std;int main() {int N;cin >> N; // 读取数据行数unordered_map<int, int> idCount; // 用于统计每个ID出现的次数vector<int> ids; …...
