Redis 内存淘汰策略详解
Redis 内存淘汰策略详解
- 一、简介
- Redis
- 内存管理问题
- 二、内存淘汰策略
- 1.为什么需要内存淘汰策略
- 2.内存淘汰策略分类
- (1)noeviction
- (2)allkeys-lru
- (3)allkeys-lfu
- (4)volatile-lru
- (5)volatile-lfu
- (6)volatile-ttl
- 三、策略详解
- noeviction
- allkeys-lru
- volatile-lru
- allkeys-random
- volatile-random
- volatile-ttl
- volatile-lfu
- LFU 最少频繁使用算法
- LRU 最近最少使用算法
- 四、如何选择适合的内存淘汰策略
- 内存淘汰策略选择时需要考虑的因素
- 系统的容忍度
- 缓存数据的重要性
- 内存使用情况
- 业务场景
- 如何根据业务场景来选择合适的内存淘汰策略
- noeviction 策略
- volatile-lru 策略
- volatile-ttl 策略
- allkeys-lru 策略
一、简介
Redis
Redis 是一款高性能的非关系型数据库,它支持多种数据结构,如字符串、哈希、列表、集合、有序集合和 HyperLogLog。Redis 可以用于缓存、消息队列、应用程序中的数据结构存储等场景,它的优点是响应速度快、支持丰富的数据结构和扩展性好。
内存管理问题
Redis 将所有数据都存储在内存中,因此内存管理就成为了 Redis 中需要解决的一个重要问题。当 Redis 的内存使用达到最大内存限制时,Redis 将无法再接受写请求,并根据内存淘汰策略淘汰一部分数据腾出内存。
二、内存淘汰策略
1.为什么需要内存淘汰策略
当 Redis 内存使用达到最大内存限制时,如果继续进行写入操作会导致 Redis 服务崩溃。因此,为了保证 Redis 服务的稳定性,Redis 在内存使用达到最大限制时采取一系列措施,如内存淘汰、警告等。
2.内存淘汰策略分类
Redis 内存淘汰策略主要有 6 种:
(1)noeviction
不执行任何的淘汰策略,直接返回错误信息。这种方式可能导致内存使用过多而导致 Redis 崩溃。
(2)allkeys-lru
从所有的键中选取最近最少使用的数据淘汰。这种方式通常可以保留热点数据,但是可能会出现内存碎片,导致内存浪费。
(3)allkeys-lfu
从所有的键中选取访问频率最少的数据进行淘汰。这种方式适用于处理访问分布相对均匀的数据。
(4)volatile-lru
只从设定了过期时间(ttl)的键中选取最近最少使用的数据淘汰。这种方式适用于缓存等使用场景。
(5)volatile-lfu
只从设定了过期时间(ttl)的键中选取访问频率最少的数据进行淘汰。
(6)volatile-ttl
只从设定了过期时间(ttl)的键中选取即将过期的数据进行淘汰。这种方式适用于缓存等使用场景。
三、策略详解
在 Redis 中,为了防止内存溢出,在内存不足以容纳更多数据时,Redis 会通过内存淘汰策略来淘汰一些键值对,以便给新的键值对腾出空间。下面我们将详细介绍 Redis 支持的内存淘汰策略。
noeviction
这是 Redis 的默认策略,这意味着当内存满了时,任何写操作(如 SET,HSET 等)都会返回一个错误,这种情况下,需要管理员手动清除一些键值对或者增加内存才能继续进行写操作。
allkeys-lru
该策略会针对所有的键使用 LRU(最近最少使用)算法来淘汰键值对。对于 Redis 的所有键,按照最近最少使用的原则,优先淘汰那些最近没有使用或很久没有使用的键值对。
# 配置为 allkeys-lru 策略
maxmemory-policy allkeys-lru
volatile-lru
在这种模式下,Redis 会选择过期时间较近的键来淘汰。如果一个键设置了过期时间,并且距离过期时间较远,那么 Redis 不会考虑淘汰该键值对。相反,如果一个键离过期时间只有很短的一段时间,那么 Redis 会优先淘汰该键值对。
# 配置为 volatile-lru 策略
maxmemory-policy volatile-lru
allkeys-random
在这种模式下,Redis 会随机地淘汰一些键值对,重点考虑键值对的访问频率以及键空间。
# 配置为 allkeys-random 策略
maxmemory-policy allkeys-random
volatile-random
同 allkeys-random 模式类似,但它只针对开启过期时间的键空间进行淘汰。
# 配置为 volatile-random 策略
maxmemory-policy volatile-random
volatile-ttl
在这种模式下,Redis 会选择最接近超时的键来淘汰。它与 volatile-lru 类似,不同之处在于它侧重于超时的键而非最近最少使用的键。
# 配置为 volatile-ttl 策略
maxmemory-policy volatile-ttl
volatile-lfu
该策略中采用的是 LFU(最不常用)算法。Redis 会优先淘汰使用频率最少的键值对。
# 配置为 volatile-lfu 策略
maxmemory-policy volatile-lfu
LFU 最少频繁使用算法
除了 volatile-lfu 策略的支持以外,Redis 还支持使用 LFU 算法的淘汰策略。这种策略适用于需要使用最少频繁使用算法淘汰键值对的场景。
# 配置为 LFU 策略
maxmemory-policy lfu
LRU 最近最少使用算法
除了 allkeys-lru 和 volatile-lru 策略以外,Redis 还支持使用 LRU 算法的淘汰策略。这种策略适用于需要使用最近最少使用算法淘汰键值对的场景。
# 配置为 LRU 策略
maxmemory-policy lru
四、如何选择适合的内存淘汰策略
在使用 Redis 时,为了保持系统运行的稳定性和性能,我们需要针对不同的业务场景选择适合的内存淘汰策略。下面将介绍在进行策略选择时需要考虑的因素以及如何根据业务场景来选择合适的内存淘汰策略。
内存淘汰策略选择时需要考虑的因素
系统的容忍度
系统的容忍度是指当前系统中可容忍的缓存数据被淘汰的数量。当系统的容忍度较高时,我们可以采用一些较激进的淘汰策略,例如 noeviction 策略或 volatile-lru 策略。当系统的容忍度较低时,则需要选择一些保守的淘汰策略。
缓存数据的重要性
对于不同的缓存数据,其重要性也是不同的。例如,某些缓存数据可能对应着用户的个人信息或者是支付订单等重要信息,这些数据就需要采用较为严格的淘汰策略进行保护。而对于一些只是用于辅助计算的缓存数据,则可以采用较为宽松的淘汰策略。
内存使用情况
当内存使用情况较为充足时,我们可以适当采用一些较为激进的淘汰策略来提升系统的性能。而当内存使用情况较为紧张时,则需要选择一些较为保守的淘汰策略,保证系统的稳定运行。
业务场景
不同的业务场景对于淘汰策略的要求也是不同的。例如,对于一些缓存的数据是需要长时间保存的,此时我们就需要选择一些长期使用率较高的策略进行淘汰。而对于一些需要频繁更新或者只需要用于临时计算的数据,则可以采用一些比较激进的策略。
如何根据业务场景来选择合适的内存淘汰策略
noeviction 策略
该策略是 Redis 默认的淘汰策略,其特点是不对缓存数据进行淘汰,当 Redis 内存达到限制时会导致写操作失败。该策略适用于系统中的大部分数据都是必须不可缺少、不能删除的情况。通常我们也会针对这种情况进行缓存穿透和雪崩的处理。
# 在 Redis 配置文件中添加以下配置
maxmemory-policy noeviction
volatile-lru 策略
该策略会淘汰掉最近最少使用(Least Recently Used)的带有过期时间的缓存数据。在对于缓存数据有较为明确的过期时间限制,并且对于历史数据使用的概率相对较小的情况下可以采用该策略。
# 在 Redis 配置文件中添加以下配置
maxmemory-policy volatile-lru
maxmemory 4mb
volatile-ttl 策略
该策略会淘汰掉剩余时间最短的缓存数据,通常适合缓存数据过期时间比较接近或者过期时间比较难估计的场景。
# 在 Redis 配置文件中添加以下配置
maxmemory-policy volatile-ttl
maxmemory 4mb
allkeys-lru 策略
该策略会淘汰掉最近最少使用的所有缓存数据,适合对缓存数据淘汰没有任何限制,而且服务的数据模式和访问频度难以预测,无法确定是热点访问或者是冷访问的情况。
# 在 Redis 配置文件中添加以下配置
maxmemory-policy allkeys-lru
maxmemory 4mb
相关文章:
Redis 内存淘汰策略详解
Redis 内存淘汰策略详解 一、简介Redis内存管理问题 二、内存淘汰策略1.为什么需要内存淘汰策略2.内存淘汰策略分类(1)noeviction(2)allkeys-lru(3)allkeys-lfu(4)volatile-lru&…...

初识Redis之分布式
一.简单介绍: Redis是用来在内存中, 存储数据的, 他的初心是用来搞消息中间件(或者说消息队列 很熟悉了吧~~),但是呢用的不多,他现在主要是用来做 数据库,缓存 用来存储数据, 为什么不直接存储呢? Redis的优势就在于分布式系统 二.分布式系统 要说其分布式系统,简单想想都能…...

计算机网络-笔记-第三章-数据链路层
目录 三、第三章——数据链路层 1、数据链路层概述(帧) (1)封装成帧、差错检测、可靠传输(简单介绍) (2)CSMA/CD 2、封装成帧 (1)透明传输(…...
【1】openGL glew示例代码分析绘制一个三角形
openGL文档 > docs.gl ,可以直接查询函数的定义和使用 #include <iostream> #include <string> #include <GL/glew.h> #include <GLFW/glfw3.h>int main(void) {GLFWwindow* window;/* Initialize the library */if (!glfwInit())retu…...

android:新建工程文件介绍
一、前言当我们新建一个app时会呈现出固定的工程文件,这篇文章介绍新建工程里的文件。 二、介绍 Structure:就是你选择哪个页面就会显示那个页面的结构,就比如说我选择的是MainActivity他就会显示这个页面所使用的方法。 1-2:是android自动生…...
强化历程6-网络系列(2023.8.30)
文章目录 强化历程6-网络系列(2023.8.30)1 说一下OSI七层协议,为什么要分层?2 什么是TCP/IP协议,与OSI七层协议两者对比?3 什么是TCP协议,TCP协议和UDP协议区别?4 说一下TCP的三次握手和四次挥手5 两次握手…...
下载MedShapeNet
在 [1] 可下载 MedShapeNet 数据集,在其 Download 页,可选直接 GUI 下,或者先下一个索引文件,.txt 的,每行一条文件的下载链接,然后用 wget 逐条下。这里放下 wget 下载的 shell 脚本: 下载链索…...

根据身高重建队列【贪心算法】
根据身高重建队列 假设有打乱顺序的一群人站成一个队列,数组 people 表示队列中一些人的属性(不一定按顺序)。每个 people[i] [hi, ki] 表示第 i 个人的身高为 hi ,前面 正好 有 ki 个身高大于或等于 hi 的人。 请你重新构造并返…...

基于Java+SpringBoot+Mybaties-plus+Vue+ElementUI 高校汉服租赁网站的 设计与实现
一.项目介绍 高校汉服租赁网站分为普通用户以及管理员两类 普通用户: 注册、登录系统、查看汉服首页发帖公告信息、 交流论坛(发帖、查看帖子、评论)、 公告咨询(查看公告以及评论)、 汉服信息(查…...

SQL-DQL
-----分组查询----- 1.语法: SELECT 字段列表 FROM 表名 [WHERE 条件 ] GROUP BY 分组字段名 [HAVING 分组后过滤条件]; 2.where与having区别 》执行时机不同:where是分组之前进行过滤,不满足where条件,不参与分组&…...
手写深拷贝方法
function deepClone(data){if(!isObject(data)){// 非对象,直接拷贝return data}let result {}if(data instance of Array){result []}for(let key in data){if(data.hasOwnProperty(key)){result[key] deepClone(data[key])}}return result }// 是否对象 functi…...

格子游戏——并查集
Alice和Bob玩了一个古老的游戏:首先画一个 nn 的点阵(下图 n3 )。 接着,他们两个轮流在相邻的点之间画上红边和蓝边: 直到围成一个封闭的圈(面积不必为 1)为止,“封圈”的那个人就是…...

2023最新Python重点知识万字汇总
这是一份来自于 SegmentFault 上的开发者 二十一 总结的 Python 重点。由于总结了太多的东西,所以篇幅有点长,这也是作者"缝缝补补"总结了好久的东西。 **Py2 VS Py3** * print成为了函数,python2是关键字* 不再有unicode对象…...

【STM32】学习笔记(TIM定时器)-江科大
TIM(Timer)定时器 定时器可以对输入的时钟进行计数,并在计数值达到设定值时触发中断 16位计数器、预分频器、自动重装寄存器的时基单元,在72MHz计数时钟下可以实现最大59.65s的定时 不仅具备基本的定时中断功能,而且…...
Parallel Context Windows for Large Language Models
本文是LLM系列文章,针对《Parallel Context Windows for Large Language Models》的翻译。 大语言模型并行上下文窗口 摘要1 引言2 并行上下文窗口3 上下文学习的PCW4 PCW用于QA5 相关工作6 结论和未来工作不足 摘要 当应用于处理长文本时,大型语言模型…...

怎么消除人声保留背景音乐?试试这几种简单方法
消除人声保留背景音乐可以用于许多不同的目的。例如,可以在视频制作中使用,以确保观众能够听到清晰的对话,而不会被其他噪音干扰。此外,它也可以用于音乐制作中,以便更好地混合和控制音频元素。教大家几种简单的提取方…...

积分游戏小程序模板源码
积分游戏小程序模板源码是一款可以帮助用户快速开发小程序的工具,此模板源码包含五个静态页面,分别是首页、任务列表、大转盘、猜拳等五个页面,非常适合进行积分游戏等相关开发。 此模板源码的前端部分非常简单易用,用户可以根据…...

IDEA启动两个Tomcat服务的方式 使用nginx进行反向代理 JMeter测试分布式情况下synchronized锁失效
目录 引出IDEA启动Tomcat两个端口的方式1.编辑配置2.添加新的端口-Dserver.port80833.service里面管理4.启动后进行测试 使用nginx进行反向代理反向代理多个端口运行日志查看启动关闭重启 分布式情况下synchronized失效synchronized锁代码启动tomcat两个端口nginx反向代理JMete…...

Shell 脚本入门
目录 一、Shell是什么 1.1 我们为什么要学习Shell和使用Shell? 1.2 Shell的分类有哪些? 二、Shell脚本入门知识 2.1 Shell文件命名规范 2.2 Shell解析器 2.3 用Shell 编写hello World 三、Shell的四种变量类型 3.1 系统预定义变量 3.2 自定义变…...

管理类联考——逻辑——形式逻辑——汇总篇——知识点突破——性质模态
性质&模态 角度一 角度二 矛盾关系 【对象】(1)所有、有的不;(2)所有不、有的;(3)某个、某个不。 【典例】①所有偶像都是靠颜值的。 ②有的偶像不是靠颜值的。 试分析: (1)如果①为真,试判断②的真假。 (2)如果①为假,试判断②的真假。 (3)①和②是否可…...

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式
一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明:假设每台服务器已…...
React 第五十五节 Router 中 useAsyncError的使用详解
前言 useAsyncError 是 React Router v6.4 引入的一个钩子,用于处理异步操作(如数据加载)中的错误。下面我将详细解释其用途并提供代码示例。 一、useAsyncError 用途 处理异步错误:捕获在 loader 或 action 中发生的异步错误替…...

51c自动驾驶~合集58
我自己的原文哦~ https://blog.51cto.com/whaosoft/13967107 #CCA-Attention 全局池化局部保留,CCA-Attention为LLM长文本建模带来突破性进展 琶洲实验室、华南理工大学联合推出关键上下文感知注意力机制(CCA-Attention),…...

【快手拥抱开源】通过快手团队开源的 KwaiCoder-AutoThink-preview 解锁大语言模型的潜力
引言: 在人工智能快速发展的浪潮中,快手Kwaipilot团队推出的 KwaiCoder-AutoThink-preview 具有里程碑意义——这是首个公开的AutoThink大语言模型(LLM)。该模型代表着该领域的重大突破,通过独特方式融合思考与非思考…...

第 86 场周赛:矩阵中的幻方、钥匙和房间、将数组拆分成斐波那契序列、猜猜这个单词
Q1、[中等] 矩阵中的幻方 1、题目描述 3 x 3 的幻方是一个填充有 从 1 到 9 的不同数字的 3 x 3 矩阵,其中每行,每列以及两条对角线上的各数之和都相等。 给定一个由整数组成的row x col 的 grid,其中有多少个 3 3 的 “幻方” 子矩阵&am…...

网络编程(UDP编程)
思维导图 UDP基础编程(单播) 1.流程图 服务器:短信的接收方 创建套接字 (socket)-----------------------------------------》有手机指定网络信息-----------------------------------------------》有号码绑定套接字 (bind)--------------…...

如何在网页里填写 PDF 表格?
有时候,你可能希望用户能在你的网站上填写 PDF 表单。然而,这件事并不简单,因为 PDF 并不是一种原生的网页格式。虽然浏览器可以显示 PDF 文件,但原生并不支持编辑或填写它们。更糟的是,如果你想收集表单数据ÿ…...
使用Matplotlib创建炫酷的3D散点图:数据可视化的新维度
文章目录 基础实现代码代码解析进阶技巧1. 自定义点的大小和颜色2. 添加图例和样式美化3. 真实数据应用示例实用技巧与注意事项完整示例(带样式)应用场景在数据科学和可视化领域,三维图形能为我们提供更丰富的数据洞察。本文将手把手教你如何使用Python的Matplotlib库创建引…...

【JVM】Java虚拟机(二)——垃圾回收
目录 一、如何判断对象可以回收 (一)引用计数法 (二)可达性分析算法 二、垃圾回收算法 (一)标记清除 (二)标记整理 (三)复制 (四ÿ…...

mac:大模型系列测试
0 MAC 前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何,是否支持微调、推理速度等能力。下面进入正文。 1 mac 与 unsloth 按照下面的进行安装以及测试,是可以跑通文章里面的代码。训练速度也是很快的。 注意…...