Redis 热 key 和大 key 问题
一、什么是 Redis 热 key?
热 key(Hot Key)定义:
在单位时间内被**频繁访问(读/写)**的 key,导致其访问集中、压力过大。
热 key 常见表现:
-
QPS 极高(某 key 每秒被访问几万次)
-
某业务高频读写一个 key(如秒杀库存、排行榜 top1)
-
Redis 实例 CPU 异常,却只服务一个 key
热 key 的风险:
问题 | 说明 |
---|---|
单点压力过大 | 所有请求打到同一个 key 上 |
缓存击穿 | 热 key 过期瞬间,大量请求落到 DB |
主从复制延迟 | 热 key 改变频繁 → 主从同步数据猛增 |
节点不均衡(集群) | Redis Cluster 中 key 分布不均匀 |
热 key 解决方案:
方案 | 原理 / 思路 |
---|---|
✅ 本地缓存(Golang map / Caffeine) | 热 key 前移到本地,不打 Redis |
✅ 请求合并(Request Merge) | 多个请求合并为一次查询 |
✅ 多 key 拆分(Sharding) | 拆成 key_1 , key_2 , …,均摊压力 |
✅ 设置过期+预热机制 | 防止同时失效,导致“缓存击穿” |
✅ 热 key 限流 | 对热点 key 特判,限流/降级 |
✅ 使用布隆过滤器 / 异步加载 | 防穿透 / 控制负载 |
二、什么是 Redis 大 key?
大 key(Big Key)定义:
指的是 value 太大(例如一个 Hash 内含几百万个 field,或一个 List 有 10 万项以上)或**字符串体积超大(如几 MB 图片)**的 key。
大 key 的风险:
问题 | 说明 |
---|---|
❗ 删除阻塞 | DEL 大 key 时会阻塞 Redis 单线程 |
❗ 主从复制变慢 / 丢失 | 主节点传送一个大 key → 复制延迟 |
❗ 造成 RDB / AOF 暴涨 | Dump 一次会卡死 |
❗ 影响单条命令性能 | 操作大 key 会变慢,例如 HGETALL |
大 key 识别方法:
-
使用
redis-cli --bigkeys
命令扫描实例 -
使用
redis-rdb-tools
分析 RDB 文件 -
通过慢查询日志 + 监控查看
HGETALL
、LRANGE
、SMEMBERS
的大 key
大 key 解决方案:
方案 | 说明 |
---|---|
✅ 拆分数据结构 | 如一个大 Hash 拆成多个小 Hash(按 ID) |
✅ 控制最大 field 数/元素数 | 控制单个结构体内成员 ≤ 10K |
✅ 禁用危险命令 | 比如关闭 KEYS , FLUSHALL , HGETALL |
✅ 延迟删除 / 慢删策略 | 例如将大 key 分批 UNLINK 删除 |
✅ 限制最大 value 大小 | 字符串不要超过几 KB,避免超过 MTU |
UNLINK vs DEL 的区别:
命令 | 说明 |
---|---|
DEL | 立即删除(阻塞线程) |
UNLINK | 异步删除,非阻塞 ✅ |
✅ Redis 4.0+ 建议用
UNLINK
删除大 key!
总结对比表
类型 | 触发方式 | 风险 | 解决方案核心 |
---|---|---|---|
热 key | 高频访问同一个 key | CPU 飙升、击穿、热点 | 本地缓存、分片、限流、预热 |
大 key | value 结构太大 | 慢查询、阻塞、同步问题 | 拆分结构、异步删除、结构约束、UNLINK |
相关文章:
Redis 热 key 和大 key 问题
一、什么是 Redis 热 key? 热 key(Hot Key)定义: 在单位时间内被**频繁访问(读/写)**的 key,导致其访问集中、压力过大。 热 key 常见表现: QPS 极高(某 key 每秒被访问…...

基准指数选股策略思路
一种基于Python和聚宽平台的量化交易策略,主要包含以下内容: 1. 导入必要的库 - 导入jqdata和jqfactor库用于数据获取和因子计算。 - 导入numpy和pandas库用于数据处理。 2. 初始化函数 - 设置基准指数为沪深300指数。 - 配置交易参数,如使用…...

SAP接口超时:对 FOR ALL ENTRIES IN 的优化
SAP接口超时 经分析要10多分钟以上才出结果,且是这个语句耗时较长: SELECTaufnrmatnrbdmnglgortmeinschargFROM resbINTO CORRESPONDING FIELDS OF TABLE lt_lylcddxhFOR ALL ENTRIES IN lt_lylcddWHERE aufnr IN r_aufnr发现RESB有420万条记录…...
如何成功防护T级超大流量的DDoS攻击
防护T级超大流量的DDoS攻击需要综合技术、架构与运营策略的多层次防御体系。以下是基于最新技术实践和行业案例总结的关键防护策略: 一、流量清洗与分布式处理 部署流量清洗中心 T级攻击的核心防御依赖于专业的流量清洗技术。通过部署分布式流量清洗集群,…...
【Easylive】为什么需要手动转换 feign.Response 到 HttpServletResponse
【Easylive】项目常见问题解答(自用&持续更新中…) 汇总版 为什么需要手动转换 feign.Response 到 HttpServletResponse? feign.Response 是 Feign 客户端调用远程服务后返回的原始 HTTP 响应对象,而 HttpServletResponse 是…...
深入理解机器学习:人工智能的核心驱动力
在当今数字化时代,机器学习作为人工智能领域的关键技术,正以前所未有的速度改变着我们的生活和工作方式。从智能语音助手到精准的医疗诊断,从个性化的推荐系统到自动驾驶汽车,机器学习的应用无处不在,其影响力深远而广…...

Shell 脚本入门:从零开始写自动化脚本
目录 一、Shell 、Shell 命令、Shell 脚本 二、常用 Shell 命令与注释写法 三、echo 命令的使用 四、Shell 变量类型 五、变量与参数使用 六、读取用户输入 七、算术运算 八、条件判断与流程控制 九、循环结构 十、函数定义与调用 一、Shell 、Shell 命令、Shell 脚本…...
Vibracostic EDI 需求分析
Vibracostic 是德国Freudenberg集团旗下全球领先的减振与噪音控制技术公司,专注于为汽车及工业领域提供高效振动管理和隔音解决方案,客户涵盖宝马、奔驰、特斯拉等主流车企。 Vibracostic EDI 需求分析 供应商接收Vibracostic发来的DELFOR交付预测报文…...
【网络安全】社会工程学策略
1. 社会工程学简介 社会工程攻击是威胁行为者常用的攻击方式。这是因为,诱骗人们提供访问权限、信息或金钱通常比利用软件或网络漏洞更容易。 您可能还记得,社会工程学是一种利用人为错误来获取私人信息、访问权限或贵重物品的操纵技术。它是一个涵盖性…...
项目笔记2:post请求是什么,还有什么请求
在 HTTP(超文本传输协议)中,请求方法用于向服务器表明客户端想要执行的操作。POST 请求是其中一种常见的请求方法,此外还有 GET、PUT、DELETE 等多种请求方法,下面为你详细介绍: POST 请求 定义ÿ…...

【最新版】西陆健身系统源码全开源+uniapp前端
一.系统介绍 一款基于UniappThinkPHP开发健身系统,支持多城市、多门店,包含用户端、教练端、门店端、平台端四个身份。有团课、私教、训练营三种课程类型,支持在线排课。私教可以通过上课获得收益,在线申请提现功能,无…...

常见移动机器人底盘模型对比(附图)
1. 概述 底盘模型驱动场景优势劣势双轮差速两轮驱动室内AGV结构简单、成本低转弯半径大,易打滑四轮差速四轮独立驱动复杂地形无人车全方位转向,机动性强控制复杂,能耗高阿克曼模型前轮转向后驱户外无人驾驶车高速稳定性好转弯半径大…...
如何在 MinGW 和 Visual Studio (MSVC) 之间共享 DLL
如何在 MinGW 和 Visual Studio (MSVC) 之间共享 DLL ✅ .dll.a 和 .lib 是什么? 1. .dll.a(MinGW 下的 import library) 作用:链接时告诉编译器如何调用 DLL 中的函数。谁用它:MinGW 编译器(如 g&#x…...

【MongoDB】windows安装、配置、启动
🪟 一、下载 MongoDB 安装包 打开官方地址: 👉 https://www.mongodb.com/try/download/community 配置下载选项: 选项设置Version最新(默认就好)OSWindowsPackageMSI(推荐) 点击【D…...
java实现 PDF中的图片文字内容识别
通过Tesseract进行OCR识别 前提:安装好Tesseract并下载好简体中文语言包,本文在Windows上验证过,需要安装包可以关注 公号 easy4java获取 1.配置maven依赖 <!-- pdf 解析--><dependency><groupId>org.apache.pdfbox</groupId><artifactId>pdf…...

GitLab_密钥生成(SSH-key)
目录 1.密钥命令 2.自定义路径 3.输2次密码 4.查看公钥:(打开文件) 5. 把公钥,放到GitLab上面 6.填写公钥标题 7.点击 Add key 按钮 8. 验证添加是否成功 9. 测试 SSH 连接 10.彩蛋(把ssh-key添加到python文…...

【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读 ABSTRACT1 INTRODUCTION2 PRELIMINARIES3 OUR FRAMEWORK3.1 Multi-Modal Hypergraph Networks3.2 Variational Inference 4 EXPERIMENT6 CONCLUSION 文章信息: 发表于:WSDM 24 原文…...

BUUCTF-[GWCTF 2019]re3
[GWCTF 2019]re3 查壳,64位无壳 然后进去发现主函数也比较简单,主要是一个长度校验,然后有一个mprotect函数,说明应该又是Smc,然后我们用脚本还原sub_402219函数处的代码 import idc addr0x00402219 size224 for …...

C++入侵检测与网络攻防之暴力破解
目录 1.nessus扫描任务 2.漏洞信息共享平台 3.nessus扫描结果 4.漏扫报告的查看 5.暴力破解以及hydra的使用 6.crunch命令生成字典 7.其他方式获取字典 8.复习 9.关于暴力破解的防御的讨论 10.pam配置的讲解 11.pam弱密码保护 12.pam锁定账户 13.shadow文件的解析 …...

管理100个小程序-很难吗
20公里的徒步-真难 群里的伙伴发起了一场天目山20公里徒步的活动,想着14公里都轻松拿捏了,思考了30秒后,就借着春风带着老婆孩子就出发了。一开始溪流清澈见底,小桥流水没有人家;青山郁郁葱葱,枯藤老树没有…...

如何在Linux用libevent写一个聊天服务器
废话少说,先看看思路 因为libevent的回调机制,我们可以借助这个机制来创建bufferevent来实现用户和用户进行通信 如果成功连接后我们可以直接在listener回调函数里创建一个bufferevent缓冲区,并为每个缓冲区设置相应的读回调和事件回调&…...
系统设计(1)—前端—CDN—Nginx—服务集群
简介: 本指南旨涵盖前端、CDN、Nginx 负载均衡、服务集群、Redis 缓存、消息队列、数据库设计、熔断限流降级以及系统优化等模块的核心要点。我们将介绍各模块常见的设计方案与优化策略,并结合电商秒杀、SaaS CRM 系统、支付系统等高并发场景讨论实践技巧…...
算法设计与分析7(贪心算法)
Prim 算法(寻找最小生成树) 用途:Prim 算法是一种贪心算法,用于在加权无向图中寻找最小生成树(MST),即能够连接图中所有顶点且边的权重之和最小的子图。基本思路: 从图中任意一个顶…...

马浩棋:产通链CT-Chain 破局不动产 RWA,引领数智金融新变革
全球不动产 RWA 数智金融高峰论坛上马浩棋先生致辞 在全球不动产 RWA 数智金融高峰论坛暨产通链 CT-Chain 上链首发会的现场,犀牛世纪集团(香港)有限公司董事会主席马浩棋成为众人瞩目的焦点。此次盛会汇聚了全球金融、区块链及不动产领域的…...
神经符号混合与跨模态对齐:Manus AI如何重构多语言手写识别的技术边界
在全球化数字浪潮下,手写识别技术长期面临"巴别塔困境"——人类书写系统的多样性(从中文象形文字到阿拉伯语连写体)与个体书写风格的随机性,构成了人工智能难以逾越的双重壁垒。传统OCR技术在处理多语言手写场景时,准确率往往不足70%,特别是在医疗处方、古代文…...

学习整理在centos7上安装mysql8.0版本教程
学习整理在centos7上安装mysql8.0版本教程 查看linux系统版本下载mysql数据库安装环境检查解压mysql安装包创建MySQL需要的目录及授权新增用户组新增组用户配置mysql环境变量编写MySQL配置文件初始化数据库初始化msyql服务启动mysql修改初始化密码配置Linux 系统服务工具,使My…...
Kubernetes 节点 Not Ready 时 Pod 驱逐机制深度解析(下)
#作者:邓伟 文章目录 三、深度解析:源码逻辑与调优策略四、常见问题与排查五、最新动态与技术演进总结 三、深度解析:源码逻辑与调优策略 TaintManager 核心源码逻辑 (1)参数定义(kube-controller-manage…...

SIEMENS PLC程序解读 -BLKMOV (指定长度数据批量传输)
1、程序代码 2、程序解读 这段西门子 PLC 程序(程序段 10)实现了基于条件的数据块移动功能,具体解释如下: 条件触点: %M0.1 Always<>(TRUE)(注释为 AT<>1):当 M0.1 的值…...

初识HashMap
HashMap:无序,不重复,无索引 HashMap小练习: import java.text.ParseException; import java.util.*; import java.util.function.BiConsumer; import java.util.function.Consumer;import static java.lang.Math.abs;public cla…...

隧道高清晰广播如何提升行车安全体验?
在隧道中行驶时,驾驶员常面临回声干扰、语音模糊、信息过载等问题,传统广播系统可能不仅未能提供有效信息,反而因噪音增加驾驶压力。高清晰广播通过数字降噪、动态音效优化等技术,显著改善驾驶员的听觉体验,进而提升行…...