当前位置: 首页 > news >正文

Redis的大key

什么是 redis 的大 key

  • redis 的大 key 不是指存储在 redis 中的某个 key 的大小超过一定的阈值,而是该 key 所对应的 value 过大
  • 对于 string 类型来说,一般情况下超过 10KB 则认为是大 key;对于set、zset、hash 等类型来说,一般数据超过5000条即认为是大 key

redis 大 key 的场景

  • 在抖音直播中,某个头部主播当前有很多正在观看的用户,假如有这样的数据结构:
    • 直播间和观看用户之间的映射关系采用 redis 存储
    • redis 的 key 是直播间id,长度可控且很小
    • redis 的 value 是个 list,list 包含直播间里面所有用户
    • 用户可能很多,就导致 list 长度不可控

大 key 带来的问题

  • redis 内存不断变大引发 OOM,或达到 maxmemory 设置值引发写阻塞或重要 key 被逐出
  • redis cluster 中的某个 node 内存远超其余 node,但因 redis cluster 的数据迁移最小粒度为 key 而无法将 node 上的内存均衡化
  • 大 key 上的读请求使 redis 占用服务器全部带宽,自身变慢的同时影响到该服务器上的其它服务
  • 删除一个大 key 造成主库较长时间的阻塞并引发同步中断或主从切换

如何查找大 key

  • 使用命令 bigkeys
    • bigkeys 是 redis 自带的命令,对整个 key 进行扫描,统计 string,list,set,zset,hash 这几个常见数据类型中每种类型里的最大的 key,会造成线程阻塞
    • string 类型统计的是 value 的字节数
    • 另外 4 种复杂结构的类型统计的是元素个数,不能直观的看出 value 占用字节数
    • bigkeys 对分析 string 类型的大 key 是有用的,复杂结构的类型还需要一些第三方工具

  • 使用 memory 命令查看 key 的大小(仅支持 redis 4.0 以后的版本)
    • memory usage keyname

  • 使用 rdb tools 工具包
    • rdbtools 是 python写的 一个第三方开源工具,用来解析 redis 快照文件
    • 除了解析 rdb 文件,还提供了统计单个 key 大小的工具
    • https://github.com/sripathikrishnan/redis-rdb-tools

如何解决大 key

如何存储大 key

  • 数据结构优化
    优化 redis 的数据结构,使用合适的数据结构来存储数据,避免出现 redis 大 key 的情况

  • 数据分片
    将大量数据分片存储到多个 key 中,避免单个 key 的数据量过大

  • 压缩数据
    对于存储的大数据,可以采用压缩算法来减少数据的大小,redis支持多种压缩算法,如 LZF、Snappy 等

  • 分布式存储
    将数据分散到多个 redis 实例中,避免单个 redis 实例存储过多数据导致 redis 大 key 的问题

  • 清理过期数据
    及时清理过期数据,避免数据堆积,导致 redis 大 key 的问题

如何删除大 key

  • 在系统低峰期,直接使用 del 命令删除 (会造成线程阻塞)
  • 使用 scan 命令删除 (会造成线程阻塞)
  • 使用 unlink 异步删除

相关文章:

Redis的大key

什么是 redis 的大 key redis 的大 key 不是指存储在 redis 中的某个 key 的大小超过一定的阈值,而是该 key 所对应的 value 过大对于 string 类型来说,一般情况下超过 10KB 则认为是大 key;对于set、zset、hash 等类型来说,一般…...

MMPretrain

title: mmpretrain实战 date: 2023-06-07 16:04:01 tags: [image classification,mmlab] mmpretrain实战 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ccTl9bOl-1686129437336)(null)] 主要讲解了安装,还有使用教程.安装教程直接参考官网.下面讲…...

栈和队列(数据结构刷题)[一]-python

文章目录 前言一、原理介绍二、用栈实现队列1.操作2.思路 三、关于面试考察栈里面的元素在内存中是连续分布的么? 前言 提到栈和队列,大家可能对它们的了解只停留在表面,再深入一点,好像知道又好像不知道的感觉。本文我将从底层实…...

【备战秋招】JAVA集合

集合 前言 一方面, 面向对象语言对事物的体现都是以对象的形式,为了方便对多个对象 的操作,就要 对对象进行存储。 另一方面,使用Array存储对象方面具有一些弊端,而Java 集合就像一种容器,可以动态地把多…...

setState详解

this. setState( [partialState], [callback]) 1.[partialState] :支持部分状态更改 this, setState({ x:100 //不论总共有多少状态,我们只修改了x,其余的状态不动 });callback :在状态更改/视图更新完毕后触发执行,也可以说只要执行了setS…...

Qt5.12.6配置Android Arm开发环境(windows)

1. 安装jdk1.8 2.安装Android Studio 并安装 SDK 与NDK SDK Tools 选择 26.0.3 SDK Platform 选择 Android SDK Platform 26 NDK选择19版本 安卓ARM环境配置成功如下: JDK1.8 , SDK 26 , NDK 19 在安装QT时要选择 ARMv7(32位CPU)与ARM64-v8a(64位CPU) 选择支持android平台…...

七、进程程序替换

文章目录 一、进程程序替换(一)概念(二)为什么程序替换(三)程序替换的原理(四)如何进行程序替换1. execl2. 引入进程创建——子进程执行程序替换,会不会影响父进程呢? &…...

C++核心编程——详解运算符重载

文章目录&#x1f4ac; 一.运算符重载基础知识①基本概念②运算符重载的规则③运算符重载形式④运算符重载建议 二.常用运算符重载①左移(<<)和右移(>>)运算符重载1️⃣重载后函数参数是什么&#xff1f;2️⃣重载的函数返回类型是什么&#xff1f;3️⃣重载为哪种…...

2023年前端面试汇总-CSS

1. CSS基础 1.1. CSS选择器及其优先级 对于选择器的优先级&#xff1a; 1. 标签选择器、伪元素选择器&#xff1a;1&#xff1b; 2. 类选择器、伪类选择器、属性选择器&#xff1a;10&#xff1b; 3. id 选择器&#xff1a;100&#xff1b; 4. 内联样式&#xff1a;1000&a…...

Java调用Pytorch实现以图搜图(附源码)

Java调用Pytorch实现以图搜图 设计技术栈&#xff1a; 1、ElasticSearch环境&#xff1b; 2、Python运行环境&#xff08;如果事先没有pytorch模型时&#xff0c;可以用python脚本创建模型&#xff09;&#xff1b; 1、运行效果 2、创建模型&#xff08;有则可以跳过&#xf…...

【EasyX】实时时钟

目录 实时时钟1. 绘制静态秒针2. 秒针的转动3. 根据实际时间转动4. 添加时针和分针5. 添加表盘刻度 实时时钟 本博客介绍利用EasyX实现一个实时钟表的小程序&#xff0c;同时学习时间函数的使用。 本文源码可从github获取 1. 绘制静态秒针 第一步定义钟表的中心坐标center&a…...

基于XC7Z100的PCIe采集卡(GMSL FMC采集卡)

GMSL 图像采集卡 特性 ● PCIe Gen2.0 X8 总线&#xff1b; ● 支持V4L2调用&#xff1b; ● 1路CAN接口&#xff1b; ● 6路/12路 GMSL1/2摄像头输入&#xff0c;最高可达8MP&#xff1b; ● 2路可定义相机同步触发输入/输出&#xff1b; 优势 ● 采用PCIe主卡与FMC子…...

Kibana:使用 Kibana 自带数据进行可视化(一)

在今天的练习中&#xff0c;我们将使用 Kibana 自带的数据来进行一些可视化的展示。希望对刚开始使用 Kibana 的用户有所帮助。 前提条件 如果你还没有安装好自己的 Elastic Stack&#xff0c;你可以参考如下的视频来开启 Elastic Stack 并进行下面的练习。你可以开通阿里云检…...

MySQL数据库基础 07

第七章 单行函数 1. 函数的理解1.1 什么是函数1.2 不同DBMS函数的差异1.3 MySQL的内置函数及分类 2. 数值函数2.1 基本函数2.2 角度与弧度互换函数2.3 三角函数2.4 指数与对数2.5 进制间的转换 3. 字符串函数4. 日期和时间函数4.1 获取日期、时间 4.2 日期与时间戳的转换 4.3 获…...

JVM | JVM垃圾回收

JVM | JVM垃圾回收 1、堆空间的基本结构2、内存分配和回收原则2.1、对象优先在 Eden 区分配2.2、大对象直接进入老年代2.3、长期存活的对象将进入老年代2.4、主要进行 gc 的区域2.5、空间分配担保3、死亡对象判断方法3.1、引用计数法3.2、可达性分析算法3.3、引用类型总结3.4、…...

avive零头撸矿

Avive 是一个透明的、自下而上替代自上而下的多元网络&#xff0c;旨在克服当前生态系统的局限性&#xff0c;实现去中心化社会。 aVive&#xff1a;一个基于 SBT 和市场的 deSoc&#xff0c;它使 dapps 能够与分散的位置 oracle 和 SBT 关系进行互操作。您的主权社交网络元宇宙…...

openGauss5.0之学习环境 Docker安装

文章目录 0.前言1. 准备软硬件安装环境1.1 软硬件环境要求1.2 修改操作系统配置1.2.1 关闭操作系统防火墙 1.3 设置字符集参数1.4 设置时区和时间&#xff08;可选&#xff09;关闭swap交换内存1.5 关闭RemoveIPC1.6 关闭HISTORY记录 2. 容器安装2. 1支持的架构和操作系统版本2…...

数据可视化大屏人员停留系统的开发实录(默认加载条件筛选、单击加载、自动刷新加载、异步加载数据)

项目需求 录入进入房间的相关数据&#xff1b;从进入时间开始计时&#xff0c;计算滞留房间的时间&#xff1b;定时刷新数据&#xff0c;超过30分钟的人数&#xff0c;进行红色告警&#xff1b; 实现流程 为了完整地实现上述需求&#xff0c;我们可以按照以下步骤开发&#…...

【Linux】-关于调试器gdb的介绍和使用

作者&#xff1a;小树苗渴望变成参天大树 作者宣言&#xff1a;认真写好每一篇博客 作者gitee:gitee 如 果 你 喜 欢 作 者 的 文 章 &#xff0c;就 给 作 者 点 点 关 注 吧&#xff01; 文章目录 前言一、Linux中的debug和release二、gdb的使用**1.进入调试****2.显示代码*…...

项目开发经验

hadoop 1.namenode中有专门的工作线程池用于处理与datanode的心跳信号 dfs.namenode.handler.count20 * log2(Clust 2.编辑日志存储路径 dfs.namenode.edits.dir 设置与镜像文件存储路径 dfs.namenode分开存放&#xff0c;可以达到提高并发 3.yarn参数调优&#xff0c;单个服…...

微信视频下载器wx_channels_download

微信视频下载器ltaoo/wx_channels_download&#xff08;跨平台轻量首选&#xff09; 特点&#xff1a;体积小、使用简单&#xff0c;在微信PC端视频下方添加“下载”按钮&#xff1b;支持 macOS 和 Windows。优点&#xff1a;集成式&#xff08;无需单独监听&#xff09;&…...

[具身智能-680]:ROS2 可视化与调试工具与示例

按日常开发必用分类&#xff0c;每条可直接复制运行&#xff0c;新手也能马上上手。一、3D 可视化工具1. rviz2&#xff08;核心 3D 可视化&#xff09;功能查看&#xff1a;机器人模型、激光雷达、点云、地图、TF 坐标、导航路径、相机图像、机械臂、代价地图等。启动bash运行…...

从ADI收购LTC看电源管理趋势:软件定义电源与能量收集技术解析

1. 从一笔天价收购案&#xff0c;看电源管理技术的未来十年2016年&#xff0c;模拟芯片行业发生了一场地震级的并购&#xff1a;模拟巨头亚德诺半导体&#xff08;Analog Devices Inc., ADI&#xff09;以148亿美元的天价&#xff0c;收购了以高性能模拟芯片闻名的凌力尔特&…...

图解人工智能(7)图灵-人工智能之父

图灵对人工智能这门学科做出了哪些贡献&#xff1f;这些贡献对于人工智能这门科学有什么重要意义&#xff1f;图灵提出图灵机模型&#xff0c;为人工智能准备了工具; 提出智能机器设想&#xff0c;奠定了人工智能的思想基础&#xff1b;提出图灵测试&#xff0c;为评估人工智能…...

JEB Pro 5.40 (macOS, Linux, Windows) - Android 反编译器和调试器

JEB Pro 5.40 (macOS, Linux, Windows) - 逆向工程平台 Reverse Engineering for Professionals. 请访问原文链接&#xff1a;https://sysin.org/blog/jeb/ 查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;sysin.org JEB Decompiler JEB 是逆向工程…...

重庆优质小程序开发性价比优选推荐

在重庆&#xff0c;随着小程序开发市场的迅速发展&#xff0c;企业面临着众多选择。为了确保项目的成功、选择一家靠谱的小程序开发公司成为核心。这些公司能够提供高质量的服务市场需求、为企业量身定制解决方案。分析各家公司在服务质量和技术实力上的差异合作伙伴。另外&…...

D2DX终极指南:让《暗黑破坏神2》在现代PC上重获新生的Glide封装器

D2DX终极指南&#xff1a;让《暗黑破坏神2》在现代PC上重获新生的Glide封装器 【免费下载链接】d2dx D2DX is a complete solution to make Diablo II run well on modern PCs, with high fps and better resolutions. 项目地址: https://gitcode.com/gh_mirrors/d2/d2dx …...

别再只调API了!微信支付Native/JSAPI开发中,订单号生成与回调处理的5个实战避坑点

微信支付开发实战&#xff1a;订单与回调的五个关键陷阱与解决方案 在移动支付领域&#xff0c;微信支付作为主流平台之一&#xff0c;其开发文档看似详尽&#xff0c;但实际落地时仍存在诸多"暗坑"。许多开发者过度关注支付接口调用本身&#xff0c;却忽视了订单生成…...

用TensorFlow 2.2复现Deep Biaffine Attention:一个在Colab上跑通的依存解析实战教程

用TensorFlow 2.2复现Deep Biaffine Attention&#xff1a;一个在Colab上跑通的依存解析实战教程 依存句法解析是自然语言处理中的核心任务之一&#xff0c;它通过分析句子中词语之间的修饰关系&#xff0c;构建句子的语法结构树。近年来&#xff0c;基于神经网络的依存解析方法…...

前端状态管理:主流状态管理库对比与选型指南

前端状态管理&#xff1a;主流状态管理库对比与选型指南 前言 状态管理是前端开发中的核心问题。随着应用复杂度的增加&#xff0c;选择一个合适的状态管理库变得越来越重要。今天我就来给大家对比一下目前主流的状态管理库&#xff0c;帮助你做出最佳选择。 主流状态管理库概览…...