Redis6 多线程模型
优质博文:IT-BLOG-CN
一、单线程的优缺点
对于一个请求操作Redis
主要做3
件事情:从客户端读取数据/解析、执行Redis
命令、回写数据给客户端。所以主线程其实就是把所有操作的这3
件事情串行一起执行,因为是基于内存,所以执行速度非常快。
优点&缺点:
【1】优点:不存在锁的竞争问题和避免线程间CPU
的切换。
【2】缺点:单线程无法利用多CPU
和串行操作,某个操作“出问题”会“阻塞”后续操作。
Redis6.0
之前为什么一直不使用多线程?
使用Redis
时,几乎不存在CPU
成为瓶颈的情况,Redis
主要受限于内存和网络。例如:在一个普通的Linux
系统上,Redis
通过使用pipelining
每秒可以处理100W
个请求,如果应该程序主要使用O(N)
或O(log(N))
的命令,它几乎不会占用太多的CPU
。如果要用到多核CPU
,可以搭建多个Redis
实例来解决。
为什么说Redis
的瓶颈不在CPU
?
Redis
绝大部分操作是基于内存的,而且是存KV(key-value)
操作,命令执行的速度非常快。我们可以这么理解:Redis
的数据存储在一个大的HashMap
中,而HashMap
的优势就是查找和写入的时间复杂度都是O(1)
,Redis
内部采用这种结构存储数据,就奠定了Redis
高性能的基础。
二、Redis 的多线程
Redis
基于内存操作,内存的响应时长大约为100
纳秒,单线程的Redis
处理数据的极限是80,000
到100,000 QPS
,对于80%
的公司来说,单线程的Redis
已经足够使用了。
因为网络I/O
在Redis
执行期间占用了大部分CPU
时间,所以把网络I/O
部分单独抽离出来,做成多线程的方式。这里所说的多线程,其实就是将Redis
单线程中做的这两件事情“从客户端读取数据、回写数据给客户端”(也可以称为网络I/O
),处理成多线程的方式,但是“执行Redis
命令”还是在主线程中串行执行,这个逻辑保持不变。
主线程和多个I/O
线程,都同时处理图中的“队列”,是不是会存在锁竞争的关系尼?这里有个巧妙的设计,就是当epoll
获取socket
链接时,会将该事件先全部扔进队列中,比如扔了N
个事件,这时主线程就会处于忙碌状态。然后多个I/O
线程开始去并行进行网络I/O
,并对数据进行协议解析,当队列全部处理完毕后,主线程会对队列中请求串行“执行Redis
命令”,然后清空该队列。所以整个执行流程总结下来:主线程执行请求入队列 -> I/O
线程并行进行网络读 -> 主线程串行执行Redis
命令 -> I/O
线程并行进行网络写 ->主线程清空队列,并接收下一批请求。
Redis 6.0
的多线程是禁用的,默认使用是主线程。官方建议:只在机器至少有4
个内核时才启用多线程模型,且至少留下一个备用内核。如果需要开启多线程需修改redis.conf
配置文件:
io-threads-do-reads yes
开启多线程后,还需要设置线程数,否则是不生效的。同样修改redis.conf
配置文件:
io-threads 3
Redis
官方建议:只在机器至少有4个内核时才启用多线程模型,且至少留下一个备用内核。4
核的机器建议设置为2
或3
个线程,8
核的建议设置为6
个线程,线程数一定要小于机器核数。还需要注意的是,线程数并不是越大越好,官方认为超过了8
个基本就没什么意义了。
三、Redis6 多线程原理解析
近年来底层网络硬件性能越来越好,Redis
的性能瓶颈逐渐体现在网络I/O
的读写上,单个线程处理网络I/O
读写的速度跟不上底层网络硬件执行的速度。
Redis6.0
多线程是把主线程处理网络IO
和协议解析这两件事给了一组独立的线程处理,使得多个socket
读写可以并⾏化,但Redis
命令还是主线程串⾏执⾏。
主要流程如下:
【1】主线程负责接收并建立(多个)连接请求,获取socket
后放入全局等待处理队列;
【2】主线程处理完这些事件之后,通过RR
(Round Robin
轮询)将可读socket
分配给这些IO
线程;
【3】主线程阻塞,等待IO
线程完成命令的读取、解析;
继续使⽤单线程执⾏读写命令,不需要为了保证
Lua
脚本、事务、等开发多线程安全机制,实现更简单。
【4】主线程执⾏IO
线程读取和解析出来的Redis
请求命令,并将结果写到输出缓冲区;
【5】主线程阻塞,等待IO
线程将命令执⾏结果写回socket
(客户端);
【6】主线程执行所有命令并清空整个等待队列,等待客户端后续的请求队列;
三、性能对比
压测配置:
Redis Server
: 阿里云Ubuntu 18.04,8 CPU 2.5 GHZ
, 8G
内存,主机型号ecs.ic5.2xlarge
Redis Benchmark Client
: 阿里云Ubuntu 18.04,8 2.5 GHZ CPU
, 8G
内存,主机型号ecs.ic5.2xlarge
压测命令: redis-benchmark -h 192.168.0.49 -a foobared -t set,get -n 1000000 -r 100000000 --threads 4 -d ${datasize} -c 256
从上面可以看到GET/SET
命令在4
线程IO
时性能相比单线程是几乎是翻倍了。另外,这些数据只是为了简单验证多线程IO
是否真正带来性能优化,并没有针对严谨的延时控制和不同并发的场景进行压测。数据仅供验证参考而不能作为线上指标,且只是目前的unstble
分支的性能,不排除后续发布的正式版本的性能会更好。
相关文章:

Redis6 多线程模型
优质博文:IT-BLOG-CN 一、单线程的优缺点 对于一个请求操作Redis主要做3件事情:从客户端读取数据/解析、执行Redis命令、回写数据给客户端。所以主线程其实就是把所有操作的这3件事情串行一起执行,因为是基于内存,所以执行速度非…...

Python的异步编程
什么是协程? 协程不是计算机系统提供,程序员人为创造。 协程也可以被称为微线程,是一种用户态内的上下文切换技术。简而言之,其实就是通过一个线程实现代码块相互切换执行。 实现协程有那么几种方法: greenlet&…...

初识Linux · 进程等待
目录 前言: 进程等待是什么 为什么需要进程等待 进程等待都在做什么 前言: 通过上文的学习,我们了解了进程终止,知道终止是在干什么,终止的三种情况,以及有了退出码,错误码的概念ÿ…...

面向对象建模
UML 关系 UML 关系主要有:依赖、关联、聚合、组合、实现、继承。 类图 #mermaid-svg-jcAjcVcPmgmWDpcI {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-jcAjcVcPmgmWDpcI .error-icon{fill:#552222;}#m…...

MetaJUI v0.4 遇到的一些问题及解决办法记录
1、Unity3d 版本 2022.3.29f1。 2、MetaJUI v0.4 的下载,https://download.csdn.net/download/xingchengaiwei/89334848 3、将MetaJUI v0.4解压,用Unity3d 打开项目,会出现如下问题,按照图中提示操作即可。 4、打开工程后会出现…...

从零开始学习OMNeT++系列第二弹——新建一个OMNeT++的工程
上一篇第一弹介绍了OMNeT是什么以及如何安装OMNeT,现在来说一下如何新建一个自己的OMNeT的工程。 在 Omnet安装完成后,samples/tictoc 中有该例子的完整文件,你可以立刻运行该文件看他是怎么工作的,不过更推荐按接下来的步骤一步…...

【Android】布局优化—include,merge,ViewStub的使用方法
引言 1.重要性 在Android应用开发中,布局是用户界面的基础。一个高效的布局不仅能提升用户体验,还能显著改善应用的性能。随着应用功能的复杂性增加,布局的优化变得尤为重要。优化布局能够减少渲染时间,提高响应速度,…...

传奇外网架设教程带图文解说—Gee引擎
架设前准备工作: ①通过百度网盘下载版本、补丁、客户端和DBC2000。版本解压到D盘,客户端解压到D盘或是E盘,补丁先不解压 ②安装和配置DBC2000,有些版本不一定用的是DBC2000数据库,看引擎默认的数据库是哪个 DBC数据…...

MySQL | excel数据输出insert语句
需求 在日常生产运维过程中,有很多需要进行人工梳理的excel数据,到了研发这一侧需要转为sql语句进行数据修正,如何输出insert插入语句? 方案 在空白列插入,选择需要的列 "INSERT INTO tab_name1 (name, desc) …...

足球青训俱乐部管理:Spring Boot技术驱动
摘 要 随着社会经济的快速发展,人们对足球俱乐部的需求日益增加,加快了足球健身俱乐部的发展,足球俱乐部管理工作日益繁忙,传统的管理方式已经无法满足足球俱乐部管理需求,因此,为了提高足球俱乐部管理效率…...

一次实践:给自己的手机摄像头进行相机标定
文章目录 1. 问题引入2. 准备工作2.1 标定场2.2 相机拍摄 3. 基本原理3.1 成像原理3.2 畸变校正 4. 标定解算4.1 代码实现4.2 详细解析4.2.1 解算实现4.2.2 提取点位 4.3 解算结果 5. 问题补充 1. 问题引入 不得不说,现在的计算机视觉技术已经发展到足够成熟的阶段…...

【docker学习】Linux系统离线方式安装docker环境方法
centos7-linux安装docker(离线方式) 下载docker的安装文件 https://download.docker.com/linux/static/stable/x86_64/ 下载的是:docker-18.06.3-ce.tgz 这个压缩文件 将docker-18.06.3-ce.tgz文件上传到centos7-linux系统上,用ftp工具上传即可 解压…...

vscode开发uniapp安装插件指南
安装vuets的相关插件 首先是vue的相关插件,目前2024年9月应该是vue-offical 安装uniapp开发插件 uni-create-view :快速创建 uni-app 页面 安装uni-create-view之后修改插件拓展设置 勾选第一个选择创建视图时创建同名文件夹 选择第二个创建文件夹中生…...

Elasticsearch7.7.1集群不能相互发现的问题解决以及Elasticsearch7.7.1安装analysis-ik中文分词插件的应用
一、Elasticsearch7.7.1集群不能相互发现的问题解决 在使用elasticsearch7.7.1搭建集群,使用了3台服务器作为节点,但在搭建的过程中发现每台服务器的elasticsearch服务都正常,但是不能相互发现,期间进行了一些配置的修改偶尔出现了…...
蓝牙Mesh介绍
蓝牙Mesh(Bluetooth Mesh)是一种基于蓝牙技术的无线通信网络拓扑,用于在设备之间创建大规模的多点到多点网络。蓝牙Mesh网络可以让多个蓝牙设备相互通信和协作,适合需要高覆盖范围和高可靠性的场景,例如智能家居、工业…...

Qt 窗口中鼠标点击事件的坐标探讨
// 鼠标点击事件 void Widget::mousePressEvent(QMouseEvent *event) {/*event->pos()、event->windowPos()和event->localPos()都表示鼠标点击位置在窗口中的位置,它们的值都是一样的,区别在于event->pos()是QPoint类型,event-&…...
服务器虚拟化的全面指南
1. 引言 在数字化转型的浪潮中,服务器虚拟化成为现代IT基础设施的核心组成部分。它通过将物理服务器资源分割成多个虚拟资源,极大地提高了资源利用率和灵活性。本篇文章将深入探讨服务器虚拟化的概念、优势、挑战、技术工具、最佳实践及未来发展趋势。 …...

Linux启动mysql报错
甲方公司意外停电,所有服务器重启后,发现部署在Linux上的mysql数据库启动失败.再加上老员工离职,新接手项目,对Linux系统了解不多,解决起来用时较多,特此记录。 1.启动及报错 1.1 启动语句1 启动语句1&a…...

基于大数据的二手房价数据可视化系统
作者:计算机学姐 开发技术:SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等,“文末源码”。 专栏推荐:前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏:…...

C++模拟实现vector容器【万字模拟✨】
更多精彩内容..... 🎉❤️播主の主页✨😘 Stark、-CSDN博客 本文所在专栏: 学习专栏C语言_Stark、的博客-CSDN博客 项目实战C系列_Stark、的博客-CSDN博客 数据结构与算法_Stark、的博客-CSDN博客 座右铭:梦想是一盏明灯ÿ…...

Unity3D中Gfx.WaitForPresent优化方案
前言 在Unity中,Gfx.WaitForPresent占用CPU过高通常表示主线程在等待GPU完成渲染(即CPU被阻塞),这表明存在GPU瓶颈或垂直同步/帧率设置问题。以下是系统的优化方案: 对惹,这里有一个游戏开发交流小组&…...

Python:操作 Excel 折叠
💖亲爱的技术爱好者们,热烈欢迎来到 Kant2048 的博客!我是 Thomas Kant,很开心能在CSDN上与你们相遇~💖 本博客的精华专栏: 【自动化测试】 【测试经验】 【人工智能】 【Python】 Python 操作 Excel 系列 读取单元格数据按行写入设置行高和列宽自动调整行高和列宽水平…...

Redis相关知识总结(缓存雪崩,缓存穿透,缓存击穿,Redis实现分布式锁,如何保持数据库和缓存一致)
文章目录 1.什么是Redis?2.为什么要使用redis作为mysql的缓存?3.什么是缓存雪崩、缓存穿透、缓存击穿?3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

Cinnamon修改面板小工具图标
Cinnamon开始菜单-CSDN博客 设置模块都是做好的,比GNOME简单得多! 在 applet.js 里增加 const Settings imports.ui.settings;this.settings new Settings.AppletSettings(this, HTYMenusonichy, instance_id); this.settings.bind(menu-icon, menu…...

uniapp微信小程序视频实时流+pc端预览方案
方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度WebSocket图片帧定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐RTMP推流TRTC/即构SDK推流❌ 付费方案 (部分有免费额度&#x…...

C++ 求圆面积的程序(Program to find area of a circle)
给定半径r,求圆的面积。圆的面积应精确到小数点后5位。 例子: 输入:r 5 输出:78.53982 解释:由于面积 PI * r * r 3.14159265358979323846 * 5 * 5 78.53982,因为我们只保留小数点后 5 位数字。 输…...
Mobile ALOHA全身模仿学习
一、题目 Mobile ALOHA:通过低成本全身远程操作学习双手移动操作 传统模仿学习(Imitation Learning)缺点:聚焦与桌面操作,缺乏通用任务所需的移动性和灵活性 本论文优点:(1)在ALOHA…...

视觉slam十四讲实践部分记录——ch2、ch3
ch2 一、使用g++编译.cpp为可执行文件并运行(P30) g++ helloSLAM.cpp ./a.out运行 二、使用cmake编译 mkdir build cd build cmake .. makeCMakeCache.txt 文件仍然指向旧的目录。这表明在源代码目录中可能还存在旧的 CMakeCache.txt 文件,或者在构建过程中仍然引用了旧的路…...

如何在Windows本机安装Python并确保与Python.NET兼容
✅作者简介:2022年博客新星 第八。热爱国学的Java后端开发者,修心和技术同步精进。 🍎个人主页:Java Fans的博客 🍊个人信条:不迁怒,不贰过。小知识,大智慧。 💞当前专栏…...
机器学习的数学基础:线性模型
线性模型 线性模型的基本形式为: f ( x ) ω T x b f\left(\boldsymbol{x}\right)\boldsymbol{\omega}^\text{T}\boldsymbol{x}b f(x)ωTxb 回归问题 利用最小二乘法,得到 ω \boldsymbol{\omega} ω和 b b b的参数估计$ \boldsymbol{\hat{\omega}}…...