【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 时间事件处理部分)
揭秘高效存储模型与数据结构底层实现
- 【专栏简介】
- 【技术大纲】
- 【专栏目标】
- 【目标人群】
- 1. Redis爱好者与社区成员
- 2. 后端开发和系统架构师
- 3. 计算机专业的本科生及研究生
- 时间事件:serverCron函数
- 更新服务器时间缓存
- 更新LRU时钟-lruclock
- 更新服务器每秒执行命令次数-instantaneous_ops_per_sec
- getoperationsPerSecond
- 更新服务器内存峰值记录-stat_peak_memory
- INFO memory
- 处理SIGTERM信号
- 管理客户端资源
- 执行被延迟的BGREWRITEAOF
- 检查持久化操作的运行状态
【专栏简介】
随着数据需求的迅猛增长,持久化和数据查询技术的重要性日益凸显。关系型数据库已不再是唯一选择,数据的处理方式正变得日益多样化。在众多新兴的解决方案与工具中,Redis凭借其独特的优势脱颖而出。
【技术大纲】
为何Redis备受瞩目?原因在于其学习曲线平缓,短时间内便能对Redis有初步了解。同时,Redis在处理特定问题时展现出卓越的通用性,专注于其擅长的领域。深入了解Redis后,您将能够明确哪些任务适合由Redis承担,哪些则不适宜。这一经验对开发人员来说是一笔宝贵的财富。
在这个专栏中,我们将专注于Redis的6.2版本进行深入分析和介绍。Redis 6.2不仅是我个人特别偏爱的一个版本,而且在实际应用中也被广泛认为是稳定性和性能表现都相当出色的版本。
【专栏目标】
本专栏深入浅出地传授Redis的基础知识,旨在助力读者掌握其核心概念与技能。深入剖析了Redis的大多数功能以及全部多机功能的实现原理,详细展示了这些功能的核心数据结构和关键算法思想。读者将能够快速且有效地理解Redis的内部构造和运作机制,这些知识将助力读者更好地运用Redis,提升其使用效率。
将聚焦于Redis的五大数据结构,深入剖析各种数据建模方法,并分享关键的管理细节与调试技巧。
【目标人群】
Redis技术进阶之路专栏:目标人群与受众对象,对于希望深入了解Redis实现原理底层细节的人群。
1. Redis爱好者与社区成员
Redis技术有浓厚兴趣,经常参与社区讨论,希望深入研究Redis内部机制、性能优化和扩展性的读者。
2. 后端开发和系统架构师
在日常工作中经常使用Redis作为数据存储和缓存工具,他们在项目中需要利用Redis进行数据存储、缓存、消息队列等操作时,此专栏将为他们提供有力的技术支撑。
3. 计算机专业的本科生及研究生
对于学习计算机科学、软件工程、数据分析等相关专业的在校学生,以及对Redis技术感兴趣的教育工作者,此专栏可以作为他们的学习资料和教学参考。
无论是初学者还是资深专家,无论是从业者还是学生,只要对Redis技术感兴趣并希望深入了解其原理和实践,都是此专栏的目标人群和受众对象。
让我们携手踏上学习Redis的旅程,探索其无尽的可能性!
时间事件:serverCron函数
Redis服务器运行体系中,serverCron
函数作为关键的周期性任务执行单元,以默认每100毫秒一次的频率循环运作。该函数肩负着服务器资源调配与维护的重任,是保障Redis服务稳健运行的核心组件。
下文将系统阐述serverCron
函数的具体执行流程,同时深入解析redisServer
结构(即服务器状态)中与serverCron
函数紧密关联的各项属性。
更新服务器时间缓存
Redis服务器中有不少功能需要获取系统的当前时间,而每次获取系统的当前时间都需要执行一次系统调用,为了减少系统调用的执行次数,服务器状态中的unixtime
属性和mstime
属性被用作当前时间的缓存:
struct redisServer{//保存了秒级精度的系统当前Unix时间戳time_t unixtime;//保存了毫秒级精度的系统当前Unix时间戳long long mstime;
};
因为serverCron
函数默认会以每l00毫秒一次的频率更新unixtime
属性和mstime
属性,所以这两个属性记录的时间的精确度并不高:
- 缓存主要用于场景:服务器只会在打印日志、更新服务器的LRU时钟、**决定是否执行持久化任务、**计算服务器上线时间(uptime)这类对时间精确度要求不高的功能上。
对于为键设置过期时间、添加慢查询日志这种需要高精确度时间的功能来说,服务器还是会再次执行系统调用,从而获得最准确的系统当前时间。
更新LRU时钟-lruclock
服务器状态中的lruclock
属性保存了服务器的LRU时钟,这个属性和上面介绍的unixtime
属性、mstime
属性一样,都是服务器时间缓存的一种:
struct redisServer//默认每10秒更新一次的时钟缓存,//用于计算键的空转(idle)时长。unsigned lruclock:22;
};
每个Redis对象都会有一个lru
属性,这个lru
属性保存了对象最后一次被命令访问的时间:
typedef struct redisobject{unsigned lru:22;
} robj;
当服务器要计算一个数据库键的空转时间(也即是数据库键对应的值对象的空转时间),程序会用服务器的lruclock
属性记录的时间减去对象的lru
属性记录的时间,得出的计算结果就是这个对象的空转时间:
redis>SET msg "hello world"
OK# 等待一小段时间
redis>OBJECT IDLETIME msg
(integer)20# 等待一阵子
redis>OBJECT IDLETIME msg
(integer)180# 访问msg键的值
redis>GET msg
"hello world# 键处于活跃状态,空转时长为0
redis>OBJECT IDLETIME msg
(integer)0
serverCron
函数默认会以每10秒一次的频率更新lruclock
属性的值,因为这个时钟不是实时的,所以根据这个属性计算出来的LRU时间实际上只是一个模糊的估算值。
lruclock
时钟的当前值可以通过INFO server命令的lruclock域查看:
redis>INFO server
# Server
lruclock:55923
更新服务器每秒执行命令次数-instantaneous_ops_per_sec
serverCron
函数里,trackOperationsPerSecond
函数会按照每100毫秒一次的频率来执行。
此函数借助抽样计算的手段,对服务器在最近一秒内所处理的命令请求数量进行估算,并将其记录下来。该数值能够通过INFO status
命令的instantaneous_ops_per_sec
域查看。
redis>INFO stats
# Stats
instantaneous_ops_per_sec:6
上面的命令结果显示,在最近的一秒钟内,服务器处理了大概6个命令。trackOperationsPerSecond
函数和服务器状态中四个ops_sec开头的属性有关:
struct redisServer{
//上一次进行抽样的时间
long long ops_sec_last_sample_time;
//上一次抽样时,服务器已执行命令的数量
long long ops_sec_last_sample_ops;
//REDIS_OPS_SEC_SAMPLES大小(默认值为16)的环形数组,
//数组中的每个项都记录了一次抽样结果。
long long ops_sec_samples [REDIS_OPS_SEC_SAMPLES];
//ops_sec_samp1es数组的素引值,
//每次抽样后将值自增一,
//在值等于16时重置为0,
//让ops_sec_samples数组构成一个环形数组。
int ops_sec_idx;
- 每次执行
trackOperationsPerSecond
函数时,会依据ops_sec_last_sample_time
记录的上次抽样时刻与服务器当前时间,以及ops_sec_last_sample_ops
记录的上次抽样已执行命令数和当前已执行命令数。算出两次函数调用期间服务器每毫秒处理的命令请求平均数。 - 将该平均值乘以1000,得出服务器每秒处理命令请求的估计值,并将此估计值作为新元素存入ops_sec_samples环形数组中。
getoperationsPerSecond
当客户端执行INFO
命令时,服务器将触发getoperationsPerSecond
函数。该函数依据ops_sec_samples
环形数组内的抽样数据,完成对instantaneous_ops_per_sec
属性值的计算。以下为getoperationsPerSecond
函数的具体实现代码:
long long getoperationsPerSecond(void)(int j;long long sum 0// 计算所有取样值的总和for (j=0;j<REDIS_OPS_SEC_SAMPLES;j++)sum + = server.ops_sec_samples[j];//计算取样的平均值return sum / REDIS_OPS_SEC_SAMPLES;
从getOperationsPerSecond
函数的定义可知,instantaneous_ops_per_sec
属性的值是通过对最近REDIS_OPS_SEC_SAMPLES
次取样结果取平均值而得到的,这一数值属于估算值。
更新服务器内存峰值记录-stat_peak_memory
服务器状态中的stat_peak_memory
属性记录了服务器的内存峰值大小:
struct redisServer{
//已使用内存峰值
size_t stat_peak_memory
}
每次serverCron
函数执行时,程序都会查看服务器当前使用的内存数量,并与stat_peak_memory
保存的数值进行比较,如果当前使用的内存数量比stat_peak_memory
属性记录的值要大,那么程序就将当前使用的内存数量记录到stat_peak_memory
属性里面。
INFO memory
INFO memory
命令的used_memory_peak
和used_memory_peak_human
两个域分别以两种格式记录了服务器的内存峰值:
redis > INFO memory
# Memory
used_memory_peak:541824
used_memory_peak_human:492.06K
处理SIGTERM信号
在启动服务器时,Redis会为服务器进程的SIGTERM
信号关联处理器sigtermHandler
函数,这个信号处理器负责在服务器接到SIGTERM
信号时,打开服务器状态的shutdown_asap
标识:
//SIGTERM信号的处理器
static void sigtermHandler(int sig){//打印日志redisLogFromHandler(REDIS WARNING,"Received SIGTERM,scheduling shutdown...");//打开关闭标识server.shutdown_asap = 1;
}
每次serverCron
函数运行时,程序都会对服务器状态的shutdown_asap属性进行检查,并根据属性的值决定是否关闭服务器:
struct redisServer {//关闭服务器的标识://值为1时,关闭服务器,//值为0时,不做动作。int shutdown_asap;... ...
}
以下展示了服务器在接到SIGTERM信号之后,关闭服务器并打印相关日志的:
[6794 I signal handler](1644435690)Received SIGTERM,scheduling shutdown...
[6794] 14 Nov 21:28:10.108 User requested shutdown...
[6794] 14 Nov 21:28:10.108 Saving the final RDB snapshot before exiting.
[6794] 14 Nov 21:28:10.161 DB saved on disk
[6794] 14 Nov 21:28:10.161 Redisis now ready to exit,bye bye...
从日志里面可以看到,服务器在关闭自身之前会进行RDB持久化操作,这也是服务器拦截SIGTERM信号的原因,如果服务器一接到SIGTERM信号就立即关闭,那么它就没办法执行持久化操作了。
管理客户端资源
serverCron
函数每次执行都会调用clientsCron
函数,clientsCron
函数会对一定数量的客户端进行以下两个检查:
- 若客户端与服务器的连接超时(即长时间无任何交互),程序将释放该客户端。
- 若客户端自上次执行命令请求后,输入缓冲区大小超出规定长度,程序会释放当前输入缓冲区,并重新创建默认大小的输入缓冲区,以此避免输入缓冲区过度占用内存。
执行被延迟的BGREWRITEAOF
在服务器执行BGSAVE命令的期间,如果客户端向服务器发来BGREWRITEAOF命令,那么服务器会将BGREWRITEAOF命令的执行时间延迟到BGSAVE命令执行完毕之后。
服务器的aof_rewrite_scheduled标识记录了服务器是否延迟了BGREWRITEAOF命令:
struct redisServer {// 如果值为1,那么表示有BGREWRITEAOF命令被延迟了int aof_rewrite_scheduled;
};
每次serverCron
函数执行时,函数都会检查BGSAVE
命令或者BGREWRITEAOF
命令是否正在执行,如果这两个命令都没在执行,并且aof_rewrite_scheduled
属性的值为1,那么服务器就会执行之前被推延的BGREWRITEAOF
命令。
检查持久化操作的运行状态
服务器状态使用rdb_child_pid
属性和aof_child_pid
属性记录执行BGSAVE命令和BGREWRITEAOF命令的子进程的D,这两个属性也可以用于检查BGSAVE命令或者BGREWRITEAOF命令是否正在执行:
struct redisServer{//记录执行BGSAVE命令的子进程的ID://如果服务器没有在执行BGSAVE,//那么这个属性的值为-1。pid t rdb_child_pid;/*PID of RDB saving child *///记录执行BGREWRITEAOF命令的子进程的ID://如果限务器没有在执行BGREWRITEAOF,//那么这个属性的值为-1。pid_t aof_child_pid;/*PID if rewriting process */
};
每次serverCron
函数执行时,程序都会检查rdb_child_pid
和aof_child_pid
两个属性的值,只要其中一个属性的值不为-1
,程序就会执行一次wait3
函数,检查子进程是否有信号发来服务器进程:
- 如果有信号到达,那么表示新的RDB文件已经生成完毕(对于BGSAVE命令来说),或者AOF文件已经重写完毕(对于BGREWRITEAOF命令来说),服务器需要进行相应命令的后续操作,比如用新的RDB文件替换现有的RDB文件,或者用重写后的AOF文件替换现有的AOF文件。
- 如果没有信号到达,那么表示持久化操作未完成,程序不做动作。
相关文章:

【Redis技术进阶之路】「原理分析系列开篇」分析客户端和服务端网络诵信交互实现(服务端执行命令请求的过程 - 时间事件处理部分)
揭秘高效存储模型与数据结构底层实现 【专栏简介】【技术大纲】【专栏目标】【目标人群】1. Redis爱好者与社区成员2. 后端开发和系统架构师3. 计算机专业的本科生及研究生 时间事件:serverCron函数更新服务器时间缓存更新LRU时钟-lruclock更新服务器每秒执行命令次…...

【DAY40】训练和测试的规范写法
内容来自浙大疏锦行python打卡训练营 浙大疏锦行 知识点: 彩色和灰度图片测试和训练的规范写法:封装在函数中展平操作:除第一个维度batchsize外全部展平dropout操作:训练阶段随机丢弃神经元,测试阶段eval模式关闭drop…...
C语言 标准I/O函数全面指南
C标准I/O函数全面指南 本指南详细介绍了C语言中用于文件操作的标准输入/输出函数,包括单字符I/O、字符串I/O、格式化I/O、块I/O以及文件光标操作。每个部分包含函数定义、使用说明和实用示例,适合学习、复习以及博客发布。内容采用清晰的Markdown格式&a…...

el-select 实现分页加载,切换也数滚回到顶部,自定义高度
el-select 实现分页加载,切换也数滚回到顶部,自定义高度 1.html <el-form-item label"俱乐部:" prop"club_id" label-width"120px"><el-select :disabled"Boolean(match_id)" style"w…...

Langchaine4j 流式输出 (6)
Langchaine4j 流式输出 大模型的流式输出是指大模型在生成文本或其他类型的数据时,不是等到整个生成过程完成后再一次性 返回所有内容,而是生成一部分就立即发送一部分给用户或下游系统,以逐步、逐块的方式返回结果。 这样,用户…...
Jenkins:自动化流水线的基石,开启 DevOps 新时代
从持续集成到持续交付的全流程自动化工具 一、什么是 Jenkins? Jenkins 是一款开源的 自动化服务器,专注于持续集成(CI)和持续交付(CD)。它通过插件化的架构支持几乎所有的开发、运维和测试工具ÿ…...

学习经验分享【40】目标检测热力图制作
目标检测热力图在学术论文(尤其是计算机视觉、深度学习领域)中是重要的可视化分析工具和论证辅助手段,可以给论文加分不少。主要作用一是增强论文的可解释性与说服力:论文中常需解释模型 “如何” 或 “为何” 检测到目标…...

C#里与嵌入式系统W5500网络通讯(3)
有与W5500通讯时,需要使用下面的寄存器: PHYCFGR (W5500 PHY Configuration Register) [R/W] [0x002E] [0b10111XXX] PHYCFGR configures PHY operation mode and resets PHY. In addition, PHYCFGR indicates the status of PHY such as duplex, Speed, Link. 这张表格详细…...

用OpenNI2获取奥比中光Astra Pro输出的深度图(win,linux arm64 x64平台)
搞了一个奥比中光Astra Pro,想在windows平台,和linux rk3588 (香橙派,ubuntu2404,debian)上获取深度信息,之前的驱动下载已经不好用了,参考如下 Astra 3D相机选型建议 - 知乎https://zhuanlan.zhihu.com/p/594485674 …...

Unity VR/MR开发-VR设备与适用场景分析
视频讲解链接:【XR马斯维】VR/MR设备与适用场景分析?【UnityVR/MR开发教程--入门】_游戏热门视频...

Linux: network: switch:arp cache更新规则 [chatGPT]
文章目录 介绍概念普通包带有不同的mac,是否更新arp cache?普通包带有相同的mac,是否刷新 aging timeswitch是否会主动学习介绍 关于arp cache在switch侧的行为。有很多问题需要理解。 概念 HP L3 - IP Services Configuration Guide 文档里有写:dynamic arp entry的解说…...

Java网络编程API 1
Java中的网络编程API一共有两套:一套是UDP协议使用的API;另一套是TCP协议使用的API。这篇文章我们先来介绍UDP版本的API,并尝试来写一个回显服务器(接收到的请求是什么,返回的响应就是什么)。 UDP数据报套…...
Android协程学习
目录 Android上的Kotlin协程介绍基本概念与简单使用示例协程的高级用法 结构化并发线程调度器(Dispatchers)自定义调度器并发:同步 vs 异步 异步并发(async 并行执行)同步顺序执行协程取消与超时 取消机制超时控制异步数据流 Flow协程间通信 使用 Channel使用 StateFlow /…...
Angular报错:cann‘t bind to ngClass since it is‘t a known property of div
遇到的错误: Cant bind to ngClass since it isnt a known property of div这个错误是 Angular 中 最常见的模板编译错误之一,通常出现在你试图使用 ngClass 指令,但 Angular 没有识别它的情况下。 ✅ 错误的根本原因 Angular 不知道 ngCla…...
uniapp+vue3实现CK通信协议(基于jjc-tcpTools)
1. TCP 服务封装 (tcpService.js) export class TcpService {constructor() {this.connections uni.requireNativePlugin(jjc-tcpTools)this.clients new Map() // 存储客户端连接this.servers new Map() // 存储服务端实例}// 创建 TCP 服务端 (字符串模式)createStringSe…...
Python爬虫实战:研究urlparse库相关技术
1 引言 1.1 研究背景与意义 网络爬虫作为互联网数据采集的核心技术,在信息检索、舆情分析、数据挖掘等领域具有广泛应用。随着 Web 技术的发展,现代网站 URL 结构日益复杂,包含路径参数、查询参数、锚点等多种组件,且存在相对路径、URL 编码等问题,给爬虫开发带来了挑战…...
解锁FastAPI与MongoDB聚合管道的性能奥秘
title: 解锁FastAPI与MongoDB聚合管道的性能奥秘 date: 2025/05/20 20:24:47 updated: 2025/05/20 20:24:47 author: cmdragon excerpt: MongoDB聚合管道是一种分阶段处理数据的流水线,通过$match、$group等阶段对文档进行特定操作,具有内存优化和原生操…...
软件工程方法论:在确定性与不确定性的永恒之舞中寻找平衡
更多精彩请访问:通义灵码2.5——基于编程智能体开发Wiki多功能搜索引擎-CSDN博客 当我们谈论“软件工程”时,“工程”二字总暗示着某种如桥梁建造般的精确与可控。然而,软件的本质却根植于人类思维的复杂性与需求的流变之中。软件工程方法论的…...
Unity中的MonoSingleton<T>与Singleton<T>
1.MonoSingleton 代码部分 using UnityEngine;/// <summary> /// MonoBehaviour单例基类 /// 需要挂载到GameObject上使用 /// </summary> public class MonoSingleton<T> : MonoBehaviour where T : MonoSingleton<T> {private static T _instance;…...
怎么通过 jvmti 去 hook java 层函数
使用 JVMTI 手动实现 Android Java 函数 Hook 要通过 JVMTI 手动实现 Android Java 函数 Hook,需要编写 Native 层代码并注入到目标进程中。以下是详细步骤和示例: 一、核心实现原理 JVMTI 提供两种主要 Hook 方式: Method Entry/Exit 事…...

兰亭妙微 | 医疗软件的界面设计能有多专业?
从医疗影像系统到手术机器人控制界面,从便携式病原体检测设备到多平台协同操作系统,兰亭妙微为众多医疗设备研发企业,打造了兼具专业性与可用性的交互界面方案。 我们不仅做设计,更深入理解医疗场景的实际需求: 对精…...

前端原生构建交互式进度步骤组件(Progress Steps)
在现代网页设计中,进度步骤(Progress Steps) 是一种常见的 UI 模式,常用于引导用户完成注册流程、多步表单、教程或任何需要分步骤操作的场景。本文将带你从零开始构建一个美观且功能完整的 “进度步骤”组件,并详细讲…...
如何给windos11 扩大C盘容量
动不动C盘就慢了,苹果逼着用户换手机,三天两头更新系统,微软也是毫不手软。c盘 从10个G就够用,到100G 也不够,看来通货膨胀是部分行业的。 在 Windows 11 中扩大 C 盘容量,主要取决于磁盘分区布局和可用空…...

【基于阿里云搭建数据仓库(离线)】Data Studio创建资源与函数
Data Studio支持在您的数据分析代码中引用自定义的资源和函数(支持MaxCompute、EMR、CDH、Flink),您需要先创建或上传资源、函数至目标工作空间,上传后才可在该工作空间的任务中使用。您可参考本文了解如何使用DataWorks可视化方式…...
Linux_T(Sticky Bit)粘滞位详解
Linux 粘滞位(Sticky Bit)详解 一、什么是粘滞位(Sticky Bit) 粘滞位(Sticky Bit)是 Linux 和 Unix 系统中一种特殊的权限设置,主要应用于目录,其作用是在多人共享访问的目录中&am…...

web3-以太坊智能合约基础(理解智能合约Solidity)
以太坊智能合约基础(理解智能合约/Solidity) 无需编程经验,也可以帮助你了解Solidity独特的部分;如果本身就有相应的编程经验如java,python等那么学起来也会非常的轻松 一、Solidity和EVM字节码 实际上以太坊链上储存…...
高敏感应用如何保护自身不被逆向?iOS 安全加固策略与工具组合实战(含 Ipa Guard 等)
如果你正在开发一款涉及支付、隐私数据或企业内部使用的 App,那么你可能比多数开发者更早意识到一件事——App 一旦被破解,损失的不只是代码,还有信任与业务逻辑。 在我们为金融类工具、HR 系统 App、数据同步组件等高敏感项目提供支持的过程…...

【C++项目】负载均衡在线OJ系统-2
文章目录 oj_server模块编写oj_server框架的搭建-oj_server/oj_server.cpp 路由框架 oj_model模块编写题目信息设置v1.文件版本-common/util.hpp boost库spilt函数的使用-oj_server/oj_model_file.hpp 文件版本model编写v2.mysql数据库版本1.mysql创建授权用户、建库建表录入操…...

GC1809:高性能24bit/192kHz音频接收芯片解析
1. 芯片概述 GC1809 是数字音频接收芯片,支持IEC60958、S/PDIF、AES3等协议,集成8选1输入切换、低抖动时钟恢复和24bit DAC,适用于家庭影院、汽车音响等高保真场景。 核心特性 高精度:24bit分辨率,动态范围105dB&…...

2025年06月05日Github流行趋势
项目名称:onlook 项目地址url:https://github.com/onlook-dev/onlook项目语言:TypeScript历史star数:16165今日star数:1757项目维护者:Kitenite, drfarrell, spartan-vutrannguyen, apps/devin-ai-integrat…...