【Redis】一种常见的Redis分布式锁原理简述
本文主要简述一下基于set命令的Redis分布式锁的原理。
一,a线程持有的锁不要被b线程同时持有→setnx
抢锁的时候,最核心的就是,a线程持有的锁不要被b线程同时持有,放在基于set命令的redis分布式锁中来看,就是“如果锁(key)存在我就不能抢,锁(key)不存在我才能抢”,
用原子的redis命令来说就是
setnx key value
key可以设置为你业务中要抢的锁的名字,和其他key区分开。
一开始,redis提供了set、setex(设置key value的同时设置过期时间)、setnx(如果不存在key就设置key value)。
二,如果锁被别人释放了怎么办→ThreadLocal和UUID
一个比较常见的担心是,如果a线程加的锁,被b线程释放了怎么办,毕竟只是一个set命令,用del就可以删除,也就是解锁,那怎么办呢。
在前面我们只设置了key的名字,对value没有做要求。其实我们可以给value加一个唯一ID,让别的线程识别到这个锁是否是自己持有。
线程id是否可以呢,我们直接用线程的id作为value,让线程看一下是否是自己的id,简单直接。答案是不可以,线程id在机器中是唯一的,但是这是分布式锁,多个机器之间,线程id不唯一。
我们倒也不用直接跳到分布式id这么远,其实uuid足矣。uuid中包括了机器的IEEE识别号(如果有网卡,从网卡的mac地址获得),优点是全球唯一且简单、代码方便,uuid不用于自增主键的原因是它不区域递增,以及可能造成网卡的mac地址泄露(曾用于寻找梅丽莎病毒制作者)。
此时我们就需要用到ThreadLocal,让每个线程私有uuid。就这样,我们加入了ThreadLocal和UUID,解决了锁被其他线程释放的问题。
三,锁无人释放问题→加过期时间
1,只靠setnx命令,死锁无法释放
那么紧接着问题来了, 如果加锁的线程挂掉了,导致锁无法正常释放怎么办?要知道,redis的数据如果没有特意设置过期时间,默认的是永不过期。所以我们要设置一个过期时间。
redis中设置过期时间的命令为expire命令,我们当然可以使用expire来给上面的setnx命令来加过期时间,如下:
setnx lock XXX
expire lock 10 //给lock键设置过期时间为10秒
2,setnx+expire命令不够原子
第二个问题来了,setnx+expire命令不够原子,即如果有线程只执行了加锁命令setnx,在第二个命令expire执行之前就挂掉了,又怎么办呢?因为这两个是分开执行的,意味着是存在这种可能的。因此我们就要想方法来将其一次执行。
(1),set key value ex second nx
正如一开始所述,redis在一开始只提供了set、setnx、setex几个命令,却没有其他参数,因此要执行必须分开执行。
在 Redis 2.6.12 之后,Redis 扩展了 SET 命令的参数,使我们可以直接在一条命令中完成所有操作,即如果不存在,再设置Key value(nx),同时设置过期时间(ex)。
注,set命令中,ex参数设置秒,px参数设置毫秒
(2),Lua脚本
redis整合了Lua语言,我们可以基于redis的eval命令,通过Lua脚本来完成原子性操作;
eval
命令如下:
eval 脚本内容 Ke个数 key列表 参数列表
如果觉得每次都要上传Lua脚本占带宽,还可以在Redis启动时将Lua脚本上传,由redis将脚本缓存,客户端拿到sha1,在使用lua脚本时只需要上传sha1值即可[1]。即通过script load命令上传脚本,得到sha1,再基于evalsha命令,通过sha1参数执行指定的lua脚本。
evalsha
命令使用示例如下:
script load "${cat lua_demo.lua}"
evalsha 脚本sha1值 key个数 key列表 参数列表
四,如何评定过期时间→看门狗线程续期
现在好了,一个基本的redis分布式锁的方案已经有了,那么还有什么问题呢。仔细想想就会发现,问题出在了业务执行时间上。我们应该如何衡量业务执行时间并由此设置过期时间呢?
一个项目里,有的业务执行时间长,有的执行时间短。就算是同一个业务,你通过链路追踪或者监控知道了业务执行大多数是多久,下面分为两种情况,
情况1,我们假设就按照大多数业务能完成的时间来设置过期时间,这肯定是不行的,因为有的业务没完成就释放了锁,极容易出现问题。
情况2,我们按照一个比较大,大到应该不可能出现问题的过期时间,总行了吧?也不行,第一,“应该不可能”,谁知道以后有没有可能有的业务就是时间长到超过了过期时间。第二,为了少数业务执行时间长的情况,而给所有业务,包括大多数只需要较短持有锁时间的业务,都施加很长的过期时间,很明显项目并发能力会严重下降。
怎么办呢,长了也不行,短了也不行。这时候,我们可以加入看门狗方案。什么意思呢,就是说我们可以给线程设置一个不算长对于大多数线程都比较合理的时间,哪怕短点也无所谓。我们专门设置一个守护线程
(thread.setDaemon(true))用于监控线程的看门狗线程,看门狗线程会在过期时间快到了且锁还没有被释放时,就去用expire命令给锁续期。
同时配合一个延迟队列DelayQueue
(本质是个堆Heap),在加锁时,将装有线程id和续期时间(注意是续期时间
,续期时间要比key的过期时间
早一点)的entity扔进去,延迟队列根据续期时间排序,这样堆中排在最上面的永远是续期时间最近的entity(堆的特性)。
看门狗线程的任务内容,就是while循环,对延迟队列用take方法阻塞的去拿最近一个需要判断是否要续期的entity,有的话就进行续期,这样我们就可以用一个线程完成对整个项目的所有锁的续期,这样的分布式锁,耗时短的业务用一次过期时间就可以完成,耗时长的业务也可以有看门狗线程来实现续期过期时间。
五,总结→建议不要自己开发,用现成的如Redisson
上面实现的分布式锁,解决了如下几个问题
- a线程持有的锁不要被b线程同时持有→setnx
- 如果锁被别人释放了怎么办→ThreadLocal和UUID
- 只依靠setnx,持有锁的线程挂掉,导致无人去释放锁→给锁添加过期时间,expire命令设置过期时间
- setnx和expire不够原子→set命令和参数ex、nx,或者lua脚本配置命令eval、evalsha
- 过期时间不好评定→加入看门狗守护线程,配合延迟队列,看门狗线程用死循环,使用take方法阻塞的等待将最近要续期的任务,将其续期。
实际使用上,我个人的看法是轮子不需要重复开发,我们只需要用Redisson实现的分布式锁,就具有看门狗线程[2]。简简单单两三行代码,就有更完善的分布式锁使用。除非一些特殊的原因,不然不要重复造轮子,以及如非必要,勿增实体(奥卡姆剃刀原则)。
RLock testLock = redissonClient.getLock("test_lock");boolean res = testLock.tryLock(10, TimeUnit.SECONDS);
参考文章:
[1],用jedis执行lua脚本
[2],redisson中的看门狗机制总结
相关文章:
【Redis】一种常见的Redis分布式锁原理简述
本文主要简述一下基于set命令的Redis分布式锁的原理。 一,a线程持有的锁不要被b线程同时持有→setnx 抢锁的时候,最核心的就是,a线程持有的锁不要被b线程同时持有,放在基于set命令的redis分布式锁中来看,就是“如果锁…...

HOT100_最大子数组和
class Solution {public int maxSubArray(int[] nums) {int[] dp new int[nums.length];int res nums[0];dp[0] nums[0];for(int i 1; i< nums.length; i){dp[i] Math.max(nums[i] ,dp[i-1] nums[i]);res Math.max(res, dp[i]);}return res;} }...
DiskGenius工具扩容Mac OS X Apple APFS分区
DiskGenius是一款功能强大的磁盘分区工具,它支持Windows和Mac OS X系统,可以用于管理硬盘分区,包括扩容Mac OS X的Apple APFS分区。然而,直接使用DiskGenius来扩容Mac OS X的APFS分区可能存在一定的风险,因为不是专门为…...
从零开始的LeetCode刷题日记:70. 爬楼梯
一.相关链接 题目链接:70. 爬楼梯 二.心得体会 这道题还是动规五部曲。 1.首先是dp数组及其下标的含义,dp记录了每层楼梯对应的爬的方法,每个下标存储每个对应楼层。 2.然后是递归公式,其实每一层楼都是可以从下面一层和下面…...

Unity照片墙效果
Unity照片墙效果,如下效果展示 。 工程源码...

【自动化利器】12个评估大语言模型(LLM)质量的自动化框架
LLM评估是指在人工智能系统中评估和改进语言和语言模型的过程。在人工智能领域,特别是在自然语言处理(NLP)及相关领域,LLM评估具有至高无上的地位。通过评估语言生成和理解模型,LLM评估有助于细化人工智能驱动的语言相…...
【1】基础概念
文章目录 一、特点二、基础语法注意三、官方编程指南四、go 语言标准库 API 一、特点 golang 一个 go 文件都要归属到一个包,需要进行申明。天然的并发:golang 从语言层面支持大并发。每个 go 文件都必须要归属到一个包中。执行 go 文件:go …...

HTML 文档规范与解析模式:DOCTYPE、<html> 标签以及结构化页面
文章目录 `<!DOCTYPE html>` 文档类型声明标准模式与怪异模式HTML5 的简化声明`<html>` 标签`<head>` 标签`<body>` 标签小结<!DOCTYPE html> 文档类型声明 在 HTML 文档中,<!DOCTYPE html> 是一个重要的文档类型声明,主要用于告知浏览…...
大模型微调技术 --> 脉络
Step1:脉络 微调技术从最早期的全模型微调演变成如今的各种参数高效微调(PEFT)方法,背后是为了应对大模型中的计算、存储和数据适应性的挑战 1.为什么有微调? 深度学习模型越来越大,尤其是 NLP 中的预训练语言模型(BERT, GPT)系列。如果从…...

不要只知道deepl翻译,这里有10个专业好用的翻译工具等着你。
deepl翻译的优点还是有很多的,比如翻译的准确性很高,支持翻译的语言有很多,并且支持翻译文件和文本。但是现在翻译工具那么多,大家需要翻译的场景也有很多,怎么能只拥有一个翻译工具呢。所以在这里我帮助大家寻找了一波…...

第二节 管道符、重定向与环境变量
1.重定向技术的 5 种模式 (1)标准覆盖输出重定向 (2)标准追加输出重定向 (3)错误覆盖输出重定向 (4)错误追加输出重定向 (5)输入重定向2.输入输出重定向 输入…...

Linux 服务器使用指南:从入门到登录
🌟快来参与讨论💬,点赞👍、收藏⭐、分享📤,共创活力社区。 🌟 🚩博主致力于用通俗易懂且不失专业性的文字,讲解计算机领域那些看似枯燥的知识点🚩 目录 一…...

QT 如何使QLabel的文字垂直显示
想要实现QLabel文字的垂直显示,可以通过使用“文字分割填充换行符”的方式来实现QLabel文字垂直显示的效果,下面是效果图: 具体实现代码: #include "mainwindow.h" #include "ui_mainwindow.h"MainWindow:…...

蓬勃发展:移动开发——关于软件开发你需要知道些什么
一、前言 移动开发一直都是软件开发领域中最有趣的领域之一,这是因为: 1、移动开发为“只有一个人”的开发团队提供了一个非常独特的机会,让他可以在相对较短的时间内建立一个实际的、可用的、有意义的应用程序; 2、移动开发也代…...
1095. 山脉数组中查找目标值
目录 题目解法lambda在这是怎么用的? 题目 (这是一个 交互式问题 ) 你可以将一个数组 arr 称为 山脉数组 当且仅当: arr.length > 3 存在一些 0 < i < arr.length - 1 的 i 使得: arr[0] < arr[1] <…...

【深度学习】InstantIR:图片高清化修复
InstantIR——借助即时生成参考的盲图像修复新方法 作者:Jen-Yuan Huang 等 近年来,随着深度学习和计算机视觉技术的飞速发展,图像修复技术取得了令人瞩目的进步。然而,对于未知或复杂退化的图像进行修复,仍然是一个充满挑战的任务。针对这一难题,研究者们提出了 Insta…...

推荐一款PowerPoint转Flash工具:iSpring Suite
iSpring Suite是一款PowerPoint转Flash工具,使用iSpring Suite 8可以轻松的将PPT演示文档转换为对Web友好的Flash影片格式。软件界面简洁,使用方便。为什么要转换成flash格式呢?Flash格式的最大特点是体积小巧、易于分发,兼容所有的操作系统…...

如何搭建汽车行业AI知识库:定义+好处+方法步骤
在汽车行业,大型车企面临着员工众多、价值链长、技术密集和知识传播难等挑战。如何通过有效的知识沉淀与应用,提升各部门协同效率,快速响应客户咨询,降低销售成本,并开启体系化、可持续性的知识管理建设,成…...

创新材料科技:铜冷却壁助力高炉节能降耗
高炉用铜冷却壁是高炉内部的一种构件,通常用于高炉的炉身部分。它的主要功能是在高炉冶炼过程中冷却炉壁,以防止炉壁过热。铜冷却壁通常由铜制成,因为铜具有良好的导热性和耐腐蚀性,能够有效地将热量从高炉内部传导到外部…...

Proteus中单片机IO口外接LED输出低电平时,引脚却一直保持高电平的问题(已解决)
文章目录 前言解决方法后记 前言 一个排阻接八个 LED,方便又省事,但出现了P1端口输出低电平后,仿真引脚却一直显示红色保持高电平不变,用电压表测量显示 2V 左右。 这是仿真的问题,在用开发板时是不会遇到的ÿ…...
vscode里如何用git
打开vs终端执行如下: 1 初始化 Git 仓库(如果尚未初始化) git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...
基于服务器使用 apt 安装、配置 Nginx
🧾 一、查看可安装的 Nginx 版本 首先,你可以运行以下命令查看可用版本: apt-cache madison nginx-core输出示例: nginx-core | 1.18.0-6ubuntu14.6 | http://archive.ubuntu.com/ubuntu focal-updates/main amd64 Packages ng…...
鸿蒙中用HarmonyOS SDK应用服务 HarmonyOS5开发一个医院挂号小程序
一、开发准备 环境搭建: 安装DevEco Studio 3.0或更高版本配置HarmonyOS SDK申请开发者账号 项目创建: File > New > Create Project > Application (选择"Empty Ability") 二、核心功能实现 1. 医院科室展示 /…...

React19源码系列之 事件插件系统
事件类别 事件类型 定义 文档 Event Event 接口表示在 EventTarget 上出现的事件。 Event - Web API | MDN UIEvent UIEvent 接口表示简单的用户界面事件。 UIEvent - Web API | MDN KeyboardEvent KeyboardEvent 对象描述了用户与键盘的交互。 KeyboardEvent - Web…...
linux 下常用变更-8
1、删除普通用户 查询用户初始UID和GIDls -l /home/ ###家目录中查看UID cat /etc/group ###此文件查看GID删除用户1.编辑文件 /etc/passwd 找到对应的行,YW343:x:0:0::/home/YW343:/bin/bash 2.将标红的位置修改为用户对应初始UID和GID: YW3…...

c#开发AI模型对话
AI模型 前面已经介绍了一般AI模型本地部署,直接调用现成的模型数据。这里主要讲述讲接口集成到我们自己的程序中使用方式。 微软提供了ML.NET来开发和使用AI模型,但是目前国内可能使用不多,至少实践例子很少看见。开发训练模型就不介绍了&am…...
css3笔记 (1) 自用
outline: none 用于移除元素获得焦点时默认的轮廓线 broder:0 用于移除边框 font-size:0 用于设置字体不显示 list-style: none 消除<li> 标签默认样式 margin: xx auto 版心居中 width:100% 通栏 vertical-align 作用于行内元素 / 表格单元格ÿ…...

论文笔记——相干体技术在裂缝预测中的应用研究
目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术:基于互相关的相干体技术(Correlation)第二代相干体技术:基于相似的相干体技术(Semblance)基于多道相似的相干体…...

保姆级教程:在无网络无显卡的Windows电脑的vscode本地部署deepseek
文章目录 1 前言2 部署流程2.1 准备工作2.2 Ollama2.2.1 使用有网络的电脑下载Ollama2.2.2 安装Ollama(有网络的电脑)2.2.3 安装Ollama(无网络的电脑)2.2.4 安装验证2.2.5 修改大模型安装位置2.2.6 下载Deepseek模型 2.3 将deepse…...

【 java 虚拟机知识 第一篇 】
目录 1.内存模型 1.1.JVM内存模型的介绍 1.2.堆和栈的区别 1.3.栈的存储细节 1.4.堆的部分 1.5.程序计数器的作用 1.6.方法区的内容 1.7.字符串池 1.8.引用类型 1.9.内存泄漏与内存溢出 1.10.会出现内存溢出的结构 1.内存模型 1.1.JVM内存模型的介绍 内存模型主要分…...