Redis核心技术与实战【学习笔记】 - 21.Redis实现分布式锁
概述
在《20.Redis原子操作》我们提到了应对并发问题时,除了原子操作,还可以通过加锁的方式,来控制并发写操作对共享数据的修改,从而保证数据的正确性。
但是,Redis 属于分布式系统,当有多个客户端需要争抢锁时,我们必须保证,这把锁不能是某个客户端的本地锁。否则其他客户端是无法访问这把锁的。
Redis 本身可以被多个客户端共享访问,正好就是一个共享存储系统,可以用来保存分布式锁。而且 Redis 的读写性能高,可以对应高并发锁操作的场景。
1.单机上的锁和分布式锁的联系和区别
对于单机上运行的多线程来说,锁本身可以用一个变量表示
- 变量值为 0 时,表示没有线程获取锁。
- 变量值为1 时,表示已经有线程获取到锁了。
一个线程调用加锁操作,其实就是检查锁变量是否为 0。如果是 0,就把锁变量值设置为 1,表示获取到锁,如果不是 0,就返回错误信息,表示加锁失败,已有其他线程获取到锁了。而一个线程释放锁操作,其实就是将锁变量的值置为 0,以便其他线程可以用来获取锁。
用一段伪代码来表示加锁和释放锁的操作,其中 lock 为锁变量。
acquire_lock() {if lock == 0lock = 1return 1elsereturn 0
}release_lock() {lock = 0return 1
}
和单机删的锁类似,分布式锁同样可以用一个变量来表示。客户端加锁和释放锁的操作逻辑,也和单机上的加锁和释放锁操作逻辑一致:加锁时同样需要判断锁变量的值,根据锁变量值来判断能否加锁成功;释放时,需要把锁变量值设置为 0,表名客户端不再持有锁。
但是,和线程在单机上操作锁不同的是,在分布式场景下,锁变量需要由一个共享存储系统来维护。只有这样,多个客户端才可以通过访问共享存储系统来访问锁变量。相应的,加锁和释放锁的操作就变成了读取、判断和设置共享存储系统中的锁变量。
这样一来,我们就可以得出实现分布式锁的两个要求:
- 要求一:分布式锁的加锁和释放锁的过程,涉及多个操作。所以,在实现分布式锁时,我们需要保证这些锁操作的原子性。
- 要求第二:更新存储系统保存了锁变量,如果共享存储系统发生故障或宕机,那么客户端也就无法进行锁操作。在实现分布式锁时,我们需要考虑保证共享存储系统的可靠性,进而保证锁的可靠性。
2.基于单个 Redis 节点实现分布式锁
作为分布式锁实现过程中的共享存储系统,Redis 可以使用键值对来保存锁变量,在接收和处理不同客户端发送的加锁和释放锁的操作请求。那么,键值对的键和值具体是怎么定的呢?
加锁过程
如下图所示,Redis 使用键值对保存锁变量,以及两个客户端同时请求加锁的操作过程。

可以看到,Redis 可以使用一个键值对 lock_key:0 来保存锁边量,其中,键是 lock_key,也是锁边变量的名称,锁变量的初始值是 0。
在图中,客户端 A 和 C 同时请求加锁。因为 Redis 使用单线程处理请求,所以,即使客户端 A 和 C 同时把加锁请求发给了 Redis,Redis 也会串行处理他们的请求。
假设 Redis 先处理客户端 A 的请求,读取 lock_key 的值,发现 lock_key 为 0,所以,Redis 就把 lock_key 的 value 值置为 1,表示已经加锁了。紧接着,Redis 处理客户端 C 的请求,此时,Redis 发现 lock_key 的值已经为 1 了,所以就返回加锁失败的信息。
释放锁过程
下图展示的是,客户端 A 请求释放锁的过程。当客户端 A 持有锁时,锁变量 lock_key 的值为 1。客户端 A 执行释放锁操作后,Redis 将 lock_key 的值置为 0,表示已经没有客户端持有锁了。

Redis 分布式锁的原子性保证
《20.Redis原子操作》我们学过了,要想保证操作的原子性,有两种通用的方法,分别是 Redis 单命令操作和使用 Lua 脚本。分布式加锁场景下,如何应用这两个方法呢?
Redis 可以用哪些单命令实现加锁操作
首先是 SETNX 命令,它用于设置键值对的值,这个命令在执行时会判断键值对是否存在,如果不存在,就不做任何设置。
SETNX key value
对于释放锁来说,我们可以在执行完业务逻辑后,使用 DEL 命令删除所变量。不过,你不用担心锁变量被删除后,其他客户端无法请求加锁了。因为 SETNX 命令在执行的时候,如果要设置的键值对不存在,SETNX 会先创建键值对,然后设置它的值。所以释放锁之后,再有客户端请求加锁时,SETNX 命令会创建锁变量的键值对,并设置锁变量的值,完成加锁。
总结来说,可以用 SETNX 和 DEL 命令组合来实现加锁和释放锁操作。
// 加锁
SETNX lock_key 1
// 业务逻辑
DO THINGS
//释放锁
DEL lock_key
不过,用 SETNX 和 DEL 命令组合来实现分布式锁,存在两个潜在风险:
- 第一个风险是,假如某个客户端在执行 SETNX 命令、加锁后,紧接着发生了异常,结果一致没有执行 DEL 命令释放锁。因此,锁就一直被这个客户端持有,其他客户端无法拿到锁,也无法访问共享数据和执行后续操作。
针对这个问题,一个办法是,给锁变量设置一个过期时间。这样一来,即使持有锁的客户端发送了异常,无法主动地释放锁,Redis 也会根据锁变量的过期时间,在锁变量过期后,把它删除。其他客户端在锁变量过期后,就可以重新请求加锁。
- 第二个风险。如果客户端执行了 SETNX 命令加锁后,假设客户端 B 执行了 DEL 命令释放锁,此时 客户端 A 的锁程序就被误释放了。如果客户端 C 正好也在申请加锁,就能获得锁,进而开始操作共享数据。这样一来,客户端 A 和 C 同时在对共享数据进行操作,数据就会被修改错误。
应对第二个风险,需要可以区分来自不同客户端的操作。也就是在加锁操作时,可以让每个客户端给锁变量设置一个唯一值,这里的唯一值可以用来标识当前操作的客户端。在释放锁时,客户端需要判断,当前锁变量的值是否和自已的唯一标识符相等,只有在相等的清理下,才能释放锁。这样,就不会出现误释放的问题了。
在 Redis 中,可以使用 SET 命令,以及 NX 和 EX/PX 的选项,实现加锁操作。
// 加锁,unique_value 作为客户端唯一性的标识
SET lock_key unique_value NX PX 10000
NX:SET 命令的NX选项可以实现类似于 SETNX 的效果,即对于不存在的键值对,它会先创建再设置值,对于已存在的则不做任何操作。
PX 10000:SET 命令的PX选项,可设置键值对的过期时间。另外,key 的存活时间由 seconds 或者 milliseconds 选项值来决定。PX 10000表示 lock_key 会在 10 秒后过期。
因为加锁后,每个客户端都使用了一个标识符,所以在释放锁的过程中,我们需要判断锁变量的值,是否等于执行加锁操作的客户端唯一标识:
// 释放锁 比较unique_value是否相等,避免误释放
if redis.call("get", KEYS[1] == ARGV[1]) thenreturn redis.call("del", KEYS[1])
elsereturn 0
end
这是使用 Lua 脚本实现的释放锁操作的伪代码,其中 KEYS[1] 表示 lock_key,ARGV[1] 表示当前客户端的唯一标识,这两个值都是我们在执行 Lua 脚本时作为参数传入的。
最后再执行下面的命令,就可以完成释放锁操作了。
redis-cli --eval lua.script lock_key , unique_value
你可能注意到了,我们在释放锁时,使用了 Lua 脚本,这是因为,释放锁操作的逻辑也包含了读取锁变量、判断值、删除锁变量的多个操作,通过 Redis 的 Lua 脚本,保证了释放锁操作的原子性。
注意的是: 除了上述情况外,还可能会出现的风险:
- 要根据业务的情况,设定好锁的过期时间。锁过期时间设置的太短。线程 A 加锁后,任务还没有执行完,锁变量就过期了。此时,线程 B 通过加锁操作成功获得了锁。 这会导致线程 A 和 线程 B 同时操作了共享数据,导致数据的不一致。
- 避免加锁后业务执行的时间过长。其实和 1 中的风险类似,如果业务执行时间过长,此时锁过期了,也会出现 两个线程同时操作共享数据的问题。
3. 基于 Redis 实现高可靠的分布式锁
要实现高可靠的分布式锁,就不能只依赖单个的命令操作了,我们要按照一定的步骤和规则进行加解锁操作,否则,就可能出现锁无法工作的情况。“一定的步骤和规则”其实就是分布式锁的算法。
为了避免 Redis 实例故障而导致的锁无法工作的问题,Redis 开发者 Antirez 提出了分布式锁算法 Redlock。
Redlock 算法的基本思路,是让客户端和多个独立的 Redis 实例一次请求加锁,如果客户端和半数以上的实例成功的完成加锁操作,那么我们就认为,客户端成功地获得分布式锁了,否则加锁失败。这样一来,及时有单个 Redis 实例发生故障,因为锁变量在其他实例上也有保存,所以,客户端仍然可以正常的进行所操作,锁变量并不会丢失。
看下 Redlock 算法的执行步骤。Redlock 的算法实现需要有 N 个独立的 Redis 实例。接下来,我们可以分成 3 步来完成加锁操作。
-
第一步,客户端获取当前时间。
-
第二步,客户端按顺序依次项 N 个 Redis 实例执行加锁操作。
这里的加锁操作和在单实例上的加锁操作一样,使用了 SET 命令,带上 NX ,EX/PX 选项,以及带上客户端的唯一标识。当然,如果某个 Redis 实例发生故障了,为了保证这种情况下 Redlock 算法能够继续运行,我们需要给加锁设置一个超时时间。如果客户端在和一个 Redis 实例请求加锁时,一直到超时都没有成功,那么此时,客户端会和下一个 Redis 实例继续请求加锁。
加锁操作的超时时间需要远远小于锁的有效时间,一般也就设置几十微妙。 -
第三步,一旦客户端完成了和所有 Redis 实例的加锁,客户端要计算整个加锁操作过程的总耗时。
客户端只有在满足下面的两个条件是,才认为加锁成功。- 条件一:客户端从超过半数(大于等于 N/2 + 1)的 Redis 实例上成功获取到了锁;
- 条件二:客户端获取锁的总耗时没有超过锁的有效时间。
在满足了这两个条件后,我们需要重新计算这把锁的有效时间,计算的结果是锁的最初有效时间减去客户端为获取锁的总耗时。如果锁的超时时间已经来不及完成共享数据的操作了,我们可以释放锁,以免出现还没有完成数据操作,锁就过期了的情况。
当然,如果客户端在和所有实例执行完加锁操作后,没能同时满足这两个条件,那么客户端向所有 Redis 节点发起释放锁的操作。
所以,在实际的业务应用中,如果你想要提升分布式锁的可靠性,就可以通过 Redlock 算法来实现。
小结
分布式锁是由共享存储系统维护的变量,多个客户端可以向共享存储系统发送命令进行加锁或释放锁操作。Redis 作为共享存储系统,可以用来实现分布式锁。
在基于单个 Redis 实例实现分布式锁时,对于加锁操作,我们需要满足三个条件。
- 加锁包括了读取锁变量、检查锁变量和设置锁变量三个操作,但需要已原子操作的方式完成,所以,使用 Set 命令带上 NX 选项来实现加锁。
- 锁变量需要设置过期时间,以免客户端拿到锁后发生异常,导致锁一直无法释放,所以,我们在 SET 命令执行时加上 EX/PX 选项,设置其过期时间。
- 锁变量的值要能区分来不不同客户端的加锁操作,以免在释放锁时,出现误释放操作,所以,我们使用 SET 命令设置锁变量值时,每个客户端设置的值是一个唯一的值,用于标识客户端。
和加锁类型,释放锁也包含了读取锁变量值、判断锁变量值和删除锁变量的三个操作,不过,我们无法使用单个命令来实现,所以采用 Lua 脚本来执行释放锁操作,通过 Redis 原子性的 Lua 脚本,来保证释放锁操作的原子性。
不过,基于单个 Redis 实例实现分布式锁时,会面临实例异常或崩溃的情况,这会导致实例无法提供锁操作,正因为此,Redis 也提供了 Redlock 算法,用来实现基于多个实例的分布式锁。这样一来,锁变量由多个实例维护,及时有实例发生了故障,锁变量仍然是存在的,客户端还是可以完成锁操作。Redlock 算法是实现高可靠分布式锁的一种有效解决方案,你可以在实际应用中把它用起来。
如果为了效率,使用基于单个 Redis 节点的分布式锁即可,此方案缺点是允许锁偶尔失效,优点是简单效率高
如果是为了正确性,业务对于结果要求非常严格,建议使用 Redlock,但缺点是使用比较重,部署成本高
番外
使用单个 Redis 节点(只有一个master)使用分布锁,如果实例宕机,那么无法进行锁操作了。那么采用主从集群模式部署是否可以保证锁的可靠性?
其实也是很难保证的。如果在 master 上加锁成功,此时 master 宕机,由于主从复制是异步的,加锁操作的命令还未同步到 slave,此时主从切换,新 master 节点依旧会丢失锁,对也业务来说相当于锁失效了。
Kaito 大神对分布式锁做了深入的剖析,有兴趣的可以看下《深度剖析:Redis分布式锁到底安全吗?看完这篇文章彻底懂了!》。
相关文章:
Redis核心技术与实战【学习笔记】 - 21.Redis实现分布式锁
概述 在《20.Redis原子操作》我们提到了应对并发问题时,除了原子操作,还可以通过加锁的方式,来控制并发写操作对共享数据的修改,从而保证数据的正确性。 但是,Redis 属于分布式系统,当有多个客户端需要争…...
17.Golang channel的基本定义及使用
目录 概述实践无缓冲 channel代码结果 缓冲 channel代码结果 channel的关闭特点代码结果range代码结果 select channel代码结果 结束 概述 此篇文章介绍 channel 的用法 无缓冲 channel缓冲 channelchannel的关闭特点range channelselect channel 每一种,配上完整…...
Linux - iptables 防火墙
一. 安全技术和防火墙 1.安全技术 入侵检测系统(Intrusion Detection Systems):特点是不阻断任何网络访问,量化、定位来自内外网络的威胁情况,主要以提供报警和事后监督为主,提供有针对性的指导措施和安全…...
如何在FBX剔除Lit.shader依赖
1)如何在FBX剔除Lit.shader依赖 2)Unity出AAB包(PlayAssetDelivery)模式下加载资源过慢问题 3)如何在URP中正确打出Shader变体 4)XLua打包Lua文件粒度问题 这是第371篇UWA技术知识分享的推送,精…...
cesium-测量高度垂直距离
cesium做垂直测量 完整代码 <template><div id"cesiumContainer" style"height: 100vh;"></div><div id"toolbar" style"position: fixed;top:20px;left:220px;"><el-breadcrumb><el-breadcrumb-i…...
Adobe Illustrator CEP插件开发入门指南
引言 Adobe Creative Cloud(创意云)中的Illustrator作为一款全球领先的矢量图形设计软件,为设计师提供了丰富的功能和无限的创作可能性。为了进一步增强其功能并满足个性化工作流程需求,Adobe引入了Common Extensibility Platform…...
【Spring】自定义注解 + AOP 记录用户的使用日志
目录 编辑 自定义注解 AOP 记录用户的使用日志 使用背景 落地实践 一:自定义注解 二:切面配置 三:Api层使用 使用效果 自定义注解 AOP 记录用户的使用日志 使用背景 (1)在学校项目中,安防平台…...
linux互斥锁:递归锁,非递归锁用法详解
在实际的项目中经常涉及到共享资源,共享资源被多个线程访问会出现竞争现象;为了解决竞争和保护共享资源常用的机制之一就是互斥锁! 互斥锁又分为递归锁和非递归锁,互斥锁默认是非递归锁,也是我们常用的上锁方式。那么什么是递归锁和非递归锁呢? 非递归锁(Non-recursive …...
MacOS安装dmg提示已文件已损坏的解决方法
MacOS安装dmg提示已文件已损坏的解决方法 导致原因是应用没有上传到苹果的appstroe,系统限制了安装,破碎提示是苹果的误导小手段 方法 一 App 在macOS Catalina(比较新的系统,例如m1,m2也适用)下提示已损坏…...
前端输入框简单实现检测@成员输入
大体逻辑是 给input框添加一个input监听,并判断输入是否为获取当前光标的位置,你输入的肯定在光标之前,且肯定是最后一个input输入的内容换行可以被认为空格,需要进行全局替换判断成功的逻辑分为两部分,前方一般来说是…...
通过与chatGPT交流实现零样本事件抽取
1、写作动机: 近来的大规模语言模型(例如Chat GPT)在零样本设置下取得了很好的表现,这启发作者探索基于提示的方法来解决零样本IE任务。 2、主要贡献: 提出了基于chatgpt的多阶段的信息抽取方法:在第一阶…...
使用nodejs和html布局一个简单的视频播放网站,但是使用localhost:端口访问html无法加载视频
js代码: // app.js const express require(express); const path require(path); const app express();// 设置静态文件目录,这里假设你的视频文件在public/videos/目录下 app.use(express.static(path.join(__dirname, )));// 设置主页路由…...
【AG32VF407】国产MCU+FPGA Verilog双边沿检测输出方波
视频讲解 [AG32VF407]国产MCUFPGA Verilog双边沿检测输出方波 实验过程 本次使用使用AG32VF407开发板中的FPGA,使用双clk的双边沿进行检测,同步输出方波 同时可以根据输出的方波检测clk的频率,以及双clk的相位关系,如下为verilog…...
[晓理紫]每日论文分享(有中文摘要,源码或项目地址)--强化学习、模仿学习、机器人
专属领域论文订阅 关注{晓理紫},每日更新论文,如感兴趣,请转发给有需要的同学,谢谢支持 如果你感觉对你有所帮助,请关注我,每日准时为你推送最新论文。 为了答谢各位网友的支持,从今日起免费为3…...
为什么说TiDB在线扩容对业务几乎没有影响
作者: 数据源的TiDB学习之路 原文来源: https://tidb.net/blog/e82b2c5f 当前的数据库种类繁多,墨天轮当前统计的所有国产数据库已经有 290个 ,其中属于关系型数据库的有 166个 。关系型数据库从部署架构上又可以分为集中式…...
STM32--SPI通信协议(2)W25Q64简介
一、W25Q64简介 1、W25Qxx中的xx是不同的数字,表示了这个芯片不同的存储容量; 2、存储器分为易失性与非易失性,主要区别是存储的数据是否是掉电不丢失: 易失性存储器:SRAM、DRAM; 非易失性存储器ÿ…...
svn安装与搭建
1、svn搭建 # yum install subversion -y //安装 # svnserve --version //查看版本 2、创建仓库目录repo # mkdir -p /opt/svn/repo //创建目录 # svnadmin create /opt/svn/repo/ //创建新仓库 # ls !$ …...
什么是缓存击穿、缓存穿透、缓存雪崩?
缓存雪崩 缓存雪崩是指缓存同一时间大面积的失效,所以,后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉。 解决方案 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。一般并发量不是特别多的时…...
springboot153相亲网站
简介 【毕设源码推荐 javaweb 项目】基于springbootvue 的 适用于计算机类毕业设计,课程设计参考与学习用途。仅供学习参考, 不得用于商业或者非法用途,否则,一切后果请用户自负。 看运行截图看 第五章 第四章 获取资料方式 **项…...
CMake生成osg的FFMPEG插件及Windows下不生成VS工程问题解决
在Windows下,如何利用CMake生成osg的FFMPEG插件,请参考如下博文,同生成jpeg插件类似: osg第三方插件的编译方法(以jpeg插件来讲解)。 如下为生成FFMPEG时必要的设置: 注意: 一定要…...
(二)TensorRT-LLM | 模型导出(v0.20.0rc3)
0. 概述 上一节 对安装和使用有个基本介绍。根据这个 issue 的描述,后续 TensorRT-LLM 团队可能更专注于更新和维护 pytorch backend。但 tensorrt backend 作为先前一直开发的工作,其中包含了大量可以学习的地方。本文主要看看它导出模型的部分&#x…...
理解 MCP 工作流:使用 Ollama 和 LangChain 构建本地 MCP 客户端
🌟 什么是 MCP? 模型控制协议 (MCP) 是一种创新的协议,旨在无缝连接 AI 模型与应用程序。 MCP 是一个开源协议,它标准化了我们的 LLM 应用程序连接所需工具和数据源并与之协作的方式。 可以把它想象成你的 AI 模型 和想要使用它…...
大数据零基础学习day1之环境准备和大数据初步理解
学习大数据会使用到多台Linux服务器。 一、环境准备 1、VMware 基于VMware构建Linux虚拟机 是大数据从业者或者IT从业者的必备技能之一也是成本低廉的方案 所以VMware虚拟机方案是必须要学习的。 (1)设置网关 打开VMware虚拟机,点击编辑…...
微信小程序 - 手机震动
一、界面 <button type"primary" bindtap"shortVibrate">短震动</button> <button type"primary" bindtap"longVibrate">长震动</button> 二、js逻辑代码 注:文档 https://developers.weixin.qq…...
C++中string流知识详解和示例
一、概览与类体系 C 提供三种基于内存字符串的流,定义在 <sstream> 中: std::istringstream:输入流,从已有字符串中读取并解析。std::ostringstream:输出流,向内部缓冲区写入内容,最终取…...
MySQL中【正则表达式】用法
MySQL 中正则表达式通过 REGEXP 或 RLIKE 操作符实现(两者等价),用于在 WHERE 子句中进行复杂的字符串模式匹配。以下是核心用法和示例: 一、基础语法 SELECT column_name FROM table_name WHERE column_name REGEXP pattern; …...
Unsafe Fileupload篇补充-木马的详细教程与木马分享(中国蚁剑方式)
在之前的皮卡丘靶场第九期Unsafe Fileupload篇中我们学习了木马的原理并且学了一个简单的木马文件 本期内容是为了更好的为大家解释木马(服务器方面的)的原理,连接,以及各种木马及连接工具的分享 文件木马:https://w…...
快刀集(1): 一刀斩断视频片头广告
一刀流:用一个简单脚本,秒杀视频片头广告,还你清爽观影体验。 1. 引子 作为一个爱生活、爱学习、爱收藏高清资源的老码农,平时写代码之余看看电影、补补片,是再正常不过的事。 电影嘛,要沉浸,…...
日常一水C
多态 言简意赅:就是一个对象面对同一事件时做出的不同反应 而之前的继承中说过,当子类和父类的函数名相同时,会隐藏父类的同名函数转而调用子类的同名函数,如果要调用父类的同名函数,那么就需要对父类进行引用&#…...
ubuntu22.04有线网络无法连接,图标也没了
今天突然无法有线网络无法连接任何设备,并且图标都没了 错误案例 往上一顿搜索,试了很多博客都不行,比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动,重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...
