集群部署篇--Redis 集群动态伸缩
文章目录
- 前言
- 一、redis 节点的添加
- 1.1 redis 的实例部署:
- 1.2 redis 节点添加:
- 1.3 槽位分配:
- 1.4 添加从节点:
- 二、redis 节点的减少
- 2.1 移除主节点
- 2.1.1 迁移槽位
- 2.1.1 删除节点:
- 三、redis 删除节点的重新加入
- 3.1 加入节点:
- 四、redis 集群的故障转移:
- 4.1 某个主节点挂掉:
- 4.2 故障转移过程:
- 五、扩展:
- 5.1 redis 集群的cluster help命令:
- 5.2 redis 集群的cluster nodes命令:
- 5.3 `CLUSTER FORGET` 和 `del-node`:
- 总结
- 参考:
前言
在集群部署篇–Redis 集群分片模式 中我们知道了如果去部署redis 的分片集群,本文继续结束下集群节点的增加和删除。
一、redis 节点的添加
本文示例新添加3个节点,1主2从; redis 集群的一些操作指令可以参考 章节:五、扩展;
1.1 redis 的实例部署:
可以参考集群部署篇–Redis 集群分片模式 中 二、Redis 分片集群搭建:部署3个redis 实例;
1.2 redis 节点添加:
使用 --cluster add-node 进行节点添加:
docker exec -it fpredis-8379 redis-cli -p 8379 -a 123456 --cluster add-node 192.168.75.131:5379 192.168.75.131:8379
- docker exec -it fpredis-8379 redis-cli -p 8379 -a 123456 :用于连接某个redis 实例从而使用redis-cli 客户端
- –cluster add-node 添加节点命令
- 192.168.75.131:5379 新添加的节点信息 ip:端口
- 192.168.75.131:8379 已经存在于集群中的任意一个节点 ip:端口

可以看到会将加入的节点信息 告知集群;
查看新加入的要成为主节点的 node id 信息:连接集群中任意一个节点 执行 cluster nodes 命令(cluster nodes命令 参考 章节: 5.2 redis 集群的cluster nodes命令)
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 -c cluster nodes

其中 第一列是node id,是改集群下节点的唯一id;
1.3 槽位分配:
使用 --cluster reshard 从已经存在的主节点中索取槽位:
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 --cluster reshard 192.168.75.131:8379
- docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 :用于连接某个redis 实例从而使用redis-cli 客户端
- –cluster reshard 交互式槽位分配命令
- 192.168.75.131:8379已经存在于集群中的任意一个节点 ip:端口

系统返回信息会提示我们要移动多少哈希槽,这里移动200个 输入200 然后回车;

然后 需要指定把这些哈希槽转移到哪个节点上,这里选择我们新加入的5379 节点:
35dc0f75b5d8c8818089bb3b6a4cc8717de7c9fb

选择迁移槽位模式:
-
all all 表示从所有的主节点中随机转移,凑够200个哈希槽;

-
done模式:需要你手动的去收入你要迁移的主节点id ,可以为多个接着可以输入 你要迁移的主节点的 节点id:
最后输入 done 表示输入完成;

如果输入的不是主节点id 会有错误提示:

然后再输入yes,redis集群就开始分配哈希槽:

这样新加入的主节点就获取到了相应的槽位,以及随着迁移过来的数据;
1.4 添加从节点:
将已经存在的redis 实例添加到集群;
docker exec -it fpredis-8379 redis-cli -p 8379 -a 123456 --cluster add-node 192.168.75.131:5479 192.168.75.131:8379
其中192.168.75.131:5479 为新加入的节点ip 及端口,192.168.75.131:8379 为集群中任意节点ip 及端口
查看集群节点信息:

在对应的从节点上执行:
docker exec -it fpredis-5479 redis-cli -p 5479 -a 123456 CLUSTER REPLICATE 35dc0f75b5d8c8818089bb3b6a4cc8717de7c9fb
- docker exec -it fpredis-5479 redis-cli -p 5479 -a 123456 连接你要添加从节点的redis 实例 使用redis 客户端
- CLUSTER REPLICATE 添加从节点命令
- 35dc0f75b5d8c8818089bb3b6a4cc8717de7c9fb 要添加的主节点再集群中的唯一id
二、redis 节点的减少
集群中节点是由主从构成的,对于主从节点删除 也是不同的,对于注解点的删除,如果它拥有槽位需要先迁移槽位,在进行删除;对于从节点因为其只是同步主节点数据 可以直接将其从集群中删除;
2.1 移除主节点
2.1.1 迁移槽位
文中的例子是把拥有的全部槽位(10个),全部迁移到另外一台maser 节点上去
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 --cluster reshard 192.168.75.131:8379

迁移的过程和 1.3 槽位分配 流程相同,在Redis集群中执行槽位(slot)的迁移时,涉及到槽位内的所有键值对数据也会一起迁移到目标节点。迁移完成,我们连接集群中任意一个节点在看下节点信息;
docker exec -it fpredis-5479 redis-cli -p 5479 -a 123456 -c cluster nodes

通过观察可以发现迁移完成后 ,之前的主节点现在已经变成了从节点;
2.1.1 删除节点:
通过del-node 命令删除节点:
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 --cluster del-node 192.168.75.131:8379 43772a8e7c9be990df93c194d11b3bb71eecebca
-
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 主要是为了进入某个redis 实例中从而使用redis 的客户端redis-cli
-
–cluster del-node 集群删除命令
-
192.168.75.132:8379 为集群中任意一个节点(可以连接你正在操作机器上 redis集群的一个实例)
-
43772a8e7c9be990df93c194d11b3bb71eecebca 为要删除的节点id

当然也可以将改主节点的从节点进行删除,只要将 节点id 换为从节点id 即可:
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 --cluster del-node 192.168.75.131:8379 1f9319b915b590eaf4a84f35e3c4e0cb5e11fb84
三、redis 删除节点的重新加入
通过 --cluster add-node 将需要的节点加入到集群中,新加入的节点是 master 主节点,并且没有被分配槽位,可以为其分配槽位使其成为一个新的主节点,也可以让其成为已经存在主节点的一个从节点,流程同 一、redis 节点的添加:本章节进行简单的概况
3.1 加入节点:
docker exec -it fpredis-8379 redis-cli -p 8379 -a 123456 --cluster add-node 192.168.75.131:5579 192.168.75.131:8379

查看节点的情况:

可以看到刚加入的节点是master 并且没有被分配槽位,重复 一、redis 节点的添加 可以为其分配槽位让其成为主节点,或者通过CLUSTER REPLICATE 命令让其成为某个主节点的从节点;
四、redis 集群的故障转移:
4.1 某个主节点挂掉:
查看集群节点的信息:
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 -c cluster nodes

此时直接停掉主节点 5379 这个实例:
docker stop fpredis-5379
因为 fpredis-5379 实例已经被停到,此时使用它的一个从节点查看集群情况
docker exec -it fpredis-5479 redis-cli -p 5479 -a 123456 -c cluster nodes

可以看到 fpredis-5379 主节点已经 端口连接,并且已经选举出了新的主节点,接管了之前的槽位:此时我们恢复fpredis-5379 实例,它也知会成为集群的一个从节点:

4.2 故障转移过程:
在Redis集群中,当一个主节点宕机时,会触发故障转移(failover)过程。这个过程由Redis集群内的自动故障检测和转移机制控制。故障转移的主要目的是选举出一个新的主节点,以接替失效的主节点的角色,保证集群的高可用性。下面是主节点宕机后故障转移的大致流程:
-
故障检测
其他主节点会定期向集群中的所有其他节点发送PING消息。如果一个主节点在指定的时间内未能回应,其他节点就会怀疑该节点发生了故障。 -
选举流程
当足够数量的主节点(集群中大多数节点,至少 N/2 + 1,其中N为集群主节点总数)都认为一个主节点失效时,该主节点的从节点将开始选举流程。从节点会根据预设条件(例如复制偏移量、运行时间等)选举出一个从节点成为新的主节点。 -
晋升过程
选举出的从节点会将自己转变为主节点。这个过程涉及更新配置和发送通知给集群中的其他节点以获得它作为主节点的承认。 -
配置更新
新晋升的主节点负责接管原主节点负责管理的所有键槽(hash slots),并与集群中的其他节点通信以更新集群状态。 -
数据同步
一旦成为新的主节点,它将继续处理客户端请求,并开始与可能存在的其他从节点进行同步。这些从节点之前可能跟随的是旧的主节点,现在需要与新的主节点同步数据。 -
故障恢复
如果原来的主节点后来恢复了,它将被集群视为一个普通的从节点,并可能开始复制新的主节点的数据。它的所有键槽(hash slots)都已经移交给了新的主节点。
这个故障转移过程通常是自动进行的,但是Redis提供了手动干预的命令。例如,你可以使用CLUSTER FAILOVER命令来触发从节点的故障转移过程。
在分布式系统中,故障转移完整性非常重要,是评估集群健壮性的一个关键指标。因此,Redis集群的设计目标之一是确保在面临节点宕机等各种故障时,能够迅速且自动地进行恢复。
五、扩展:
5.1 redis 集群的cluster help命令:
通过 cluster help 查看指令:
docker exec -it fpredis-5379 redis-cli -p 5379 -a 123456 --cluster help

-
create:创建集群
-
check:检查集群
-
info:查看集群信息
-
fix:修复集群
-
reshard:在线迁移slot
-
rebalance:平衡集群节点slot数量
-
add-node:添加新节点
-
del-node:删除节点
-
set-timeout:设置节点的超时时间
-
call:在集群所有节点上执行命令
-
import:将外部redis数据导入集群
5.2 redis 集群的cluster nodes命令:
当你在命令行中执行 redis-cli CLUSTER NODES 命令时,Redis 会返回集群中所有节点的状态信息。这些信息按行分隔,每个节点的信息包括以下字段:
<node-id> <ip:port> <flags> <master> <last-ping-sent> <last-pong-received> <config-epoch> <link-state> <slots>
每个字段具体解释如下:
- node-id: 唯一标识每个节点的ID。
- ip:port: 节点的IP地址和端口号。
- flags: 节点的角色和状态信息,如:
master: 该节点是一个主节点。slave: 该节点是一个从节点。myself: 标识这是你当前与之交互的节点。fail?: 疑似失败状态(其他节点怀疑该节点失败)。fail: 失败状态(集群已经同意该节点失败)。handshake: 节点处于加入集群的握手过程中。noaddr: 没有有效的地址。
- master: 如果该节点是从节点,这里会显示它所属的主节点ID;如果该节点是主节点,则此字段为空。
- last-ping-sent: 上次发送
PING的时间戳(毫秒)。 - last-pong-received: 上次收到
PONG的时间戳(毫秒)。 - config-epoch: 节点的配置纪元,用于实现故障转移。
- link-state: 与此节点的连接状态,
connected表示已连接,disconnected表示断开连接。 - slots: 显示该节点负责的槽位。对于主节点,这会列出槽位范围和个别槽位;从节点则不显示此部分。
下面是一个简单的 CLUSTER NODES 输出示例:
07c37dfeb235213a872192d90877d0cd55635b91 127.0.0.1:7000@17000 master - 0 1407638882853 13 connected 0-5460
e7d1eecce10fd6bb5eb35b9f99a514335d9ba9ca 127.0.0.1:7001@17001 myself,master - 0 0 1 connected 5461-10922
在这个例子中,有两个主节点。第一个主节点 07c37dfeb235213a872192d90877d0cd55635b91 有槽位0到5460分配给它,并且目前状态是 connected。第二个节点 e7d1eecce10fd6bb5eb35b9f99a514335d9ba9ca 是你当前连接的节点(myself 标志),它掌管槽位5461到10922,状态也是 connected。
5.3 CLUSTER FORGET 和 del-node:
“del-node”是一个redis-trib 脚本的操作,该脚本用于管理Redis集群。redis-trib脚本中的"del-node"操作更像是一个集成操作,其实际上背后执行了如"CLUSTER FORGET"等一系列命令组合,来自动地移除一个节点。
-
CLUSTER FORGET:
- 这是一个Redis集群命令,用于让集群中的一个节点遗忘另一个节点。
- 执行
CLUSTER FORGET命令时,需要在集群中的每个节点上分别对要遗忘的节点执行该命令,除了被遗忘节点本身之外。 - 这是一种底层的操作,需要手动在每个节点上执行。
-
del-node:
- 这是
redis-trib(或者现在更常用的是redis-cli --cluster)工具的一个操作,用于从集群中移除节点。 redis-trib中的del-node命令会在内部自动地对集群中的所有其他节点执行CLUSTER FORGET命令,以移除目标节点。- 这可以被看作是一种更高层次的,自动化的操作,它简化了移除节点的复杂性,因为你只需运行一次命令,而不是手动到每个节点上去执行
CLUSTER FORGET。
- 这是
例如,使用 redis-cli 工具移除集群节点可以像这样操作:
redis-cli --cluster del-node <cluster-node-ip>:<port> <node-id>
这里 <cluster-node-ip>:<port> 是集群中任一可达节点的IP和端口号,而 <node-id> 是需要被移除节点的ID。
所以,CLUSTER FORGET是你需要手动在其他所有节点中对目标节点执行的底层命令,而del-node是redis-trib或redis-cli --cluster工具提供的一个自动化命令,它会帮你完成在集群中其他所有节点上执行CLUSTER FORGET的工作。
总结
Redis cluster 集群可以方便的通过集群命令进行节点的添加,槽位的分配,节点的下线操作。
参考:
深入学习Redis(四) Redis高可用之集群;
相关文章:
集群部署篇--Redis 集群动态伸缩
文章目录 前言一、redis 节点的添加1.1 redis 的实例部署:1.2 redis 节点添加:1.3 槽位分配:1.4 添加从节点: 二、redis 节点的减少2.1 移除主节点2.1.1 迁移槽位2.1.1 删除节点: 三、redis 删除节点的重新加入3.1 加入…...
excel中解决多行文本自动调整行高后打印预览还是显示不全情况
注意:此方法对于多行合并后单元格行高调整不适用,需要手动调整,如大家有简便方法,欢迎评论。 一、调整表格为自动调整行高 1)点击此处全选表格 2)在第一行序号单元格的下端,鼠标成黑十字时&am…...
策略模式+责任链模式配合Nacos实现参数校验链
1、业务场景 在SpringBoot项目中,针对接收的参数信息,根据需求要进行以下校验: 校验客户的apikey是否合法;校验请求的ip地址是否是白名单;校验短信的签名;校验短信的模板;校验手机号的格式合法…...
‘react-native‘ 不是内部或外部命令,也不是可运行的程序或批处理文件。
原因:没有下载react-native 解决下载react-native npm i -g react-native-cli...
c语言:求最小公倍数|练习题
一、题目 输入两个数,求两数的最小公倍数。 如图: 二、思路分析 1、先知道两个数里的最小值(比如:9和6,取6) 2、用2到6,5个数,同时除以9和6,得最小公约数:3 3、用9除33,6除32。得最小…...
嵌入式系统(二)单片机基础 | 单片机特点 内部结构 最小系统 电源 晶振 复位
上一篇文章我们介绍了嵌入式系统 嵌入式系统(Embedded System)是一种特定用途的计算机系统,它通常嵌入在更大的产品或系统中,用于控制、监测或执行特定的任务。这些系统通常由硬件和软件组成,旨在满足特定的需求&…...
NLP基础——中文分词
简介 分词是自然语言处理(NLP)中的一个基本任务,它涉及将连续的文本序列切分成多个有意义的单元,这些单元通常被称为“词”或“tokens”。在英语等使用空格作为自然分隔符的语言中,分词相对简单,因为大部分…...
阿里云服务器Alibaba Cloud Linux 3镜像版本大全说明
Alibaba Cloud Linux阿里云打造的Linux服务器操作系统发行版,Alibaba Cloud Linux完全兼容完全兼容CentOS/RHEL生态和操作方式,目前已经推出Alibaba Cloud Linux 3,阿里云百科aliyunbaike.com分享Alibaba Cloud Linux 3版本特性说明ÿ…...
WebGIS开发的常见框架及优缺点
WebGIS开发引擎的发展历程: 内容来自公众号:Spatial Data 地图API分类 WebGIS系统通常都围绕地图进行内容表达,但并不是有地图就一定是WebGIS,所以下面要讨论下基于Web的地图API分类及应用场景。Web上的Map API主要分类ÿ…...
ansible 配置jspgou商城上线(MySQL版)
准备环境 准备两台纯净的服务器进行,在实验之前我们关闭防火墙和selinux systemctl stop firewalld #关闭防火墙 setenforce 0 #临时关闭selinux hosts解析(两台服务器都要去做) [rootansible-server ~]# vim /etc/hosts 10.31.162.24 ansible-ser…...
算法导论复习——CHP22 分支限界法
LIFO和FIFO分枝-限界法 采用宽度优先策略,在生成当前E-结点全部儿子之后再生成其它活结点的儿子,且用限界函数帮助避免生成不包含答案结点子树的状态空间的检索方法。两种基本设计策略: FIFO检索:活结点表采用队列&#x…...
鸿蒙系列--装饰器
一、基础UI组件结构 每个UI组件需要定义为Component struct对象,其内部必须包含一个且只能包含一个build(){}函数,用于绘制UI;struct之内、build()函数之外的地方用于存放数据。 二、基本UI装饰器 Entry 装饰struct,页面的入口…...
FairGuard游戏加固产品常见问题解答
针对日常对接中,各位用户对FairGuard游戏加固方案在安全性、稳定性、易用性、接入流程等方面的关注,我们梳理了相关问题与解答,希望可以让您对产品有一个初步的认知与认可。 Q1:FairGuard游戏加固产品都有哪些功能? A:FairGuar…...
Redis(二)数据类型
文章目录 官网备注十大数据类型StringListHashSetZSetBitmapHyperLogLog:GEOStreamBitfield 官网 英文:https://redis.io/commands/ 中文:http://www.redis.cn/commands.html 备注 命令不区分大小写,key区分大小写帮助命令help…...
2023年广东省网络安全B模块(笔记详解)
模块B 网络安全事件响应、数字取证调查和应用安全 一、项目和任务描述: 假定你是某网络安全技术支持团队成员,某企业的服务器系统被黑客攻击,你的团队前来帮助企业进行调查并追踪本次网络攻击的源头,分析黑客的攻击方式,发现系统漏洞,提交网络安全事件响应报告,修复系统…...
每日力扣算法题(简单篇)
543.二叉树的直径 原题: 给你一棵二叉树的根节点,返回该树的 直径 。 二叉树的 直径 是指树中任意两个节点之间最长路径的 长度 。这条路径可能经过也可能不经过根节点 root 。 两节点之间路径的 长度 由它们之间边数表示。 解题思路: …...
Flume基础知识(三):Flume 实战监控端口数据官方案例
1. 监控端口数据官方案例 1)案例需求: 使用 Flume 监听一个端口,收集该端口数据,并打印到控制台。 2)需求分析: 3)实现步骤: (1)安装 netcat 工具 sudo yum …...
通过IP地址如何进行网络安全防护
IP地址在网络安全防护中起着至关重要的作用,可以用于监控、过滤和控制网络流量,识别潜在威胁并加强网络安全。以下是通过IP地址进行网络安全防护的一些建议: 1. 建立IP地址白名单和黑名单: 白名单:确保只有授权的IP地…...
Vue.js 中使用 Watch 选项实现动态问题判断与展示答案
组件结构 以下是组件的基本结构: <template><div><!-- 输入框,用于输入问题 --><p>提出一个是/否问题:<input v-model"question" :disabled"loading" /></p><!-- 显示答案 --&…...
python笔记-自用
2024/1/3# python用号实现字符串的拼接,非字符串不能拼接 from pymysql import Connection# 连接mysql数据库salary 100 name "wang"ans "%s" % salary name print(ans)x 1 y 2 sum "%s %s" % (x, y) print(sum)# %s字符串占…...
谷歌浏览器插件
项目中有时候会用到插件 sync-cookie-extension1.0.0:开发环境同步测试 cookie 至 localhost,便于本地请求服务携带 cookie 参考地址:https://juejin.cn/post/7139354571712757767 里面有源码下载下来,加在到扩展即可使用FeHelp…...
设计模式和设计原则回顾
设计模式和设计原则回顾 23种设计模式是设计原则的完美体现,设计原则设计原则是设计模式的理论基石, 设计模式 在经典的设计模式分类中(如《设计模式:可复用面向对象软件的基础》一书中),总共有23种设计模式,分为三大类: 一、创建型模式(5种) 1. 单例模式(Sing…...
<6>-MySQL表的增删查改
目录 一,create(创建表) 二,retrieve(查询表) 1,select列 2,where条件 三,update(更新表) 四,delete(删除表…...
【OSG学习笔记】Day 18: 碰撞检测与物理交互
物理引擎(Physics Engine) 物理引擎 是一种通过计算机模拟物理规律(如力学、碰撞、重力、流体动力学等)的软件工具或库。 它的核心目标是在虚拟环境中逼真地模拟物体的运动和交互,广泛应用于 游戏开发、动画制作、虚…...
中南大学无人机智能体的全面评估!BEDI:用于评估无人机上具身智能体的综合性基准测试
作者:Mingning Guo, Mengwei Wu, Jiarun He, Shaoxian Li, Haifeng Li, Chao Tao单位:中南大学地球科学与信息物理学院论文标题:BEDI: A Comprehensive Benchmark for Evaluating Embodied Agents on UAVs论文链接:https://arxiv.…...
汽车生产虚拟实训中的技能提升与生产优化
在制造业蓬勃发展的大背景下,虚拟教学实训宛如一颗璀璨的新星,正发挥着不可或缺且日益凸显的关键作用,源源不断地为企业的稳健前行与创新发展注入磅礴强大的动力。就以汽车制造企业这一极具代表性的行业主体为例,汽车生产线上各类…...
Nginx server_name 配置说明
Nginx 是一个高性能的反向代理和负载均衡服务器,其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机(Virtual Host)。 1. 简介 Nginx 使用 server_name 指令来确定…...
Linux云原生安全:零信任架构与机密计算
Linux云原生安全:零信任架构与机密计算 构建坚不可摧的云原生防御体系 引言:云原生安全的范式革命 随着云原生技术的普及,安全边界正在从传统的网络边界向工作负载内部转移。Gartner预测,到2025年,零信任架构将成为超…...
Python爬虫(一):爬虫伪装
一、网站防爬机制概述 在当今互联网环境中,具有一定规模或盈利性质的网站几乎都实施了各种防爬措施。这些措施主要分为两大类: 身份验证机制:直接将未经授权的爬虫阻挡在外反爬技术体系:通过各种技术手段增加爬虫获取数据的难度…...
【RockeMQ】第2节|RocketMQ快速实战以及核⼼概念详解(二)
升级Dledger高可用集群 一、主从架构的不足与Dledger的定位 主从架构缺陷 数据备份依赖Slave节点,但无自动故障转移能力,Master宕机后需人工切换,期间消息可能无法读取。Slave仅存储数据,无法主动升级为Master响应请求ÿ…...
