小白带你学习linux的Redis3.2集群(三十三)
目录
一、Redis主从复制
1、概念
2、作用
3、缺点
4、流程
5、搭建
6、验证
二、Reids哨兵模式
1、概念
2、作用
3、缺点
4、结构
5、搭建
6、验证
三、Redis集群
1、概述
2、原理
3、架构细节
4、选举过程
四、搭建
1、第一步现在外部使用finalshell 9.9.7.5连接上虚拟机
2、更改配置文件
3、构建集群
一、Redis主从复制
1、概念
是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。
2、作用
数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。
高可用:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redi高可用的基础。
3、缺点
故障恢复无法自动化;
写操作无法负载均衡;
存储能力受到单机的限制。
4、流程
第一步:若启动一个Slave机器进程,则它会向Master机器发送一个“sync command”命令,请求同步连接。
第二步:无论是第一次连接还是重新连接,Master机器都会启动一个后台进程,将数据快照保存到数据文件中(执行rdb操作),同时Master还会记录修改数据的所有命令并缓存在数据文件中。
第三步:后台进程完成缓存操作之后,Maste机器就会向Slave机器发送数据文件,Slave端机器将数据文件保存到硬盘上,然后将其加载到内存中,接着Master机器就会将修改数据的所有操作一并发送给Slave端机器。若Slave出现故障导致宕机,则恢复正常后会自动重新连接。
第四步:Master机器收到Slave端机器的连接后,将其完整的数据文件发送给Slave端机器,如果Mater同时收到多个Slave发来的同步请求,则Master会在后台启动一个进程以保存数据文件,然后将其发送给所有的Slave端机器,确保所有的Slave端机器都正常。
5、搭建
复制redis配置文件,原文件不进行修改 主文件redis_6379.conf 从文件 redis_6380.conf
主(192.168.115.160)
修改配置文件
vim /opt/redis_6379.conf
vim /etc/redis.conf
bind 0.0.0.0
port 6379
protected-mode = no
daemonize = yes
然后重启服务
从
在一台主机上实现
vim /opt/redis_6380.conf
vim /opt/redis_6380.conf
修改配置文件
bind 0.0.0.0
port 6380
protected-mode = no
daemonize = yes
slaveof 192.168.28.128 6379
cp /etc/redis.conf /opt/redis_6379.confcp /etc/redis.conf /opt/redis_6380.confvim /opt/redis_6379.conf vim /opt/redis_6380.conf redis-server /opt/redis_6379.conf redis-server /opt/redis_6380.conf netstat -anptu | grep redis
在这里我们的主从复制就配置完成了
6、验证
使用redis-cli命令行登录redis服务器,输入role指令查看状态
在master节点上,录入数据,在slave节点上查看到对应数据即可
redis-cli -p 6379
在另一个端口上查看
如果想复制多份端口的话需要以下操作
每台服务器需要一下操作
cp redis_6380.conf redis_6381.conf cp redis_6380.conf redis_6382.conf cp redis_6380.conf redis_6383.conf vim redis_6381.conf vim redis_6382.conf vim redis_6383.conf
for i in 1 2 3;do redis-server /opt/redis_638${i}.conf;done
for i in 1 2 3;do redis-server /opt/redis_638${i}.conf;donenetstat -anptu |grep redis
验证一下
二、Reids哨兵模式
1、概念
是一个分布式系统,用于对主从结构中的每台服务器进行监控,当出现故障时通过投票机制选择新的 Master 并将所有 Slave 连接到新的 Master。所以整个运行哨兵的集群的数量不得少于3个节点。
依托于主从模式
2、作用
监控:哨兵会不断地检查主节点和从节点是否运作正常。
自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其他从节点改为复制新的主节点。
通知(提醒):哨兵可以将故障转移的结果发送给客户端。
3、缺点
写操作无法负载均衡
存储能力受到单机的限制
哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。
4、结构
哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。
数据节点:主节点和从节点都是数据节点。
5、搭建
复制哨兵文件 分别监听主从 (一主二从即可)
修改服务配置文件 一主二从分别为 redis_6379.conf redis_6380.conf redis _6381.conf
port 26379
sentinel monitor mymaster 192.168.115.160 6379 2
vim /etc/redis-sentinel.conf
cp /etc/redis-sentinel.conf /opt/redis-sentinel_6379.confcp /etc/redis-sentinel.conf /opt/redis-sentinel_6380.confcp /etc/redis-sentinel.conf /opt/redis-sentinel_6381.confvim redis-sentinel_6379.conf vim redis-sentinel_6380.conf vim redis-sentinel_6381.conf
6379的配置文件
80
81
启动 redis-sentinel 配置文件路径
启动服务 并查看
redis-sentinel redis-sentinel_6379.conf
redis-sentinel redis-sentinel_6380.conf
redis-sentinel redis-sentinel_6381.conf
netstat -anptu |grep redis
6、验证
先查看哨兵日志
cat /var/log/redis/sentinel.log
停止master后,slave会通过选举产生新的master
换了一个新的哨兵,(停止主服务器)查看是否生成新的主服务器
主服务器从端口6379变为6380
如果此时将原来的master6379上线,6381还会是master吗?
答案是不会
哨兵配置文件会自动修改监听的master节点地址为新的master节点地址
三、Redis集群
1、概述
Redis3.0版本以上开始支持cluster,采用的是hashslot(hash槽),可以将多个Redis实例整合在一起,形成一个群集,也就是将数据分散到群集的多台机器上。
2、原理
Redis Cluster是一个无中心的结构,每个节点都保存数据和整个群集的状态。每个节点都会保存其他节点的信息,知道其他节点所负责的槽,并且会与其他节点定时发送心跳信息,能够及时感知群集中异常的节点。
3、架构细节
(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
(2)节点的失效(fail)在群集中超过半数的主(master)节点检测失效时才生效。
(3)客户端与 redis 节点直连,不需要中间代理(proxy)层,客户端不需要连接群集所有节点,连接群集中任何一个可用节点即可。
(4)redis-cluster 把所有的物理节点映射到【0-16383】slot 上,cluster 负责维护 node<->slot<->key。
4、选举过程
选举过程是群集中所有master参与,如果半数以上master节点与当前 master 节点通信超(cluster—node—timeout),认为当前 master 节点挂掉。以下两种情况为整个群集不可(cluster_state:fail),当群集不可用时,所有对群集的操作都不可用,收到((error)CLUSTEFDOWN The cluster is down)错误。
如果群集任意 master挂掉,且当前 master 没有 slave,则群集进入 fail状态,也可以理解成群集的slot映射【0 ~16383】不完整时进入fail状态。
如果群集中超过半数的master挂掉,无论是否有slave,群集都进入 fail状态。
默认情况下,每个群集的节点都使用两个TCP端口.一个是6379,一个是16379;6379服务于客户端的连接,16379 用于群集总线,即使用二进制协议的节点到节点通信通道。节点使用群集总线进行故障检测、配置更新、故障转移授权等。如果开启了防火墙,需要开放这两个端口。
四、搭建
先画一个拓扑图片理清楚里面的关系
1、第一步现在外部使用finalshell 9.9.7.5连接上虚拟机
第二步开始下载连接上网络源开始下载epel-release下载两遍更新一下,安装REdis
第三步、每台机子上面创建目录
mkdir /etc/rediscp /etc/redis.conf /etc/redis/redis1_6379.confcp /etc/redis.conf /etc/redis/redis2_6380.conf
回到第一台主机分别修改配置文件内容
开始更改文件三台机子一起改了
vim /etc/redis/redis1_6379.conf
bind 192.168.28.3 本机ip
protected-mode no 关闭保护模式
port 6379 监听端口
daemonize yes 允许后台运行
dir /var/lib/redis/redis3_6379/ 目录存放位置
vim /etc/redis/redis2_6380.conf
protected-mode no
bind 192.168.28.3
daemonize yes
进入目录创建文件
cd /var/lib/redis/mkdir redis1_6379mkdir redis2_6380
启动一下文件
redis-server /etc/redis/redis1_6379.conf redis-server /etc/redis/redis2_6380.conf netstat -anptu | grep redis
第一台机子没问题了,开始弄第二台机子
bind 192.168.28.4 本机ip
protected-mode no 关闭保护模式
port 6379 监听端口
daemonize yes 允许后台运行
dir /var/lib/redis/redis3_6379/ 目录存放位置
bind 192.168.28.4
protected-mode no
port 6380
daemonize yes
dir /var/lib/redis/redis4_6380/
cd /var/lib/redis/mkdir redis3_6379mkdir redis4_6380netstat -anptu | grep redis
第三台机子
bind 192.168.28.5
protected-mode no
port 6379
daemonize yes
dir /var/lib/redis/redis5_6379/
bind 192.168.28.5
protected-mode no
port 6379
daemonize yes
dir /var/lib/redis/redis6_6380/
mkdir redis5_6379mkdir redis6_6380redis-server /etc/redis/redis5_6379.conf redis-server /etc/redis/redis6_6380.conf netstat -anptu | grep redis
这里开始我们的服务启动成功,开始配置文件分别修改配置文件中
2、更改配置文件
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
更改完配置文件一定要检查一下看一下是否起动成功
!netkill redis-server /etc/redis/redis1_6379.conf redis-server /etc/redis/redis2_6380.conf !net
第二台和上台一样
第三台和上两台一样
3、构建集群
⑴以下操作需要登录某个节点的redis数据库中
将其他节点加入集群
CLUSTER MEET 192.168.115.128 6380
CLUSTER MEET 192.168.115.128 6381
CLUSTER MEET 192.168.115.128 6382
CLUSTER MEET 192.168.115.128 6383
CLUSTER MEET 192.168.115.128 6384
查看一下字符
分配slot一定要出数据库分配数据槽
redis-cli -p 6379 cluster addslots {0..5461}
redis-cli -p 6381 cluster addslots {5462..10922}
redis-cli -p 6383 cluster addslots {10923..16383}
建立主从关系
redis-cli -h 192.168.28.5 -p 6379 cluster replicat cf2958543c77c8385a12a1408e5295fa3a39d943
redis-cli -h 192.168.28.3 -p 6380 cluster replicate b10d86332060b6c3e2cf106b4102ad2f58897faf
redis-cli -h 192.168.28.4 -p 6379 cluster replicate 6228a79970b2bb518856091201e0a9cc1865661f
根据图片找到以下的依赖
redis3是redis1的从数据库所以在库里输入
从ID redis-cli -h 192.168.28.4 -p 6379 cluster replicate 这里加入主的redis1的6379的UUID
从ID redis-cli -h 192.168.28.5 -p 6379 cluster replicate 这里加入主的redis4的6380的UUID
从ID redis-cli -h 192.168.28.3 -p 6380 cluster replicate 这里加入住的redis5的6380的UUID
查看一下数据库状态说明集群成功了
查看命令
cluster nodes
查看所有群集节点
cluster info
查看群集状态
重置集群命令
cluster reset
数据的key不能相同
创建用户他会给我们分配一个哈希槽
相关文章:

小白带你学习linux的Redis3.2集群(三十三)
目录 一、Redis主从复制 1、概念 2、作用 3、缺点 4、流程 5、搭建 6、验证 二、Reids哨兵模式 1、概念 2、作用 3、缺点 4、结构 5、搭建 6、验证 三、Redis集群 1、概述 2、原理 3、架构细节 4、选举过程 四、搭建 1、第一步现在外部使用finalshell 9.9…...

嵌入式技术,就在你的手边!
嵌入式技术,听起来多么高大上的名词,同时它也确实是当今信息技术的前沿领域,但这并不意味着它就距离我们很遥远。 事实恰恰相反,在当今科技发展迅猛的时代,嵌入式技术成为了人们生活中不可或缺的一部分。它以其小巧、高…...

nodejs+vue+elementui健康饮食美食菜谱分享网站系统
本系统采用了nodejs语言的vue框架,数据采用MySQL数据库进行存储。结合B/S结构进行开发设计,功能强大,界面化操作便于上手。本系统具有良好的易用性和安全性,系统功能齐全,可以满足饮食分享管理的相关工作。 语言 node.…...

input 设置type=“number“,鼠标悬停关闭提示语
一、问题 最近刚发现input 设置type"number"之后,鼠标悬停会出现提示语:请输入有效值。两个最接近的有效值分别为xx和xx。想要输入的值确实为number格式,又可以输入小数,不限制小数位,所以要把这讨厌的提示去…...

CSDN互利共赢玩法实战!!!
csdn项目第一波基本都顺利跑了起来,我们总计找来了一两千个新的项目源码,来让大家变现。 在实战中,主要两个玩法,一个引流,一个付费资源。付费资源门槛越来越高,所以我们这一波升级完成的号,就非…...

java.sql.SQLFeatureNotSupportedException 问题及可能的解决方法
目录 问题 分析: 解决方法 问题 java.sql.SQLFeatureNotSupportedException 分析: 可能是你的 druid的maven依赖版本太低了,我的以前是1.1.16,就出现了异常! 解决方法 把druid的maven依赖版本调高! 运…...

如何在 .NET Core WebApi 中处理 MultipartFormDataContent 中的文件
问题描述# 上图示例展示了用户通过 IOS 客户端发送请求时,对应后端接口接收到的 Request 内容。从请求内容的整体结果,我们可以看出这是一个 multipart/form-data 的数据格式,由于这种数据是由多个 multipart section 组成,所以我…...

【智力悬疑题】——【“找凶手”解法】
“找凶手”题目解法 “案件题目”💻 某地发生了一起凶杀案,警察通过排查确定杀人凶手必为4个嫌疑犯中的一个。以下为4个嫌疑犯的供词: A说:不是我。 B说:是C。 C说:是D。 D说:C在胡说。 已知3个…...

【论文阅读】基于深度学习的时序异常检测——TimesNet
系列文章链接 参考数据集讲解:数据基础:多维时序数据集简介 论文一:2022 Anomaly Transformer:异常分数预测 论文二:2022 TransAD:异常分数预测 论文三:2023 TimesNet:基于卷积的多任…...
P3741 honoka的键盘
题目背景 honoka 有一个只有两个键的键盘。 题目描述 一天,她打出了一个只有这两个字符的字符串。当这个字符串里含有 VK 这个字符串的时候,honoka 就特别喜欢这个字符串。所以,她想改变至多一个字符(或者不做任何改变…...

编写第一个 React Native 程序
React Native 目录 使用React Native CLI命令创建的目录如下图所示: 重要目录说明 目录说明__tests__存放测试用例的目录.bundle / config配置文件(一般不会用到)android 和 IOS 文件夹这两个文件夹主要是存放安卓和 ios 相关的配置文件和…...

AI:03-基于深度神经网络的低空无人机目标检测图像识别的研究
文章目录 数据集收集与预处理深度神经网络模型设计模型训练与优化目标检测与图像识别代码实现:实验结果与分析讨论与展望低空无人机的广泛应用为许多领域带来了巨大的潜力和机会。为了实现无人机的自主导航和任务执行,准确的目标检测和图像识别是至关重要的。本文旨在研究并提…...

Arcgis将一个shp依照属性表导出为多个shp
# -*- coding:utf-8 -*-import arcpy import osfrom arcpy import env#env.workspace "./" #自己设置路径shp rC:\Users\Administrator\Desktop\Lake\xxx.shp #shp文件路径outpath r"C:\Users\Administrator\Desktop\Lake\fenli" #输出结果路径with arc…...
LeetCode.26,27,88三题-双指针的运用
本文将对3道解决方法类似的题目进行逐一分析,这三道题目分别是: LeetCode.26 删除有序数组中的重复项 LeetCode.27 移除元素 LeetCode.88 合并两个有序数组 1. LeetCode.27 移除元素: 题目内容如下: 假设一个数组为࿱…...

【Django】招聘面试管理01 创建项目运行项目
文章目录 前言一、创建项目二、运行项目三、访问后台管理页面四、配置项总结 前言 跟着视频学一学,记录一下。 一、创建项目 照着步骤创建虚拟环境,安装Django等依赖包,创建项目:【Django学习】01 项目创建、结构及命令 > d…...
C# 数据类型
C# 数据类型 一、整数类型(Integral Types)1.sbyte2.byte3.short4.ushort5.int6.uint7.long8.ulong 二、浮点数类型(Floating-Point Types)1.float2.double3.decimal 三、字符类型(Character Type)1.char 四…...

竞赛项目 深度学习手势识别算法实现 - opencv python
文章目录 1 前言2 项目背景3 任务描述4 环境搭配5 项目实现5.1 准备数据5.2 构建网络5.3 开始训练5.4 模型评估 6 识别效果7 最后 1 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 深度学习手势识别算法实现 - opencv python 该项目较为新颖…...

前端进阶html+css04----盒子模型
1.一个盒子由content(文本内容),padding,border,margin组成。 2.盒子的大小指的是盒子的宽度和高度。一般由box-sizing属性来控制。 1)默认情况下, 也就是box-sizing: content-box时,盒子的宽高计算公式如下: 盒子宽…...

Go Web--Go Module
目录 一、Go Module 1、开启Go Module 2、Go Module基本操作 3、使用GoLand创建Go Module项目 4、GoLand配置File Watchers 一、Go Module Go Module包管理工具----相当于Maven 1.11版本引入 1.12版本正式支持 告别GOPATH,使用Go Module管理项目,…...

Spring Boot 统一功能处理(拦截器实现用户登录权限的统一校验、统一异常返回、统一数据格式返回)
目录 1. 用户登录权限校验 1.1 最初用户登录权限效验 1.2 Spring AOP 用户统⼀登录验证 1.3 Spring 拦截器 (1)创建自定义拦截器 (2)将自定义拦截器添加到系统配置中,并设置拦截的规则 1.4 练习:登录…...
vscode里如何用git
打开vs终端执行如下: 1 初始化 Git 仓库(如果尚未初始化) git init 2 添加文件到 Git 仓库 git add . 3 使用 git commit 命令来提交你的更改。确保在提交时加上一个有用的消息。 git commit -m "备注信息" 4 …...

树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源: http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作,无需更改相机配置。但是,一…...

23-Oracle 23 ai 区块链表(Blockchain Table)
小伙伴有没有在金融强合规的领域中遇见,必须要保持数据不可变,管理员都无法修改和留痕的要求。比如医疗的电子病历中,影像检查检验结果不可篡改行的,药品追溯过程中数据只可插入无法删除的特性需求;登录日志、修改日志…...

【HarmonyOS 5.0】DevEco Testing:鸿蒙应用质量保障的终极武器
——全方位测试解决方案与代码实战 一、工具定位与核心能力 DevEco Testing是HarmonyOS官方推出的一体化测试平台,覆盖应用全生命周期测试需求,主要提供五大核心能力: 测试类型检测目标关键指标功能体验基…...
系统设计 --- MongoDB亿级数据查询优化策略
系统设计 --- MongoDB亿级数据查询分表策略 背景Solution --- 分表 背景 使用audit log实现Audi Trail功能 Audit Trail范围: 六个月数据量: 每秒5-7条audi log,共计7千万 – 1亿条数据需要实现全文检索按照时间倒序因为license问题,不能使用ELK只能使用…...

学习STC51单片机31(芯片为STC89C52RCRC)OLED显示屏1
每日一言 生活的美好,总是藏在那些你咬牙坚持的日子里。 硬件:OLED 以后要用到OLED的时候找到这个文件 OLED的设备地址 SSD1306"SSD" 是品牌缩写,"1306" 是产品编号。 驱动 OLED 屏幕的 IIC 总线数据传输格式 示意图 …...

智能分布式爬虫的数据处理流水线优化:基于深度强化学习的数据质量控制
在数字化浪潮席卷全球的今天,数据已成为企业和研究机构的核心资产。智能分布式爬虫作为高效的数据采集工具,在大规模数据获取中发挥着关键作用。然而,传统的数据处理流水线在面对复杂多变的网络环境和海量异构数据时,常出现数据质…...
今日学习:Spring线程池|并发修改异常|链路丢失|登录续期|VIP过期策略|数值类缓存
文章目录 优雅版线程池ThreadPoolTaskExecutor和ThreadPoolTaskExecutor的装饰器并发修改异常并发修改异常简介实现机制设计原因及意义 使用线程池造成的链路丢失问题线程池导致的链路丢失问题发生原因 常见解决方法更好的解决方法设计精妙之处 登录续期登录续期常见实现方式特…...
Web 架构之 CDN 加速原理与落地实践
文章目录 一、思维导图二、正文内容(一)CDN 基础概念1. 定义2. 组成部分 (二)CDN 加速原理1. 请求路由2. 内容缓存3. 内容更新 (三)CDN 落地实践1. 选择 CDN 服务商2. 配置 CDN3. 集成到 Web 架构 …...
现有的 Redis 分布式锁库(如 Redisson)提供了哪些便利?
现有的 Redis 分布式锁库(如 Redisson)相比于开发者自己基于 Redis 命令(如 SETNX, EXPIRE, DEL)手动实现分布式锁,提供了巨大的便利性和健壮性。主要体现在以下几个方面: 原子性保证 (Atomicity)ÿ…...