当前位置： 首页 > news >正文

redis cluster集群

news 2025/6/23 7:27:20

华子目录

  • 什么是`redis集群`
  • `redis cluster`的`体系架构`
  • 什么是数据`sharding`？
  • 什么是`hash tag`
  • 集群中删除或新增节点，数据如何迁移？
  • `redis集群`如何使用`gossip`通信?
    • 定义
    • `meet信息`
    • `ping消息`
    • `pong消息`
    • `fail消息（不是用gossip协议实现的）`
    • 流量图
  • 数据访问如何定位到具体的节点？
    • 正常访问
    • 访问已被迁移到其他节点的数据
  • `redis cluster主从架构`
  • 创建`redis cluster`的`前提`

什么是redis集群

  • redis从3.0开始就支持集群，节点之间使用gossip协议进行通信，实现了去中心化，集群中支持动态的添加和删除节点，动态迁移数据以及自动执行故障转移
  • 在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受限于单机的内存大小、并发数量、网卡速率等因素
  • 集群中某个节点的是否失效，是由整个集群中超过半数的节点监测都失效，才能算真正的失效
  • 客户端不需要proxy即可直接连接redis，应用程序中需要配置有全部的redis服务器IP
  • 每个哈希槽可以存储若干个key
  • 在无中心的redis集群当中，其每个节点保存当前节点数据和整个集群状态，每个节点都和其他所有节点连接

redis cluster的体系架构

在这里插入图片描述

什么是数据sharding？

  • redis cluster使用数据分片实现key的存储分布
  • redis cluster将集群划分为16384个槽位，数据库中所有的key进行hash计算后，都会落到这16384个槽位中的其中一个槽位
  • 那么key是如何定位到哪个槽位的。可以通过公式进行计算：CRC16(key)%16384，得到的值就是槽位；16384个槽位全部分配给cluster中的节点
  • 每个节点维护自己的槽位，同时每个节点也会存储其他节点维护的槽位信息
  • 当然你也可以指定到哪个槽位，这就涉及到了hash tag

什么是hash tag

  • hash tag是用来解决用户想要将一堆数据key全部放到一个槽位而提出来的，用户可以将key设置成这样：原始的key + {tag标签}，当redis cluster碰到这样的key，就会提取{}里面的值，进行槽位计算

集群中删除或新增节点，数据如何迁移？

  • 假设cluster目前有四个节点A，B，C，D
  • 如果删除D节点，则会将D节点中的所有槽位全部分配给A，B，C节点
  • 如果新增E节点，则会将A，B，C，D中的部分槽位移动到E节点上

redis集群如何使用gossip通信?

定义

  • gossip使得元数据分布式存储，不做集中存放，实现了去中心化，当一个节点信息变更，就会触发集群中整个节点信息的更新，缺点就是更新会有延迟

meet信息

  • 用于在集群中通知新节点加入

ping消息

  • 用于检测节点是否在线及交换每个节点之间的状态信息

pong消息

  • pong消息是用来回应其他节点向自己发的消息，还可以通过发此消息，让其他节点更新此节点的状态信息

fail消息（不是用gossip协议实现的）

  • 当集群里的主节点A将主节点B标记为下线时，会通过集群广播一条关于主节点B的fail消息，所有接受到这条消息的节点（包括主从节点）都会将主节点B标记为下线

流量图

在这里插入图片描述

数据访问如何定位到具体的节点？

正常访问

在这里插入图片描述

访问已被迁移到其他节点的数据

在这里插入图片描述

redis cluster主从架构

  • Redis cluster的架构虽然解决了并发的问题，但是又引入了一个新的问题，每个Redis master的高可用如何解决？
  • 那就是对每个master节点都实现主从复制，从而实现redis高可用性

在这里插入图片描述

创建redis cluster的前提

  • 每个redis node节点采用相同的硬件配置、相同的密码、相同的redis版本
  • 每个节点必须开启的参数
cluster-enabled yes  #必须开启集群状态，开启后redis进程会有cluster显示
cluster-config-file nodes-6380.conf   #此文件有redis cluster集群自动创建和维护，不需要任何手动操作
  • 所有redis服务器必须没有任何数据
  • 先启动为单机redis且没有任何key value

相关文章：

redis cluster集群

华子目录 什么是redis集群redis cluster的体系架构什么是数据sharding？什么是hash tag集群中删除或新增节点，数据如何迁移？redis集群如何使用gossip通信?定义meet信息ping消息pong消息fail消息（不是用gossip协议实现的&#xff0…...

编程日记 2024/12/28 0:22:21

解锁高效密码：适当休息，让学习状态满格

一、“肝帝” 的困境 在当今竞争激烈的职场中，“肝帝” 现象屡见不鲜。超长工时仿佛成为了许多行业的 “标配”，从互联网企业的 “996”“007”，到传统制造业的轮班倒、无休无止的加班，员工们的工作时间被不断拉长。清晨&#xff…...

编程日记 2024/12/28 0:17:13

代码随想录算法训练营第十一天-150.逆波兰表达式求值

队列栈 #include <iostream> #include <vector> #include <stack>class Solution { public:int evalRPN(std::vector<std::string>& tokens) {std::stack<long long> stack_number;for (auto it tokens.begin(); it ! tokens.end(); it) {…...

编程日记 2024/12/28 0:16:11

C++ 泛编程 —— 嵌套使用模板类

嵌套使用模板类 嵌套使用模板类最常见的场景数组容器中有栈容器栈容器中有数组容器递归使用模板类 嵌套使用模板类最常见的场景 容器中有容器 数组的元素可以是栈&#xff0c;栈中的元素可以是数组。先来看一下Stack和Vector的基本代码&#xff0c;定长数组Array的代码也给出来…...

编程日记 2024/12/28 0:14:09

【WebGIS】Cesium：GLTF数据加载

在3D Web GIS开发中&#xff0c;使用GLTF格式的模型可以提高应用的加载速度并提升用户体验。Cesium.js是一个强大的3D地理空间引擎&#xff0c;支持GLTF格式的3D模型&#xff0c;并且提供丰富的API来处理和优化模型的加载和渲染。本文将系统地介绍如何加载GLTF模型&#xff0c;…...

编程日记 2024/12/28 0:13:08

【面经】25届 双非本科 字节跳动 北京 四年的总结

点击“硬核王同学”&#xff0c;选择“关注” 福利干货第一时间送达 大家好&#xff0c;我是硬核王同学&#xff0c;最近在做免费的嵌入式知识分享&#xff0c;帮助对嵌入式感兴趣的同学学习嵌入式、做项目、找工作&#xff01; 给大家分享一个25届本科大佬的面经&#xff0c…...

编程日记 2024/12/28 0:12:07

抖去推碰一碰系统技术源码/open SDK转发技术开发

抖去推碰一碰系统技术源码/open SDK转发技术开发 碰一碰智能系统#碰碰卡系统#碰一碰系统#碰一碰系统技术源头开发 碰碰卡智能营销系统开发是一种集成了人工智能和NFC技术的工具&#xff0c;碰碰卡智能营销系统通过整合数据分析、客户关系管理、自动化营销活动、多渠道整合和个…...

编程日记 2024/12/28 0:08:00

goview——vue3+vite——数据大屏配置系统

低代码数据大屏配置系统&#xff1a; 数据来源是可以动态api配置的&#xff1a; 配置上面的api接口后&#xff0c;在数据过滤中进行数据格式的转化。 以上内容&#xff0c;来源于https://gitee.com/dromara/go-view/tree/master-fetch/ 后端代码如下&#xff0c;需要更改…...

编程日记 2024/12/28 0:05:56

中间件xxl-job安装

拉取镜像 docker pull xuxueli/xxl-job-admin:2.4.2 创建xxl-job-admin容器 docker create --name xxl-job-admin -p 9099:8080 -e PARAMS"--spring.datasource.urljdbc:mysql://192.168.96.57:3306/xxl_job2Unicodetrue&characterEncodingUTF-8 --spring.dataso…...

编程日记 2024/12/28 0:02:51

【第2篇】 Python与数据库基础

1. 数据库的基本概念 1.1 表&#xff08;Table&#xff09; 表是数据库中存储数据的基本单位&#xff0c;由行和列组成。例如&#xff1a;users 表可以存储用户信息&#xff0c;每一行代表一个用户&#xff0c;每一列代表用户的属性&#xff08;如姓名、年龄&#xff09;。 …...

编程日记 2024/12/27 23:58:48

CTFHUB-web进阶-php

我们用蚁剑中的这个插件来做这些关卡 一.LD_PRELOAD 发现这里有一句话木马&#xff0c;并且把ant给了我们&#xff0c;我们直接连接蚁剑 右键 选择模式&#xff0c;都可以试一下&#xff0c;这里第一个就可以 点击开始 我们进入到目录&#xff0c;刷新一下&#xff0c;会有一个…...

编程日记 2024/12/27 23:55:43

深度学习使用Anaconda打开Jupyter Notebook编码

新手入门深度学习使用Anaconda打开Jupyter Notebook编码 1. 安装Anaconda 第一种是Anaconda官网下载安装包&#xff0c;但是很慢&#xff0c;不太建议 第二种使用国内清华大学镜像源下载 选择适合自己电脑的版本&#xff0c;支持windows&#xff0c;linux系统 下载完之后自行…...

编程日记 2024/12/27 23:54:42

金蝶V10中间件的使用

目录 环境准备搭建过程配置修改应用部署 环境准备 Linux内核服务器JDK1.8安装包&#xff1a;AAS-V10.zip程序包&#xff1a;***.war 搭建过程 将安装包上传至服务器opt目录下&#xff0c;官方给定的默认服务主目录为“/opt/AAS-V10/ApusicAS/aas/”&#xff1b;解压安装包(解…...

编程日记 2024/12/27 23:47:30

Firewalld 防火墙详解：深入理解与实践指南

在现代网络环境中&#xff0c;防火墙是保护系统和网络不受未授权访问的关键工具。firewalld是Linux系统中广泛使用的动态防火墙管理工具&#xff0c;它提供了强大的功能和灵活的配置选项。本文将深入探讨firewalld防火墙的工作原理、配置和管理&#xff0c;以及如何在实际环境中…...

编程日记 2024/12/27 23:42:25

linux系统编程（五）

1、信号 信号是事件发生时对进程的通知机制&#xff0c;针对每个信号都定义了一个唯一的整数&#xff0c;这些整数定义在signal.h中。 常见信号如下&#xff1a; SIGABRT&#xff1a;进程调用abort函数&#xff0c;系统向进程发送此信号&#xff0c;终止进程并产生核心转储文…...

编程日记 2024/12/27 23:37:20

Effective C++ 条款 16：成对使用 `new` 和 `delete` 时要采取相同形式

文章目录 条款 16&#xff1a;成对使用 new 和 delete 时要采取相同形式核心思想示例代码错误用法分析设计建议总结 条款 16&#xff1a;成对使用 new 和 delete 时要采取相同形式 核心思想 一致性要求 当使用 new 分配内存时&#xff0c;必须在相应的 delete 操作中保持一致&a…...

编程日记 2024/12/27 23:30:13

【HarmonyOS NEXT】鸿蒙原生应用“上述”

鸿蒙原生应用“上述”已上架华为应用市场&#xff0c;欢迎升级了鸿蒙NEXT系统的用户下载体验&#xff0c;用原生更流畅。 个人CSDN鸿蒙专栏欢迎订阅&#xff1a;https://blog.csdn.net/weixin_44640245/category_12536933.html?fromshareblogcolumn&sharetypeblogcolumn&a…...

编程日记 2024/12/27 23:24:05

【人工智能】使用Python构建推荐系统：从协同过滤到深度学习

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 推荐系统是现代互联网的重要组成部分，广泛应用于电商、社交媒体和流媒体平台中。本文详细介绍了如何使用Python构建推荐系统，从传统的协同…...

编程日记 2024/12/27 23:22:03

店铺营业状态设置

admineShopController RestController("admineShopController") RequestMapping("/admin/shop") Api(tags "店铺相关接口") Slf4j public class ShopController {//设置一个常量 因为经常使用public static final String KEY "SHOP-ST…...

编程日记 2024/12/27 23:16:56

batchnorm和layernorm的理解

batchnorm和layernorm原理和区别 batchnorm 原理 对于一个特征tensor x ∈ R b c f 1 f 2 … x \in \mathbb{R}^{b \times c \times f_1 \times f_2 \times \dots} x∈Rbcf1​f2​… 其中&#xff0c; c c c是通道&#xff0c; f f f是通道中各种特征&#xff0c;batchno…...

编程日记 2024/12/27 23:12:52

第19节 Node.js Express 框架

Express 是一个为Node.js设计的web开发框架&#xff0c;它基于nodejs平台。 Express 简介 Express是一个简洁而灵活的node.js Web应用框架, 提供了一系列强大特性帮助你创建各种Web应用&#xff0c;和丰富的HTTP工具。 使用Express可以快速地搭建一个完整功能的网站。 Expre…...

编程新知 2025/6/22 21:15:44

多云管理“拦路虎”：深入解析网络互联、身份同步与成本可视化的技术复杂度​

一、引言&#xff1a;多云环境的技术复杂性本质​​ 企业采用多云策略已从技术选型升维至生存刚需。当业务系统分散部署在多个云平台时&#xff0c;​​基础设施的技术债呈现指数级积累​​。网络连接、身份认证、成本管理这三大核心挑战相互嵌套&#xff1a;跨云网络构建数据…...

编程新知 2025/6/22 13:32:14

Redis相关知识总结（缓存雪崩，缓存穿透，缓存击穿，Redis实现分布式锁，如何保持数据库和缓存一致）

文章目录 1.什么是Redis&#xff1f;2.为什么要使用redis作为mysql的缓存&#xff1f;3.什么是缓存雪崩、缓存穿透、缓存击穿&#xff1f;3.1缓存雪崩3.1.1 大量缓存同时过期3.1.2 Redis宕机 3.2 缓存击穿3.3 缓存穿透3.4 总结 4. 数据库和缓存如何保持一致性5. Redis实现分布式…...

编程新知 2025/6/21 3:27:45

Nginx server_name 配置说明

Nginx 是一个高性能的反向代理和负载均衡服务器&#xff0c;其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机&#xff08;Virtual Host&#xff09;。 1. 简介 Nginx 使用 server_name 指令来确定…...

编程新知 2025/6/17 10:29:06

uniapp微信小程序视频实时流+pc端预览方案

方案类型技术实现是否免费优点缺点适用场景延迟范围开发复杂度​WebSocket图片帧​定时拍照Base64传输✅ 完全免费无需服务器 纯前端实现高延迟高流量 帧率极低个人demo测试 超低频监控500ms-2s⭐⭐​RTMP推流​TRTC/即构SDK推流❌ 付费方案 &#xff08;部分有免费额度&#x…...

编程新知 2025/6/16 11:51:11

3403. 从盒子中找出字典序最大的字符串 I

3403. 从盒子中找出字典序最大的字符串 I 题目链接&#xff1a;3403. 从盒子中找出字典序最大的字符串 I 代码如下&#xff1a; class Solution { public:string answerString(string word, int numFriends) {if (numFriends 1) {return word;}string res;for (int i 0;i &…...

编程新知 2025/6/21 22:11:13

OD 算法题 B卷【正整数到Excel编号之间的转换】

文章目录 正整数到Excel编号之间的转换 正整数到Excel编号之间的转换 excel的列编号是这样的&#xff1a;a b c … z aa ab ac… az ba bb bc…yz za zb zc …zz aaa aab aac…; 分别代表以下的编号1 2 3 … 26 27 28 29… 52 53 54 55… 676 677 678 679 … 702 703 704 705;…...

编程新知 2025/6/21 6:31:24

Spring AI Chat Memory 实战指南：Local 与 JDBC 存储集成

一个面向 Java 开发者的 Sring-Ai 示例工程项目&#xff0c;该项目是一个 Spring AI 快速入门的样例工程项目&#xff0c;旨在通过一些小的案例展示 Spring AI 框架的核心功能和使用方法。 项目采用模块化设计&#xff0c;每个模块都专注于特定的功能领域&#xff0c;便于学习和…...

编程新知 2025/6/20 11:58:47

AI语音助手的Python实现

引言 语音助手（如小爱同学、Siri）通过语音识别、自然语言处理（NLP）和语音合成技术，为用户提供直观、高效的交互体验。随着人工智能的普及，Python开发者可以利用开源库和AI模型，快速构建自定义语音助手。本文由浅入深，详细介绍如何使用Python开发AI语音助手，涵盖基础功…...

编程新知 2025/6/21 19:19:13

离线语音识别方案分析

随着人工智能技术的不断发展&#xff0c;语音识别技术也得到了广泛的应用&#xff0c;从智能家居到车载系统&#xff0c;语音识别正在改变我们与设备的交互方式。尤其是离线语音识别&#xff0c;由于其在没有网络连接的情况下仍然能提供稳定、准确的语音处理能力&#xff0c;广…...

编程新知 2025/6/20 13:59:53