深入了解redis的哈希槽的知识

目录

1、哈希算法分类

1.1、简单哈希算法

1.2、一致性哈希算法        

1、原理：  

2、解决问题

3、数据倾斜问题

4、虚拟节点

2. 哈希槽

2.1、介绍

2. 2、作用

1、数据分片（Sharding）

2、高可用性（HA）

3、动态扩展

3. 哈希槽的分配与迁移

3.1、初始分配

3.2、迁移过程

3.3、原理

4. 与一致性哈希的区别

5. 客户端如何利用哈希槽

6. 查看哈希槽信息

---

前言

        Redis 哈希槽（Hash Slot）是 Redis Cluster 实现分布式数据存储的核心机制之一。它是 Redis 集群用于将键空间划分为多个逻辑单元（即槽位），并将这些单元分配到不同节点的策略。

关于更多redis cluster的介绍，可参考：对于Redis集群部署模式的不同实现_redis 集群-CSDN博客

---

1、哈希算法分类

1.1、简单哈希算法

        假设有三台机，数据落在哪台机的算法为：c = Hash(key) % 3

        例如 key A 的哈希值为4，4 % 3 = 1，则落在第二台机。Key ABC 哈希值为11，11 % 3 = 2，则落在第三台机上。

        利用这样的算法，假设现在数据量太大了，需要增加一台机器。A 原本落在第二台上，现在根据算法4 % 4 = 0，落到了第一台机器上了，但是第一台机器上根本没有 A 的值。

        这样的算法会导致增加机器或减少机器的时候，引起大量的缓存穿透，造成雪崩。

1.2、一致性哈希算法
        

        在一致性哈希算法中，整个哈希空间是一个虚拟圆环。从 0 ~ 2^32-1 代表的分别是一个个的节点,这个环也叫哈希环。

如下图所示：

假设有四个节点 Node D0,D1,D2,D3，经过 ip 地址的哈希计算，它们的位置如下：

1、原理：  

        然后通过数据 key 找到对应的服务器然后存储了，通过数据 key 的哈希值落在哈希环上的节点，如果命中了机器节点就落在这个机器上，否则落在顺时针直到碰到第一个机器。

        如下图所示 : A 的哈希值落在了 D2 节点的前面，往下找落在了 D2 机器上，D的哈希值 在 D1 节点的前面，往下找到了 D1 机器，B的哈希值刚好落在了D1 节点上，依次~~~

2、解决问题

解决当机器减少或增加的时候，大面积的数据重新哈希的问题。

        1、当节点宕机时，该节点的数据记录会被定位到下一个节点上，其它的数据都没有被影响到。
        2、当新增节点的时候 ，相关区间内的数据记录就需要重新哈希，其他位置的数据不需要改变。

3、数据倾斜问题

       一致性Hash算法在服务节点太少时，容易因为节点分部不均匀而造成数据倾斜（被缓存的对象大部分集中缓存在某一台服务器上）问题。

        比如只有 2 台机器，这 2 台机器离的很近，那么顺时针第一个机器节点上将存在大量的数据，第二个机器节点上数据会很少。

如下图所示，D0 机器承载了绝大多数的数据

4、虚拟节点

       为了避免出现数据倾斜问题，一致性 Hash 算法引入了虚拟节点的机制，也就是每个机器节点会进行多次哈希，最终每个机器节点在哈希环上会有多个虚拟节点存在，使用这种方式来大大削弱甚至避免数据倾斜问题。

        同时数据定位算法不变，只是多了一步虚拟节点到实际节点的映射。

如下图所示：

        例如定位到“D1#1”、“D1#2”、“D1#3”三个虚拟节点的数据均定位到 D1 上。这样就解决了服务节点少时数据倾斜的问题。

        在实际应用中，通常将虚拟节点数设置为32甚至更大，因此即使很少的服务节点也能做到相对均匀的数据分布。这也是 Dubbo 负载均衡中有一种一致性哈希负载均衡的实现思想。

---

2. 哈希槽

2.1、介绍

        Redis Cluster 是 Redis 的分布式架构，它将数据分布在多个 Redis 实例（节点）上。为了实现数据分片，Redis Cluster 使用了哈希槽（Hash Slot）机制。       

如下图所示：

1、总槽数：

        Redis 集群将键空间划分为 16384 个哈希槽（编号从 0 到 16383）。 这个数能够平衡操作成本和系统性能。

2、键的映射规则：
        每个键通过 CRC16 算法计算哈希值，然后对 16384 取模，得到所属的槽位。

• 例如：

slot = CRC16("key") % 16384

3、槽到节点的映射：

        Redis Cluster 中的每个节点负责管理若干个哈希槽。

2. 2、作用

1、数据分片（Sharding）

• 每个 Redis 节点负责一部分哈希槽（例如，3 个节点可能各负责约 5461 个槽）。
• 键的归属：键的哈希槽决定了它存储在哪个节点。客户端或集群会根据槽位找到对应的节点。

2、高可用性（HA）

• 如果某个节点失效，它的哈希槽会被重新分配到其他节点（通过故障转移或手动迁移）。
• 客户端会缓存槽位到节点的映射关系，减少查询重定向的开销。

3、动态扩展

• 添加或删除节点时，可以通过迁移哈希槽来平衡数据分布，而无需重新计算所有键的哈希值。

---

3. 哈希槽的分配与迁移

关于分配如下图所示：

3.1、初始分配

        集群初始化时，管理员通过工具（如 redis-cli --cluster）将哈希槽分配给各个节点。

        在 Redis 集群中，哈希槽的分配和计算是由 Redis 服务器自动完成的。当你执行一个写入或读取操作时，Redis 会根据键的名称自动计算其所属的哈希槽（slot），并将其路由到对应负责该槽的节点上。

✅ 使用 redis-cli --cluster 初始化哈希槽的步骤

1. 准备工作

启动 Redis 节点：确保所有节点已经启动并配置为集群模式。

# 示例：启动 3 个主节点和 3 个从节点（端口分别为 6379, 6380, 6381 和 6389, 6390, 6391）
redis-server --port 6379 --cluster-enabled yes --cluster-config-file nodes-6379.conf
redis-server --port 6380 --cluster-enabled yes --cluster-config-file nodes-6380.conf
redis-server --port 6381 --cluster-enabled yes --cluster-config-file nodes-6381.conf
redis-server --port 6389 --cluster-enabled yes --cluster-config-file nodes-6389.conf
redis-server --port 6390 --cluster-enabled yes --cluster-config-file nodes-6390.conf
redis-server --port 6391 --cluster-enabled yes --cluster-config-file nodes-6391.conf

2. 使用 redis-cli --cluster create 命令初始化集群

运行以下命令，将哈希槽分配到主节点，并建立主从关系：

redis-cli --cluster create \127.0.0.1:6379 127.0.0.1:6380 127.0.0.1:6381 \127.0.0.1:6389 127.0.0.1:6390 127.0.0.1:6391 \--cluster-replicas 1 \--cluster-yes

参数说明

• --cluster create：创建集群。
• 127.0.0.1:6379 ...：列出所有节点的地址。
• --cluster-replicas 1：每个主节点分配 1 个从节点（共 3 个主节点 + 3 个从节点）。
• --cluster-yes：自动确认操作（无需手动输入 yes）。

输出示例

>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460 (5461 slots)
Master[1] -> Slots 5461 - 10922 (5462 slots)
Master[2] -> Slots 10923 - 16383 (5461 slots)
Adding replica 127.0.0.1:6389 to 127.0.0.1:6379
Adding replica 127.0.0.1:6390 to 127.0.0.1:6380
Adding replica 127.0.0.1:6391 to 127.0.0.1:6381

3. 验证集群状态

使用以下命令检查集群是否初始化成功：

redis-cli -h 127.0.0.1 -p 6379 cluster info

输出：

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0

3.2、迁移过程

        当需要调整负载时，可以通过 CLUSTER SETSLOT 或 redis-cli --cluster reshard 命令迁移槽位。迁移过程中，源节点会逐步将数据（键值对）复制到目标节点。

迁移数据，如下图所示：

添加新节点并迁移槽位

如果需要扩展集群，可以使用以下命令：

redis-cli --cluster add-node 127.0.0.1:6392 127.0.0.1:6379
redis-cli --cluster reshard 127.0.0.1:6379

总结

        通过 redis-cli --cluster create 命令，你可以快速初始化 Redis 集群并分配哈希槽。确保节点配置正确、网络可达，并遵循最小主节点数要求。初始化完成后，使用 CLUSTER INFO 和 CLUSTER NODES 验证集群状态。

3.3、原理

1.键的分配：
        当你在Redis中插入一个键时，Redis会通过 CRC16 算法计算该键的哈希值，并映射到某个哈希槽。例如：

        键 user:1001 的哈希值为 12582，对应哈希槽 12582。
        键 order:5001 的哈希值为 7892，对应哈希槽 7892。
2.节点与槽的绑定：
        Redis集群启动时，节点会声明自己管理的哈希槽范围。

例如：

        节点 A 管理 0-5460 槽。
        节点 B 管理 5461-10922 槽。
        节点 C 管理 10923-16383 槽。
3.键的查询：
        客户端访问键时，Redis首先根据键的哈希值找到对应的哈希槽，再定位到具体的节点。

4.槽的迁移：
        如果一个节点的压力过大，Redis可以通过槽迁移功能将某些槽转移到其他节点，减轻压力。

---

4. 与一致性哈希的区别

可参考如下：

---

5. 客户端如何利用哈希槽

1、缓存映射关系：

        客户端会缓存槽位到节点的映射表，减少对集群节点的频繁查询。

2、处理 MOVED 错误：

        当客户端请求一个键时，集群会根据键的哈希槽编号将请求路由到对应的节点。如果键的哈希槽不在请求节点上，节点会返回 MOVED <slot> <ip:port> 错误，告知客户端正确的目标节点。

        客户端根据 MOVED 响应重新发送请求到目标节点，客户端根据此信息更新缓存并重试。。

3、支持多键操作：

        Redis 要求多键操作（如 MGET、MSET）的所有键必须位于同一个槽位，否则会报错。

解决方法：使用 哈希标签（Hash Tag）

如果键中包含 {}，Redis只会使用 {} 中的内容计算哈希槽。例如：

• 键 user:{1001} 和 order:{1001} 将落入相同的哈希槽。

---

        以下是一个 Java 示例代码，用于连接 Redis 集群，并输出当前集群中每个节点负责的哈希槽分配情况。

✅ Maven 依赖配置

首先，你需要在项目中引入 Jedis 依赖：

<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>4.4.0</version>
</dependency>

🧪 Java 示例代码

import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.Protocol;
import redis.clients.jedis.exceptions.JedisConnectionException;import java.util.*;public class RedisClusterSlotViewer {public static void main(String[] args) {// Redis 集群中的任意节点（可以是主节点或从节点）String host = "127.0.0.1";int port = 6379;try (Jedis jedis = new Jedis(host, port)) {// 确保连接的是集群模式String mode = jedis.info("cluster").toLowerCase();if (!mode.contains("cluster")) {System.out.println("当前 Redis 不是集群模式");return;}// 执行 CLUSTER SLOTS 命令List<List<?>> clusterSlots = jedis.clusterSlots();// 输出每个节点负责的哈希槽范围System.out.println("Redis Cluster Slot 分配如下：");for (List<?> slotRange : clusterSlots) {int startSlot = (Integer) slotRange.get(0);int endSlot = (Integer) slotRange.get(1);List<HostAndPort> nodes = parseNodeInfo(slotRange);for (HostAndPort node : nodes) {System.out.printf("槽位范围: [%d - %d] -> 节点: %s:%d%n",startSlot, endSlot, node.getHost(), node.getPort());}}} catch (JedisConnectionException e) {System.err.println("无法连接到 Redis 集群，请确认集群正在运行且网络可达");e.printStackTrace();}}/*** 解析 CLUSTER SLOTS 返回的节点信息*/private static List<HostAndPort> parseNodeInfo(List<?> slotRange) {List<HostAndPort> nodes = new ArrayList<>();List<?> nodesList = (List<?>) slotRange.get(2);for (Object nodeObj : nodesList) {List<String> nodeInfo = (List<String>) nodeObj;String host = nodeInfo.get(0);int port = Integer.parseInt(nodeInfo.get(1));nodes.add(new HostAndPort(host, port));}return nodes;}
}

📌 示例输出（假设集群为 3 节点）

Redis Cluster Slot 分配如下：
槽位范围: [0 - 5460] -> 节点: 127.0.0.1:6379
槽位范围: [5461 - 10922] -> 节点: 127.0.0.1:6380
槽位范围: [10923 - 16383] -> 节点: 127.0.0.1:6381

---

6. 查看哈希槽信息

• 查看槽位分配：

redis-cli -h <host> -p <port> cluster slots

输出示例：

1) 1) (integer) 02) (integer) 54603) 1) 1) "127.0.0.1"2) (integer) 63793) "a1b2c3d4..."

查看节点状态：

redis-cli -h <host> -p <port> cluster nodes

---

总结

        Redis 哈希槽是集群实现分布式存储的核心机制，通过固定槽位数量和动态迁移策略，解决了传统哈希分片中节点增减导致的数据迁移问题。

        理解哈希槽的分配规则和客户端交互方式，是构建高效 Redis 集群的关键。

---

参考文章：

1、redis相关知识——一致性哈希、哈希槽_一个哈希槽能存储多少数据-CSDN博客