Redis 主从复制与哨兵机制详解：从原理到高可用实战

Redis 主从复制与哨兵机制详解从原理到高可用实战1. 引言Redis 作为高性能的键值存储系统在生产环境中常面临两大挑战单点故障一个节点宕机导致服务不可用和读写压力单节点无法承载高并发读请求。为了解决这些问题Redis 提供了主从复制Master-Slave Replication来实现数据冗余和读写分离并进一步通过哨兵Sentinel实现自动故障转移构建高可用的 Redis 服务体系。本文将深入剖析主从复制的全量和部分同步原理、复制积压缓冲区的作用以及哨兵如何通过监控、选主、故障转移来保障集群的持续可用。通过流程图和对比表格帮助你彻底理解这些核心机制。2. 主从复制基础2.1 角色与特性在 Redis 主从复制架构中主节点Master负责处理写请求同时将数据变更异步复制到一个或多个从节点。从节点Slave复制主节点的数据可以处理读请求实现读写分离并在主节点故障时作为备选。核心规则一个 Master 可以有多个 Slave一个 Slave 只能有一个 Master树状结构也是通过中间节点作为 Master 实现但本质上每个 Slave 只有一个直接上游数据流向是单向的只能从 Master 流向 Slave写操作仅在 Master 执行然后同步到 Slave2.2 解决的问题目标主从复制如何解决高并发读读写分离Master 处理写多个 Slave 处理读提升整体吞吐量。数据冗余多个 Slave 持有数据副本避免单点数据丢失。高可用基础Master 宕机后Slave 可被提升为新的 Master需哨兵配合。3. 主从复制原理主从复制分为全量复制和部分复制两个阶段。Redis 2.8 版本引入PSYNC命令替代了旧版的SYNC支持断线续传部分复制大幅提高了复制效率。3.1 全量复制Full Synchronization全量复制发生在以下场景Slave 第一次连接 MasterSlave 与 Master 断开时间过长导致复制偏移量offset不在 Master 的复制积压缓冲区中流程图MasterSlaveMasterSlave启动或重连执行 BGSAVE 生成 RDB清空旧数据加载 RDB执行这些写命令追上 Master之后持续增量同步PSYNC ? -1 (首次请求全量)FULLRESYNC replid offset发送 RDB 文件发送复制积压缓冲区中的写命令详细步骤建立连接Slave 根据配置的 Master IP 和端口与 Master 建立 TCP 长连接。发送 PSYNCSlave 发送PSYNC replid offset。若第一次连接replid 为?offset 为-1表示请求全量复制。Master 响应如果 Master 决定全量复制返回FULLRESYNC replid offset其中replid是该 Master 实例的复制 IDoffset是当前的复制偏移量。生成 RDBMaster 执行BGSAVE命令生成当前数据快照的 RDB 文件。在此期间所有新的写命令都会被记录到复制积压缓冲区replication backlog buffer中。发送 RDBMaster 将 RDB 文件传输给 Slave。清空并加载Slave 清空自身旧数据然后加载 RDB 文件恢复数据状态。发送缓冲区的命令Master 将生成 RDB 期间缓存的写命令发送给 Slave。执行命令Slave 执行这些命令使数据与 Master 最终一致。持续同步此后 Master 将新产生的写命令实时发送给 Slave保持数据实时同步。3.2 部分复制Partial Synchronization当 Slave 与 Master 的网络断开后重连如果 Master 的复制积压缓冲区中还保留了 Slave 断开期间丢失的写命令则可以进行部分复制避免全量 RDB 传输。关键组件复制积压缓冲区Master 维护的一个固定大小的环形队列默认 1MB用于缓存最近向所有 Slave 发送的写命令。每个命令都有对应的偏移量offset。复制偏移量offsetMaster 和每个 Slave 各自维护一个 offset表示已复制的数据位置。Master 运行 IDreplidMaster 实例的唯一标识。Slave 会保存自己正在复制的 Master 的 replid。如果重连后 Master 的 replid 发生了变化例如主从切换则只能全量复制。流程图MasterSlaveMasterSlave网络断开后重连进入全量复制流程alt[offset 在 backlog 范围内 replid匹配][offset 太旧或 replid 不匹配]PSYNC replid offsetCONTINUE发送从 offset 开始的缺失命令FULLRESYNC过程说明Slave 重连后向 Master 发送PSYNC replid offset携带自身记录的 Master replid 和当前的复制偏移量。Master 检查如果replid与自身一致并且offset仍然在复制积压缓冲区的范围内即offset大于缓冲区最旧数据的位置则返回CONTINUE。Master 将缓冲区中从offset开始的所有写命令发送给 Slave。Slave 接收并执行这些命令完成数据追赶。如果条件不满足则进行全量复制。PSYNC的兼容性从 Redis 4.0 开始支持PSYNC2进一步优化了故障转移后部分复制的场景。4. 哨兵模式Sentinel有了主从复制当 Master 宕机时虽然 Slave 可以继续提供读服务但系统无法自动处理写请求需要人工介入将某个 Slave 提升为 Master。哨兵Sentinel就是 Redis 提供的高可用解决方案它可以监控主从节点的健康状态并在 Master 故障时自动发起故障转移选举新的 Master。4.1 哨兵集群架构哨兵本身也是一个分布式系统通常部署多个实例至少 3 个组成集群避免单点决策。Redis 主从哨兵集群客户端读写请求感知地址变化感知地址变化感知地址变化监控监控监控监控监控监控监控监控监控投票选举投票选举投票选举投票选举投票选举投票选举投票选举投票选举投票选举ClientSentinel 1Sentinel 2Sentinel 3MasterSlave 1Slave 24.2 哨兵的核心工作流程4.2.1 三个定时监控任务每个哨兵实例会定时执行以下任务任务命令作用每 10 秒INFO获取所有从节点信息更新主从拓扑每 2 秒SENTINEL HELLO频道与其他哨兵交换信息感知彼此存在每 1 秒PING检查 Master、Slave、其他哨兵的存活状态4.2.2 主观下线与客观下线主观下线SDOWN当一个哨兵发现对 Master 的PING没有在规定时间内down-after-milliseconds得到有效回复就认为该 Master主观下线。客观下线ODOWN当足够数量quorum的哨兵都认为该 Master 主观下线后就会将其标记为客观下线并触发故障转移流程。4.2.3 领导者哨兵选举一旦 Master 被标记为客观下线哨兵集群需要选出一个领导者来执行故障转移。选举基于Raft 算法的简化版本每个客观下线后的哨兵都向其他哨兵发送SENTINEL is-master-down-by-addr命令要求投票给自己。哨兵遵循先到先得原则为第一个请求投票。获得超过半数且至少quorum票数的哨兵成为领导者。如果在规定时间内未选出则重试。特殊情况即使哨兵集群只有一个节点也能独立完成故障转移因为单节点自然满足超过半数的条件但这种部署存在单点风险生产环境强烈建议至少 3 个哨兵实例。4.2.4 故障转移选举新 Master领导者哨兵执行以下步骤发现客观下线筛选健康的 Slave按优先级选择新 Master向其他 Slave 发送 SLAVEOF 新 Master更新配置并通知客户端选举新 Master 的规则依次比较优先级slave-priorityreplica-priority值越小优先级越高为 0 表示不参与选举。复制偏移量offset 越大表示数据越新优先级越高。运行 ID如果以上都相同选择 runid 最小的。后续操作领导者将选中的 Slave 提升为 Master发送SLAVEOF NO ONE。向其他 Slave 发送命令让它们复制新的 Master。更新哨兵配置当原 Master 恢复后它会作为新 Master 的 Slave 加入。5. 总结与最佳实践5.1 主从复制 哨兵 高可用 Redis 集群组件主要作用主从复制数据冗余、读写分离、为高可用提供基础复制积压缓冲区实现部分复制减少断线重连的数据传输量哨兵监控、自动故障转移、配置中心5.2 实践建议主从数量每个 Master 挂载 1~3 个 Slave 即可过多会增加 Master 的复制压力。复制积压缓冲区根据网络稳定性和写吞吐量调整repl-backlog-size默认 1MB建议根据业务计算每秒写入量 × 网络恢复预期秒数。哨兵部署至少 3 个实例且应部署在不同物理机/容器上。quorum一般设置为ceil(哨兵总数/2)。客户端感知应使用支持哨兵的客户端如 Jedis、Lettuce 的Sentinel模式以便自动切换 Master 地址。禁用危险命令建议在 Master 上禁用FLUSHALL、FLUSHDB避免误操作导致所有 Slave 被同步清空。5.3 全量与部分复制对比维度全量复制部分复制触发条件首次连接、offset 太旧、replid 变化网络短暂中断offset 仍在缓冲区数据传输RDB 文件 缓冲区命令仅缓冲区中的增量命令开销高磁盘 I/O、网络带宽低优化方向增大 backlog、改善网络稳定性-6. 思考题如果 Master 设置了requirepass密码Slave 应该怎么配置才能成功复制哨兵选举领导者时为什么需要超过半数的投票复制积压缓冲区设置过小会有什么后果