Redis 原理深度解析：持久化 × 主从复制 × Sentinel × Cluster × 性能排查全攻略

深入 Redis 内核RDB/AOF 持久化机制、主从复制流程、Sentinel 故障转移原理、Cluster 分片路由、大Key/热Key治理、慢查询排查与 Benchmark 压测实战。四、进阶理解 Redis 原理和架构1. Redis 为什么快核心原因基于内存访问。单线程执行命令减少锁竞争。I/O 多路复用。数据结构设计高效。命令模型简单。网络协议轻量RESP。说明Redis 的单线程主要指命令执行主线程。现代 Redis 在网络 I/O、异步删除、持久化等方面已引入多线程能力。2. 持久化RDB 与 AOFRDBRDB 是快照持久化会在特定条件下生成某一时刻的数据快照。save 900 1 save 300 10 save 60 10000优点文件紧凑、适合备份、恢复速度快。缺点可能丢失最近一段时间的数据、生成快照时有额外开销。AOFAOF 会记录写命令。appendonly yes appendfsync everysec刷盘策略策略含义特点always每次写都刷盘最安全性能最低everysec每秒刷盘常用最多丢约 1 秒数据no交给操作系统性能好可靠性较弱持久化深水区fork 和 Copy-On-WriteRedis 生成 RDB 或 AOF rewrite 时会 fork 子进程父进程继续处理请求 子进程负责写持久化文件 fork 后采用 Copy-On-Write父进程修改内存页时触发页复制风险数据量越大fork 耗时可能越高。写入越频繁COW 额外内存越大。磁盘 I/O 抖动会影响 Redis。关注指标INFO persistence# 重点关注latest_fork_usec / rdb_last_bgsave_status / aof_delayed_fsyncAOF RewriteAOF 文件会随写命令变大rewrite 后压缩# 原始 AOFINCR count# × 3次# rewrite 后SET count3Redis 7.0 Multi-part AOFappendonlydir/ appendonly.aof.1.base.rdb ← 基础 RDB 快照 appendonly.aof.1.incr.aof ← 增量 AOF appendonly.aof.manifest ← 清单文件优势rewrite 更高效恢复时先加载 base RDB再回放增量 AOF。3. 内存淘汰策略策略含义noeviction不淘汰新写入报错allkeys-lru从所有 key 中淘汰最近最少使用的 keyvolatile-lru从设置了过期时间的 key 中淘汰 LRUallkeys-lfu从所有 key 中淘汰最少使用的 keyvolatile-ttl从设置了过期时间的 key 中淘汰快过期的缓存场景常用maxmemory 4gb maxmemory-policy allkeys-lruLRU vs LFULRU 关注最近是否使用LFU 关注使用频率。4. 过期删除策略惰性删除访问 key 时发现已过期再删除。定期删除周期性抽样检查并删除过期 key。内存淘汰内存不足时根据淘汰策略删除部分 key。因此一个 key 到期后不一定立刻从内存中消失。5. 主从复制Master - Replica 1 - Replica 2复制流程从节点执行REPLICAOF 192.168.1.10 6379首次全量复制Master fork 生成 RDB → 发送给 Replica → 加载 RDB → 发送期间增量写命令后续增量复制Master 持续把写命令发送给 Replica断线重连复制积压缓冲区中有缺失数据 → 部分重同步否则全量同步关键概念replication id / offset / backlog复制积压缓冲区主从复制通常是异步的可能存在短暂数据延迟。6. 主从复制一致性与故障窗口客户端写入 Master 成功 Master 还没同步给 Replica Master 宕机 Replica 被提升为新 Master 刚才写入的数据丢失降低风险SET order:1001 paid WAIT1100# 等待至少 1 个副本确认最多 100msmin-replicas-to-write 1 min-replicas-max-lag 10业务层兜底关键状态落 MySQL MQ 补偿 写操作幂等。7. Sentinel 哨兵Sentinel 用于 Redis 高可用核心功能监控 / 判断下线 / 选举新 Master / 通知客户端。故障转移流程单个 Sentinel 标记主观下线SDOWN多个 Sentinel 达成一致标记客观下线ODOWN选举 Leader Sentinel从 Replica 中选择最合适节点提升为 Master依据优先级 / 复制偏移量 / 运行状态旧 Master 恢复后变成 Replica通知客户端新的 Master 地址8. Redis ClusterRedis Cluster 通过哈希槽分片固定 16384 个 slotCRC16(key) % 16384节点槽范围Node A0 - 5460Node B5461 - 10922Node C10923 - 16383路由重定向MOVED槽已归属其他节点永久重定向ASK槽正在迁移中临时重定向Hash Taguser:{1001}:profile user:{1001}:orders{}内相同内容的 key 会落到同一个 slot支持多 key 操作。注意hash tag 不要滥用否则数据集中到少数 slot 造成倾斜。Cluster 运维redis-cli--clustercheck host:port redis-cli--clusteradd-node newHost:newPort existingHost:existingPort redis-cli--clusterreshard existingHost:existingPort9. 大 Key 问题示例String 存 10MB JSON Hash 有 100 万个 field List 有几百万个元素危害阻塞 Redis / 网络传输慢 / 删除慢 / 主从复制压力大 / Cluster 槽分布不均排查redis-cli--bigkeysMEMORY USAGE key解决拆分 key。分页读取HSCAN / SSCAN / ZSCAN。删除时用UNLINK异步不阻塞主线程。避免HGETALL、LRANGE 0 -1。10. 热 Key 问题热 Key 是被极高频访问的 key危害单节点 CPU/网络压力过高。发现redis-cli--hotkeys# 需 LFU 策略解决本地缓存Caffeine 缓存热点数据减少 Redis 访问。热 key 拆分product:1001:stock:0/1/2/3读时随机访问。多副本读把读请求分散到多个 Replica。11. 底层数据结构理解上层类型常见底层实现说明StringSDS动态字符串支持二进制安全Hashlistpack / hashtable小对象紧凑存储大对象哈希表Listquicklist双向链表 压缩列表思想Setintset / hashtable整数小集合可用 intsetZSetlistpack / skiplist dict支持范围查询和快速定位常见命令复杂度命令复杂度风险GETO(1)value 过大时网络慢HGETALLO(N)大 Hash 会阻塞SMEMBERSO(N)大 Set 风险高KEYSO(N)生产禁用12. 事件循环和网络模型客户端连接 - I/O 多路复用监听事件 - 读取请求 - 解析命令 - 执行命令 - 写回响应关键点命令执行主路径通常是单线程。单个慢命令会阻塞后续命令。Redis 6 之后支持多线程 I/O但命令执行仍需关注阻塞问题。Redis 真的是单线程吗核心命令执行线程主要是单线程。 RDB/AOF rewrite 会 fork 子进程。 异步删除由后台线程处理。 Redis 6 支持多线程 I/O 用于网络读写和协议解析。七、性能排查与优化1. 常用排查命令INFO# 全量信息INFO memory# 内存详情INFO stats# 统计信息INFO commandstats# 各命令统计INFO persistence# 持久化状态INFO clients# 客户端信息SLOWLOG GET20# 慢查询日志LATENCY DOCTOR# 延迟诊断LATENCY HISTORY event# 延迟事件历史MEMORY STATS# 内存分配详情MEMORY USAGE key# 单 key 内存占用CLIENT LIST# 当前所有客户端连接redis-cli--bigkeys# 扫描大 keyredis-cli--hotkeys# 扫描热 key需 LFU2. 慢查询分析SLOWLOG GET10配置slowlog-log-slower-than 10000 # 10ms单位微秒 slowlog-max-len 128延迟事件CONFIG SET latency-monitor-threshold5LATENCY LATEST LATENCY DOCTOR3. 内存分析与碎片整理核心指标指标含义used_memoryRedis 实际使用内存used_memory_rss操作系统分配的物理内存mem_fragmentation_ratio碎片率 rss / used碎片率判断1.0 - 1.5 正常 1.5 碎片偏高 2.0 需要处理 1.0 可能使用了 swap严重影响性能在线碎片整理Redis 4.0activedefrag yes active-defrag-ignore-bytes 100mb active-defrag-threshold-lower 10手动触发MEMORY PURGE4. 网络延迟诊断redis-cli--latency# 持续测量延迟redis-cli --latency-dist# 延迟分布直方图redis-cli --intrinsic-latency10# 系统基础延迟排除 Redis 本身5. Benchmark 压测# 只测 SET 和 GETredis-benchmark-tset,get-c100-n500000-q# 测试大 valueredis-benchmark-tset-d1024-c50-n100000# Pipeline 模式redis-benchmark-tset,get-c100-n500000-P16-q6. 常见优化清单方向优化措施命令优化避免KEYS *、HGETALL大 Hash大 Key拆分、分页扫描、UNLINK删除热 Key本地缓存、key 拆分、多副本读网络优化Pipeline、MGET/MSET 批量操作连接管理连接池、合理超时、控制连接数内存设置maxmemory、监控碎片率生产禁止命令KEYS * → 用 SCAN 替代 FLUSHALL → 禁用或 rename DEL 大 key → 用 UNLINK 替代 HGETALL 大 Hash → 用 HSCAN 替代常见面试题原理与架构篇Redis 为什么快基于内存 单线程命令执行无锁竞争 I/O 多路复用 高效数据结构 轻量协议RESPRDB 和 AOF 有什么区别维度RDBAOF持久化内容某一时刻的数据快照写命令日志恢复速度较快可能较慢数据安全性可能丢失最近一段时间数据通常更好everysec 丢约 1 秒Sentinel 如何实现故障转移监控 - 主观下线 - 客观下线 - 选举 Leader Sentinel - 选择最优 Replica 提升 - 通知客户端Redis Cluster 如何分片CRC16(key) % 16384 → 固定 16384 个 slot → 每个节点负责一部分 slot什么是大 Key有什么危害大 Key value 很大或集合元素数量非常多的 key 危害阻塞主线程 / 网络传输慢 / 删除耗时长 / 主从复制压力大 解决UNLINK 删除 / HSCAN 分页 / 拆分 keyRedis 主从切换会丢数据吗可能会。异步复制模式下Master 未同步到 Replica 的数据在 Master 宕机后会丢失。 WAIT 命令和 min-replicas 配置可降低概率但不等同强一致。本文是《Redis 知识体系》系列第二篇聚焦原理与架构。第一篇《Redis 数据结构与工程实战》→ 9大数据结构 × 11个高频场景第三篇《Redis 专家实战》→ 生产架构/容量规划/安全/37道面试题