Redis Sentinel 高可用方案在WMS仓储管理系统的应用

Redis Sentinel 高可用方案在WMS仓储管理系统的应用一、仓储场景的特殊挑战在WMSWarehouse Management System系统中Redis承载着高频且关键的业务数据业务模块Redis用途可用性要求库存实时缓存SKU库存量、库位占用状态99.99%- 断货/超卖直接损失波次/任务调度拣货任务队列、锁机制高 - 任务丢失导致作业停滞设备指令通道AGV/堆垛机指令下发与状态回传极高 - 设备碰撞风险会话与权限仓内PDA/RF枪登录状态中 - 可快速重建核心痛点传统单节点Redis在仓库24小时作业模式下任何故障都可能导致库存数据不一致 → 账面与实物不符任务队列中断 → 产线停线设备失控 → 安全事故二、Sentinel架构选型决策2.1 为什么不是Cluster在WMS场景中数据特征决定了架构选择WMS数据特征 ├── 数据规模单个仓库SKU通常在10万级非海量10GB ├── 访问模式高并发读写但无大规模分片需求 ├── 数据结构大量Hash库存、List任务队列、Pub/Sub设备通信 └── 一致性要求强一致性优先于分区容错AP→CP倾向Sentinel vs Cluster 决策矩阵维度SentinelCluster数据规模100GB单节点可承载100GB必须分片数据结构复杂度支持全部Redis特性多键操作受限跨slot故障转移速度秒级典型3-10s秒级但涉及slot迁移更复杂运维复杂度低类似MySQL MHA高需处理reshard/rebalanceWMS适配度✅首选数据量未达阈值2.2 最小高可用拓扑┌─────────────────────────────────────────┐ │ 仓库数据中心 │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ Sentinel│ │ Sentinel│ │ Sentinel│ │ 奇数节点防止脑裂 │ │ 26379 │ │ 26380 │ │ 26381 │ │ │ └────┬────┘ └────┬────┘ └────┬────┘ │ │ │ │ │ │ │ └──────────────┼──────────────┘ │ │ │ │ │ ┌───────┴───────┐ │ │ ▼ ▼ │ │ ┌─────────┐ ┌─────────┐ │ │ │ Master │◄────►│ Slave │ │ │ │ 6379 │ 同步 │ 6380 │ │ │ └────┬────┘ └────┬────┘ │ │ │ │ │ │ ┌────┴────┐ ┌────┴────┐ │ │ │ Slave │ │ Slave │ │ 级联复制减少主库压力 │ │ 6381 │ │ 6382 │ │ │ └─────────┘ └─────────┘ │ └─────────────────────────────────────────┘三、WMS场景化配置详解3.1 Redis节点配置redis.conf# # WMS生产环境 - Master节点配置 # # 1. 基础配置 bind 0.0.0.0 port 6379 daemonize yes pidfile /var/run/redis_6379.pid logfile /var/log/redis/redis_6379.log dir /data/redis/6379 # 2. 持久化策略WMS必须开启防止故障丢数据 # RDB用于快速全量恢复每日凌晨低峰期生成 save 900 1 save 300 10 save 60 10000 dbfilename dump.rdb # AOF用于实时持久化每秒刷盘平衡性能与安全 appendonly yes appendfilename appendonly.aof appendfsync everysec # WMS场景everysec是性能与安全的平衡点 no-appendfsync-on-rewrite yes auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb # 3. 复制配置Slave节点需配置replicaof # replicaof 192.168.1.10 6379 # 4. 高可用相关 # 主库必须配置密码Sentinel需要认证 requirepass WmsProd_2024_Secure masterauth WmsProd_2024_Secure # 客户端输出缓冲区防止Slave同步时阻塞 client-output-buffer-limit slave 256mb 64mb 60 # 5. WMS业务优化 maxmemory 8gb maxmemory-policy allkeys-lru # 库存数据有访问热度差异LRU合理 maxmemory-samples 10 # 6. 慢查询监控WMS核心指标 slowlog-log-slower-than 10000 # 10msWMS任务响应敏感 slowlog-max-len 128 # 7. 安全加固 rename-command FLUSHALL WMS_FLUSHALL_9x7d # 防止误操作 rename-command FLUSHDB WMS_FLUSHDB_3k2m3.2 Sentinel节点配置sentinel.conf# # WMS生产环境 - Sentinel配置3节点相同仅需调整端口 # port 26379 daemonize yes logfile /var/log/redis/sentinel_26379.log dir /tmp # 监控主库mymaster是WMS业务统一的连接标识 # 格式sentinel monitor master-name ip port quorum # quorum23个Sentinel中至少2个同意才进行故障转移 sentinel monitor mymaster 192.168.1.10 6379 2 # 认证必须与Redis主库密码一致 sentinel auth-pass mymaster WmsProd_2024_Secure # 故障判定阈值WMS场景调优 # down-after-milliseconds判定主库下线时间 # WMS建议5秒太短易误判网络抖动太长影响故障恢复 sentinel down-after-milliseconds mymaster 5000 # 故障转移超时 # 180s包含从库晋升、配置传播、旧主库重启加入等全流程 sentinel failover-timeout mymaster 180000 # 并行同步从库数1WMS从库通常2-4个串行减少主库瞬时压力 sentinel parallel-syncs mymaster 1 # 通知脚本对接WMS告警系统 sentinel notification-script mymaster /opt/wms/alert/notify.sh # 客户端重配置脚本可选用于DNS刷新或配置中心推送 sentinel client-reconfig-script mymaster /opt/wms/alert/reconfig.sh # 安全加固 requirepass Sentinel_Wms_2024四、WMS业务层接入方案4.1 连接层设计Sentinel-aware客户端JavaSpring Boot Lettuce配置示例ConfigurationpublicclassWmsRedisConfig{BeanpublicRedisConnectionFactoryredisConnectionFactory(){// 1. 配置Sentinel节点无需知道当前谁是主库RedisSentinelConfigurationsentinelConfignewRedisSentinelConfiguration().master(mymaster)// 必须与sentinel.conf中的master-name一致.sentinel(192.168.1.20,26379).sentinel(192.168.1.21,26380).sentinel(192.168.1.22,26381);// 2. 认证配置sentinelConfig.setPassword(RedisPassword.of(WmsProd_2024_Secure));sentinelConfig.setSentinelPassword(RedisPassword.of(Sentinel_Wms_2024));// 3. Lettuce客户端优化WMS高并发场景ClientOptionsclientOptionsClientOptions.builder()// 自动拓扑刷新Sentinel切换主库后客户端自动感知.autoReconnect(true).pingBeforeActivateConnection(true).build();LettuceClientConfigurationclientConfigLettuceClientConfiguration.builder().clientOptions(clientOptions)// 读取从库适合库存查询类操作减轻主库压力.readFrom(ReadFrom.REPLICA_PREFERRED).build();returnnewLettuceConnectionFactory(sentinelConfig,clientConfig);}// 4. 序列化配置WMS大量使用Hash存储库存对象BeanpublicRedisTemplateString,ObjectredisTemplate(RedisConnectionFactoryfactory){RedisTemplateString,ObjecttemplatenewRedisTemplate();template.setConnectionFactory(factory);// 使用String序列化keyJSON序列化valueStringRedisSerializerstringSerializernewStringRedisSerializer();GenericJackson2JsonRedisSerializerjsonSerializernewGenericJackson2JsonRedisSerializer();template.setKeySerializer(stringSerializer);template.setHashKeySerializer(stringSerializer);template.setValueSerializer(jsonSerializer);template.setHashValueSerializer(jsonSerializer);returntemplate;}}4.2 库存操作模式乐观锁防超卖ServicepublicclassInventoryService{AutowiredprivateStringRedisTemplateredisTemplate;privatestaticfinalStringSTOCK_KEYwms:stock:%s;// %sSKUprivatestaticfinalStringLOCK_KEYwms:lock:stock:%s;/** * WMS核心扣减库存拣货出库 * 使用Redis事务WATCH-MULTI-EXEC实现乐观锁 */publicbooleandeductStock(Stringsku,intquantity){StringstockKeyString.format(STOCK_KEY,sku);returnredisTemplate.execute(newSessionCallbackBoolean(){OverridepublicBooleanexecute(RedisOperationsoperations){// 1. WATCH监控库存键如果被其他客户端修改事务将失败operations.watch(stockKey);// 2. 获取当前库存StringstockStr(String)operations.opsForValue().get(stockKey);intcurrentStockstockStrnull?0:Integer.parseInt(stockStr);if(currentStockquantity){operations.unwatch();returnfalse;// 库存不足}// 3. 开启事务operations.multi();operations.opsForValue().decrement(stockKey,quantity);// 4. 执行事务返回空表示WATCH的键被修改需重试ListObjectresultsoperations.exec();// 5. 事务失败时Sentinel已切换主库连接会自动重定向到新主库// 业务层只需简单重试即可returnresults!null!results.isEmpty();}});}/** * 分布式锁波次任务分配防止同一任务被多个PDA领取 */publicbooleanacquireTaskLock(StringtaskId,StringpdaId,longexpireSeconds){StringlockKeyString.format(LOCK_KEY,taskId);// Redis 2.6 的 SET key value EX seconds NX 原子操作BooleansuccessredisTemplate.opsForValue().setIfAbsent(lockKey,pdaId,expireSeconds,TimeUnit.SECONDS);returnBoolean.TRUE.equals(success);}}4.3 故障转移感知与降级ComponentpublicclassRedisHealthIndicatorimplementsHealthIndicator{AutowiredprivateStringRedisTemplateredisTemplate;OverridepublicHealthhealth(){try{// 通过INFO replication判断当前节点角色PropertiesinforedisTemplate.execute((RedisCallbackProperties)conn-conn.info(replication));Stringroleinfo.getProperty(role);StringmasterHostinfo.getProperty(master_host);// WMS监控记录当前连接的Redis节点信息returnHealth.up().withDetail(role,role).withDetail(master_host,masterHost).withDetail(connected_slaves,info.getProperty(connected_slaves)).build();}catch(Exceptione){// Sentinel故障转移期间短暂连接失败属正常// 业务层应启用本地缓存降级或队列缓冲returnHealth.down().withDetail(error,e.getMessage()).withDetail(action,启用DB直接查询降级).build();}}}五、WMS专项运维方案5.1 监控指标体系# Prometheus Grafana 监控配置groups:-name:wms_redis_sentinelrules:# 1. 核心主库可用性WMS生命线-alert:RedisMasterDownexpr:redis_up{rolemaster} 0for:0s# 立即告警labels:severity:criticalteam:wms-opsannotations:summary:WMS Redis主库宕机# 2. 复制延迟影响库存一致性-alert:RedisReplicationLagexpr:redis_master_last_io_seconds_ago10for:30slabels:severity:warningannotations:summary:从库复制延迟超过10秒# 3. Sentinel判定异常-alert:SentinelMasterSwitchexpr:changes(sentinel_master_status{master_namemymaster})[5m]0labels:severity:warningannotations:summary:Sentinel发生主从切换# 4. WMS业务指标库存操作延迟-alert:WmsStockOpSlowexpr:histogram_quantile(0.99,rate(wms_stock_operation_duration_seconds_bucket[5m]))0.1labels:severity:warningannotations:summary:99分位库存操作延迟100ms5.2 故障演练模拟主库宕机#!/bin/bash# WMS Redis Sentinel 故障演练脚本MASTER_IP192.168.1.10MASTER_PORT6379echo 演练开始模拟主库故障 # 1. 记录当前拓扑echo当前Sentinel监控状态redis-cli-h192.168.1.20-p26379-aSentinel_Wms_2024\SENTINEL master mymaster# 2. 制造故障关闭主库进程echo停止主库Redis进程...ssh$MASTER_IPsystemctl stop redis6379# 3. 观察Sentinel自动切换通常3-10秒echo等待Sentinel故障转移...sleep10# 4. 验证新主库NEW_MASTER$(redis-cli-h192.168.1.20-p26379-aSentinel_Wms_2024\SENTINEL get-master-addr-by-name mymaster)echo新主库地址$NEW_MASTER# 5. 验证WMS业务连续性echo验证库存服务可用性...curl-shttp://wms-api/inventory/health|jq.# 6. 恢复旧主库将作为从库加入echo恢复旧主库...ssh$MASTER_IPsystemctl start redis6379echo旧主库已作为从库重新加入集群echo 演练完成 5.3 数据备份与灾难恢复# WMS Redis 备份策略每日凌晨2点执行#!/bin/bashBACKUP_DIR/backup/redis/$(date%Y%m%d)mkdir-p$BACKUP_DIR# 1. 通过Sentinel获取当前主库地址MASTER_INFO$(redis-cli-hsentinel-1-p26379SENTINEL get-master-addr-by-name mymaster)MASTER_HOST$(echo$MASTER_INFO|cut-d -f1)MASTER_PORT$(echo$MASTER_INFO|cut-d -f2)# 2. 热备份BGSAVE触发RDB然后复制redis-cli-h$MASTER_HOST-p$MASTER_PORT-aWmsProd_2024_Secure BGSAVEsleep5# 等待后台保存完成scp$MASTER_HOST:/data/redis/$MASTER_PORT/dump.rdb$BACKUP_DIR/# 3. AOF文件备份如果启用scp$MASTER_HOST:/data/redis/$MASTER_PORT/appendonly.aof$BACKUP_DIR/# 4. 上传到异地存储OSS/S3aliyun osscp$BACKUP_DIRoss://wms-backup/redis/--recursive# 5. 保留最近7天本地备份find/backup/redis-typed-mtime7-execrm-rf{}\;六、WMS场景优化总结优化项方案效果读写分离LettuceReadFrom.REPLICA_PREFERRED主库负载降低40%连接保活配置autoReconnect 拓扑刷新故障转移无感知库存防超卖WATCH事务 乐观锁重试100%避免超卖任务队列List BRPOP阻塞读取毫秒级任务分发设备通信Pub/Sub频道独立Sentinel组与库存数据隔离避免干扰七、关键配置检查清单部署前逐项确认Sentinel节点数为奇数3/5/7且与Redis节点物理隔离down-after-milliseconds根据机房网络质量调整建议3-10s所有节点配置相同密码且复杂度符合安全规范禁用危险命令FLUSHALL/FLUSHDB/CONFIG SET或重命名AOF开启且appendfsync设置为everysecWMS平衡模式客户端配置自动拓扑刷新Lettuce/Redisson原生支持监控告警覆盖主库状态、复制延迟、Sentinel切换事件工程箴言WMS的高可用不是不故障而是故障时库存不错、任务不乱、设备不停。Sentinel的秒级切换能力配合业务层的重试与降级设计才能构建真正 resilient 的仓储系统。