Redis 集群从裸奔到全副武装：搭建、可视化、监控、告警、看板一条龙

你的 Redis 集群还在裸奔吗跑着跑着挂了不知道内存爆了没人管慢查询堆成山还蒙在鼓里。网上教程要么只讲搭建要么只讲监控想找一篇从头到尾串起来的——没有。所以我写了这篇从搭建集群 → 可视化管理 → 指标监控 → 告警规则 → Grafana 看板一条龙给你安排明白。文章目录一、整体架构二、搭建 Redis 集群2.1 部署方案2.2 启动 6 个节点2.3 初始化集群2.4 验证集群状态三、可视化RedisInsight3.1 为什么选 RedisInsight3.2 部署3.3 连接 Redis 集群四、监控Prometheus Redis Exporter4.1 Exporter 选型4.2 部署 Exporter4.3 Prometheus 配置五、告警Prometheus Rules六、看板Grafana Dashboard6.1 导入看板6.2 效果展示七、总结一、整体架构先看全貌心里有数Redis Cluster3主3从 ↓ 数据管理 RedisInsightWeb 可视化 ↓ 指标采集 Redis Exporter × 6每个节点一个 ↓ 指标存储 Prometheus采集 告警规则 ↓ 数据展示 Grafana看板 告警通知组件作用一句话总结Redis Cluster缓存服务干活的RedisInsight数据可视化看数据的Redis Exporter指标采集体检的Prometheus指标存储 告警盯梢的Grafana看板展示看报告的二、搭建 Redis 集群2.1 部署方案基于 Docker 部署3 主 3 从共 6 个节点Redis 版本7.4.2。环境建议生产环境至少 3 台机器主从分布在不同机器上使用--networkhost测试环境1 台机器即可端口映射方式本文没有用 docker-compose原因很实际生产环境多台机器部署时直接粘贴 docker 命令比 compose 更灵活。2.2 启动 6 个节点6 个节点的命令结构完全一样只有名称、端口、IP三处不同。这里给出完整的第一个节点命令后面用表格列出差异节点 1完整命令dockerrun-d\--nameredis1\--volume/data/redis-cluster/redis1:/data\--workdir/data\--restartalways\-eTIME_ZONEAsia/Shanghai\-p6379:6379\-p16379:16379\redis:7.4.2\redis-server\--port6379\--bind0.0.0.0\--cluster-announce-ip10.0.1.1\--cluster-announce-port6379\--cluster-announce-bus-port16379\--protected-mode no\--cluster-enabledyes\--cluster-config-file nodes-6379.conf\--cluster-node-timeout5000\--appendonlyyes\--appendfsynceverysec\--save\--maxmemory6g\--maxmemory-policy allkeys-lru\--slowlog-log-slower-than1000\--slowlog-max-len512\--requirepassYourStr0ngPssw0rd\--masterauthYourStr0ngPssw0rd生产环境建议加上--networkhost去掉-p端口映射。不需要提前创建nodes-6379.conf执行命令后/data/redis-cluster/redis1下会自动创建该文件其余 5 个节点的差异节点–name–port-p服务端口-p总线端口–cluster-announce-ip–cluster-config-file数据目录redis2redis263806380:638016380:1638010.0.1.2nodes-6380.confredis2redis3redis363816381:638116381:1638110.0.1.3nodes-6381.confredis3redis4redis463826382:638216382:1638210.0.1.1nodes-6382.confredis4redis5redis563836383:638316383:1638310.0.1.2nodes-6383.confredis5redis6redis663846384:638416384:1638410.0.1.3nodes-6384.confredis6照着节点 1 的命令把表格里的差异项替换一下就行。复制粘贴改三处程序员最擅长的事。关键参数说明参数值说明--cluster-announce-ip实际 IP集群节点间通信地址不能用 127.0.0.1--cluster-announce-bus-port服务端口10000集群总线端口节点间 gossip 通信用--appendonly yes—开启 AOF 持久化--appendfsync everysec—每秒刷盘兼顾性能和数据安全--save —关闭 RDB 快照已有 AOF--maxmemory-policy allkeys-lru—内存满时淘汰最近最少使用的 Key--slowlog-log-slower-than 1000微秒超过 1ms 的命令记入慢查询日志--requirepass/--masterauth同一密码客户端认证 主从复制认证2.3 初始化集群6 个节点都启动后进入任意一个容器初始化集群# 进入容器dockerexec-itredis1bash# 初始化集群3 主 3 从--cluster-replicas 1 表示每个主节点分配 1 个从节点redis-cli-aYourStr0ngPssw0rd\--clustercreate\10.0.1.1:6379\10.0.1.2:6380\10.0.1.3:6381\10.0.1.1:6382\10.0.1.2:6383\10.0.1.3:6384\--cluster-replicas12.4 验证集群状态# 查看集群信息redis-cli-aYourStr0ngPssw0rdcluster info# 期望输出# cluster_state:ok# cluster_slots_assigned:16384# cluster_known_nodes:6# 查看节点角色分布redis-cli-aYourStr0ngPssw0rdcluster nodes确认cluster_state:ok且 16384 个 slot 全部分配完毕集群就绑好了。三、可视化RedisInsight集群跑起来了但redis-cli敲命令看数据效率约等于用记事本写代码。上个可视化工具吧。3.1 为什么选 RedisInsight工具优势劣势RedisInsightRedis 官方出品支持集群、支持 Web 访问功能较重Another Redis Desktop Manager轻量开源桌面客户端不适合团队共享redis-cli轻量到极致只适合临时操作推荐Web 版 RedisInsight一次部署团队所有人浏览器直接访问不用每人装客户端。3.2 部署dockerrun-d\--nameredisinsight\--volume/data/redisinsight:/data\--restartalways\-p5540:5540\--usernode\--envTZAsia/Shanghai\--envLANGzh_CN.UTF-8\--workdir/usr/src/app\redislabs/redisinsight:latest3.3 连接 Redis 集群访问http://你的IP:5540进入主界面点击Add Redis Database填写集群任意一个节点的地址和密码连接成功后点击进入就能直观地浏览 Key、执行命令、查看慢查询到这一步你已经能看数据了。但看得见不等于盯得住——Redis 半夜挂了RedisInsight 可不会打电话叫你。接下来上监控。四、监控Prometheus Redis Exporter4.1 Exporter 选型ExporterStars特点oliver006/redis_exporter3k社区主流支持集群、支持密码认证、Grafana 模板丰富redis-stat较少自带 Web UI但指标不够全oliver006/redis_exporter是事实标准Grafana 官方模板都基于它没什么好纠结的。4.2 部署 Exporter每个 Redis 节点部署一个 Exporter同样给出第一个的完整命令 差异表格节点 1 的 Exporterdockerrun-d\--nameredis1-exporter\-p9121:9121\--restartalways\oliver006/redis_exporter:latest\--redis.addrredis://10.0.1.1:6379\--redis.passwordYourStr0ngPssw0rd\--is-cluster\--web.listen-address:9121其余 5 个 Exporter 的差异Exporter–name-p–redis.addr节点2redis2-exporter9122:9121redis://10.0.1.2:6380节点3redis3-exporter9123:9121redis://10.0.1.3:6381节点4redis4-exporter9124:9121redis://10.0.1.1:6382节点5redis5-exporter9125:9121redis://10.0.1.2:6383节点6redis6-exporter9126:9121redis://10.0.1.3:6384验证 Exporter 是否正常访问http://IP:9121/metrics能看到一堆redis_开头的指标就对了。4.3 Prometheus 配置在prometheus.yml的scrape_configs中添加scrape_configs:-job_name:redis-clustermetrics_path:/metricsstatic_configs:-targets:-10.0.1.1:9121-10.0.1.2:9122-10.0.1.3:9123-10.0.1.1:9124-10.0.1.2:9125-10.0.1.3:91266 个节点放在同一个job_name下即可Prometheus 会通过instance标签自动区分。不需要写 6 个 job。重新加载 Prometheus 配置# 方式一热加载需要启动时加 --web.enable-lifecycle 参数curl-XPOST http://localhost:9090/-/reload# 方式二重启容器dockerrestart prometheus在 Prometheus 页面搜索redis能看到一堆指标就说明采集成功五、告警Prometheus Rules指标采到了但你不可能 24 小时盯着 Prometheus 看曲线。该让机器替你盯着了。在 Prometheus 的rules目录下新建redis-rules.ymlgroups:-name:redis-rulesrules:# Redis 宕机-alert:redis downexpr:redis_up 0for:1mlabels:severity:criticalannotations:summary:redis down (instance {{ $labels.instance }})description:redis instance is down.# 内存使用率 90%-alert:redis memory usage highexpr:redis_memory_used_bytes / redis_config_maxmemory0.9for:5mlabels:severity:criticalannotations:summary:redis memory usage high (instance {{ $labels.instance }})description:redis memory usage is {{ humanizePercentage $value }}, higher than 90% of maxmemory.# 内存碎片率过高-alert:redis memory fragmentation highexpr:redis_memory_used_bytes0 and redis_mem_fragmentation_ratio1.5for:10mlabels:severity:warningannotations:summary:redis memory fragmentation high (instance {{ $labels.instance }})description:redis memory fragmentation ratio is {{ $value }}, higher than 1.5.# 连接数过高-alert:redis connection highexpr:redis_connected_clients2000for:5mlabels:severity:warningannotations:summary:redis connection high (instance {{ $labels.instance }})description:redis connected clients is {{ $value }}, higher than 2000.# 拒绝连接-alert:redis rejected connectionsexpr:increase(redis_rejected_connections_total[5m])0for:1mlabels:severity:criticalannotations:summary:redis rejected connections (instance {{ $labels.instance }})description:redis rejected {{ $value }} connections in the last 5 minutes.# 命令执行速率过高-alert:redis command execution rate highexpr:rate(redis_commands_processed_total[1m])5000for:1mlabels:severity:warningannotations:summary:redis command execution rate high (instance {{ $labels.instance }})description:redis command execution rate is {{ humanize $value }}/s, higher than 5000/s.# Key 驱逐触发 maxmemory 淘汰策略-alert:redis keys evictedexpr:increase(redis_evicted_keys_total[5m])0for:1mlabels:severity:warningannotations:summary:redis keys evicted (instance {{ $labels.instance }})description:redis evicted {{ $value }} keys in the last 5 minutes, maxmemory policy triggered.# 主从断开-alert:redis master link downexpr:redis_connected_slaves 1 and redis_instance_info{rolemaster} 1for:2mlabels:severity:criticalannotations:summary:redis master has no slaves (instance {{ $labels.instance }})description:redis master has {{ $value }} connected slaves, replication may be broken.# 慢查询增长-alert:redis slowlog growingexpr:increase(redis_slowlog_length[5m])10for:1mlabels:severity:warningannotations:summary:redis slowlog growing (instance {{ $labels.instance }})description:redis slowlog increased by {{ $value }} in the last 5 minutes.告警规则一览规则触发条件级别说明宕机redis_up 0critical实例不可达内存使用率高 90% maxmemorycritical即将触发淘汰或 OOM内存碎片率高 1.5warning内存浪费考虑重启或MEMORY PURGE连接数高 2000warning可能存在连接泄漏拒绝连接5 分钟内有拒绝critical已达 maxclients 上限命令速率高 5000/swarning负载过高排查热 KeyKey 驱逐5 分钟内有驱逐warningmaxmemory 策略已触发主从断开master 无 slavecritical复制链路断裂慢查询增长5 分钟增长 10warning排查大 Key 或复杂命令进入 Prometheus Alerts六、看板Grafana Dashboard最后一步把枯燥的指标变成赏心悦目的图表。6.1 导入看板Grafana 官方模板市场有大量现成的 Redis 看板推荐这两个看板模板 ID适用场景Redis Dashboard for Prometheus763单节点详情内存、命令、连接、Key 统计Redis Cluster Dashboard21914集群全局视角节点分布、slot、主从状态导入步骤Grafana → 仪表板 → 新建 → 导入 → 输入模板 ID → 加载 → 选择 Prometheus 数据源 → 导入。6.2 效果展示Redis 单节点看板ID: 763Redis 集群看板ID: 21914七、总结从裸奔到全副武装完整链路回顾① 搭建集群3主3从 ↓ ② 装上 RedisInsight看数据 ↓ ③ 部署 Exporter采指标 ↓ ④ 配置 Prometheus存指标 告警规则 ↓ ⑤ 导入 Grafana 看板看报表阶段完成后你获得的能力集群搭建Redis 高可用自动故障转移RedisInsight浏览器看数据、执行命令、查慢查询Exporter Prometheus指标采集、历史趋势、告警触发Grafana 看板一眼看穿集群健康状态Redis 集群搭完不加监控就像买了辆车不装仪表盘——跑是能跑但油没了、水温高了、胎压低了你一个都不知道。花半小时把监控配齐能省你无数个凌晨