当前位置：首页 > news >正文

k8s上面的Redis集群链接不上master的解决办法

news 2025/9/13 22:23:13

问题描述

之前在k8s上面部署了一台node，然后创建了6个redis的pod，构建了一个redis的集群，正常运行。

最近添加了一台slave node，然后把其中的几个redis的pod调度到了slave node上面，结果集群就起不来了，看了下log报如下错误：

127.0.0.1:6379> get test
(error) CLUSTERDOWN The cluster is down127.0.0.1:6379> cluster info
cluster_state:fail
cluster_slots_assigned:16384
cluster_slots_ok:0
cluster_slots_pfail:16384
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:14
cluster_my_epoch:14
cluster_stats_messages_ping_sent:4
cluster_stats_messages_sent:4
cluster_stats_messages_received:0
total_cluster_links_buffer_limit_exceeded:0$ kubectl logs redis-app-5
... ...
1:S 19 Nov 2024 01:58:13.251 * Connecting to MASTER 172.16.43.44:6379
1:S 19 Nov 2024 01:58:13.251 * MASTER <-> REPLICA sync started
1:S 19 Nov 2024 01:58:13.251 * Cluster state changed: ok
1:S 19 Nov 2024 01:58:20.754 # Cluster state changed: fail
1:S 19 Nov 2024 01:59:14.979 # Timeout connecting to the MASTER...
1:S 19 Nov 2024 01:59:14.979 * Reconnecting to MASTER 172.16.43.44:6379 after failure
1:S 19 Nov 2024 01:59:14.979 * MASTER <-> REPLICA sync started
1:S 19 Nov 2024 02:00:15.422 # Timeout connecting to the MASTER...
1:S 19 Nov 2024 02:00:15.422 * Reconnecting to MASTER 172.16.43.44:6379 after failure
1:S 19 Nov 2024 02:00:15.422 * MASTER <-> REPLICA sync started
1:S 19 Nov 2024 02:01:16.357 # Timeout connecting to the MASTER...
1:S 19 Nov 2024 02:01:16.357 * Reconnecting to MASTER 172.16.43.44:6379 after failure
1:S 19 Nov 2024 02:01:16.357 * MASTER <-> REPLICA sync started

问题分析

这种情况是redis的pod已经重新启动了，相应的ip地址可能已经变掉了，但是集群部署还是按照重启之前的配置来的，所以导致启动失败。

我的解决办法：

首先查看各个redis pod的信息

$  kubectl describe pod redis-app | grep IPcni.projectcalico.org/podIP: 172.16.178.201/32cni.projectcalico.org/podIPs: 172.16.178.201/32
IP:               172.16.178.201
IPs:IP:           172.16.178.201cni.projectcalico.org/podIP: 172.16.178.202/32cni.projectcalico.org/podIPs: 172.16.178.202/32
IP:               172.16.178.202
IPs:IP:           172.16.178.202cni.projectcalico.org/podIP: 172.16.43.1/32cni.projectcalico.org/podIPs: 172.16.43.1/32
IP:               172.16.43.1
IPs:IP:           172.16.43.1cni.projectcalico.org/podIP: 172.16.178.203/32cni.projectcalico.org/podIPs: 172.16.178.203/32
IP:               172.16.178.203
IPs:IP:           172.16.178.203cni.projectcalico.org/podIP: 172.16.43.63/32cni.projectcalico.org/podIPs: 172.16.43.63/32
IP:               172.16.43.63
IPs:IP:           172.16.43.63cni.projectcalico.org/podIP: 172.16.178.204/32cni.projectcalico.org/podIPs: 172.16.178.204/32
IP:               172.16.178.204
IPs:IP:           172.16.178.204$ kubectl get pods -o wide
NAME                                 READY   STATUS    RESTARTS         AGE     IP               NODE       NOMINATED NODE   READINESS GATES
redis-app-0                          1/1     Running   0                2m34s   172.16.178.201   kevin-s1   <none>           <none>
redis-app-1                          1/1     Running   0                2m32s   172.16.178.202   kevin-s1   <none>           <none>
redis-app-2                          1/1     Running   0                2m30s   172.16.43.1      kevin-pc   <none>           <none>
redis-app-3                          1/1     Running   0                2m26s   172.16.178.203   kevin-s1   <none>           <none>
redis-app-4                          1/1     Running   0                2m24s   172.16.43.63     kevin-pc   <none>           <none>
redis-app-5                          1/1     Running   0                2m19s   172.16.178.204   kevin-s1   <none>           <none>

然后通过inem0o/redis-trib根据pods的最新ip重新创建集群

$ sudo docker run --rm -ti inem0o/redis-trib create --replicas 1 172.16.178.201:6379 172.16.178.202:6379 172.16.43.1:6379 172.16.43.63:6379 172.16.178.204:6379 172.16.178.203:6379

在创建集群的过程中可能会遇到下面这个错误

$ sudo docker run --rm -ti inem0o/redis-trib create --replicas 1 172.16.178.201:6379 172.16.178.202:6379 172.16.43.1:6379 172.16.43.63:6379 172.16.178.204:6379 172.16.178.203:6379
>>> Creating cluster
[ERR] Node 172.16.178.201:6379 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

这种情况是因为redis的pod没有被重置，需要登录出问题的pod然后用redis-cii重置集群

$ kubectl exec -it redis-app-0 -- redis-cli -h 172.16.178.201 -p 6379
172.16.178.201:6379> CLUSTER RESET
OK

出问题的pod全部重置完之后再执行上面的命令，集群重新构建成功

$ sudo docker run --rm -ti inem0o/redis-trib create --replicas 1 172.16.178.201:6379 172.16.178.202:6379 172.16.43.1:6379 172.16.43.63:6379 172.16.178.204:6379 172.16.178.203:6379
>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
172.16.178.201:6379
172.16.178.202:6379
172.16.43.1:6379
Adding replica 172.16.43.63:6379 to 172.16.178.201:6379
Adding replica 172.16.178.204:6379 to 172.16.178.202:6379
Adding replica 172.16.178.203:6379 to 172.16.43.1:6379
M: 57d9f345d23e7bf7dd2f331e14d9d7143aa9617f 172.16.178.201:6379slots:0-5460 (5461 slots) master
M: f5d617c0ed655dd6afa32c5d4ec6260713668639 172.16.178.202:6379slots:5461-10922 (5462 slots) master
M: 808de7e00f10fe17a5582cd76a533159a25006d8 172.16.43.1:6379slots:10923-16383 (5461 slots) master
S: 44ac042b99b9b73051b05d1be3d98cf475f67f0a 172.16.43.63:6379replicates 57d9f345d23e7bf7dd2f331e14d9d7143aa9617f
S: 8db8f89b7b28d0ce098de275340e3c4679fd342d 172.16.178.204:6379replicates f5d617c0ed655dd6afa32c5d4ec6260713668639
S: 2f5860e62f03ea17d398bbe447a6f1d428ae8698 172.16.178.203:6379replicates 808de7e00f10fe17a5582cd76a533159a25006d8
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join.
>>> Performing Cluster Check (using node 172.16.178.201:6379)
M: 57d9f345d23e7bf7dd2f331e14d9d7143aa9617f 172.16.178.201:6379slots:0-5460 (5461 slots) master1 additional replica(s)
S: 44ac042b99b9b73051b05d1be3d98cf475f67f0a 172.16.43.63:6379@16379slots: (0 slots) slavereplicates 57d9f345d23e7bf7dd2f331e14d9d7143aa9617f
M: f5d617c0ed655dd6afa32c5d4ec6260713668639 172.16.178.202:6379@16379slots:5461-10922 (5462 slots) master1 additional replica(s)
S: 8db8f89b7b28d0ce098de275340e3c4679fd342d 172.16.178.204:6379@16379slots: (0 slots) slavereplicates f5d617c0ed655dd6afa32c5d4ec6260713668639
S: 2f5860e62f03ea17d398bbe447a6f1d428ae8698 172.16.178.203:6379@16379slots: (0 slots) slavereplicates 808de7e00f10fe17a5582cd76a533159a25006d8
M: 808de7e00f10fe17a5582cd76a533159a25006d8 172.16.43.1:6379@16379slots:10923-16383 (5461 slots) master1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.

查看集群状态：

$ kubectl exec -it redis-app-3 -- redis-cli
127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:14
cluster_my_epoch:3
cluster_stats_messages_ping_sent:39
cluster_stats_messages_pong_sent:40
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:80
cluster_stats_messages_ping_received:40
cluster_stats_messages_pong_received:36
cluster_stats_messages_received:76
total_cluster_links_buffer_limit_exceeded:0

至此问题解决。

=========================================================================

2024.11.20更新

=========================================================================

因为重启node之后，node上面的pod也会被重启，而redis pod 的IP地址是启动时候随机分配的，所以重启node可能会导致集群再次down掉，另一种解决办法就是在构建集群的时候，使用各个redis pod的DNS名称构造，DNS名称的格式是：

<statefulset-name>-<ordinal>.<service-name>.<namespace>.svc.cluster.local

其中的<statefulset-name><service-name>和<namespace>可以从redis-stateful.yaml里面获取到

-<ordinal>就是instance的编号

例如下面这个redis-stateful.yaml

$ cat redis-stateful.yaml
apiVersion: apps/v1
kind: StatefulSet
metadata:name: redis-app
spec:serviceName: redis-servicereplicas: 6selector:matchLabels:app: redisappCluster: redis-clustertemplate:metadata:labels:app: redisappCluster: redis-clusterspec:containers:- name: redisimage: redisimagePullPolicy: IfNotPresentcommand: ["/bin/bash", "-ce", "tail -f /dev/null"]command: ["redis-server"]args:- "/etc/redis/redis.conf"- "--protected-mode"- "no"ports:- name: rediscontainerPort: 6379protocol: "TCP"- name: clustercontainerPort: 16379protocol: "TCP"volumeMounts:- name: "redis-conf"mountPath: "/etc/redis"- name: "redis-data"mountPath: "/var/lib/redis"volumes:- name: "redis-conf"configMap:name: "redis-conf"items:- key: "redis.conf"path: "redis.conf"volumeClaimTemplates:- metadata:name: redis-dataspec:accessModes: [ "ReadWriteMany" ]storageClassName: "redis"resources:requests:storage: 1Gi

其中

<statefulset-name>是redis-app

<service-name>是redis-service

<namespace>默认为default （你可以配置自己的namespace）

因为起了6个节点，所以<ordinal>是0~5

有了以上信息，那么构造集群的命令就是

$ kubectl exec -it redis-app-0 -n default -- redis-cli --cluster create 
redis-app-1.redis-service.default.svc.cluster.local:6379 
redis-app-2.redis-service.default.svc.cluster.local:6379 
redis-app-3.redis-service.default.svc.cluster.local:6379 
redis-app-4.redis-service.default.svc.cluster.local:6379 
redis-app-5.redis-service.default.svc.cluster.local:6379 
redis-app-0.redis-service.default.svc.cluster.local:6379 --cluster-replicas 1

至此redis集群构造成功，重启node之后，集群的节点还是可以通过DNS name连接成功。

127.0.0.1:6379> cluster info
cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:15
cluster_my_epoch:15
cluster_stats_messages_ping_sent:1204
cluster_stats_messages_pong_sent:1195
cluster_stats_messages_meet_sent:1
cluster_stats_messages_sent:2400
cluster_stats_messages_ping_received:1195
cluster_stats_messages_pong_received:1200
cluster_stats_messages_received:2395
total_cluster_links_buffer_limit_exceeded:0

k8s上面的Redis集群链接不上master的解决办法

问题描述之前在k8s上面部署了一台node，然后创建了6个redis的pod，构建了一个redis的集群，正常运行。最近添加了一台slave node，然后把其中的几个redis的pod调度到了slave node上面，结果集群就起不来了，…...

编程日记 2024/11/20 16:19:37

＜项目代码＞YOLOv8 瞳孔识别＜目标检测＞

YOLOv8是一种单阶段（one-stage）检测算法，它将目标检测问题转化为一个回归问题，能够在一次前向传播过程中同时完成目标的分类和定位任务。相较于两阶段检测算法（如Faster R-CNN），YOLOv8具有更高的…...

编程日记 2024/11/20 16:18:35

网络编程-002-UDP通信

1.UDP通信的简单介绍 1.1不需要通信握手，无需维持连接，网络带宽需求较小，而实时性要求高 1.2 包大小有限制，不发大于路径MTU的数据包 1.3容易丢包 1.4 可以实现一对多，多对多 2.客户端与服务端=发送端与接收端代码框架收数据方一般都是客户端/接收端 3.头文件 #i…...

编程日记 2024/11/20 16:13:27

MySQL更换瀚高语法更换

MySQL更换瀚高语法更换一、前言二、语句一、前言水一篇,mysql更换瀚高之后，一些需要更换的语法介绍 > 二、语句 MySQL瀚高MySQL用法瀚高用法说明ifnull(x,y)coalesce(x,y)相同相同用于检查两个表达式并返回第一个非空表达式。如果第一个表达式不是 NULL&…...

编程日记 2024/11/20 16:10:22

Object.prototype.hasOwnProperty.call(item, key) 作用与用途

在 JavaScript 中，Object.prototype.hasOwnProperty.call(item, key) 是一种检查对象 item 是否具有特定属性 key 作为自身的属性（而不是继承自原型链）的方法。这种调用方式是安全的，特别是在处理可能被修改过原型链的对象时。解…...

编程日记 2024/11/20 16:09:20

DNS的10种资源记录

前言在DNS（域名系统）中，常见的资源记录（Resource Records, RR）用于存储域名与IP地址、邮件服务器等网络资源之间的映射关系。以下是几种常见的DNS资源记录： 1. A记录（Address Record&#xf…...

编程日记 2024/11/20 16:08:19

【数据分享】1981-2024年我国逐日最低气温栅格数据（免费获取）

气象数据一直是一个价值很高的数据，它被广泛用于各个领域的研究当中。之前我们分享过来源于美国国家海洋和大气管理局（NOAA）下设的国家环境信息中心(NCEI)发布的1929-2024年全球站点的逐日最低气温数据（可查看之前的文章获悉详情&…...

编程日记 2024/11/20 16:05:15

Kafka进阶_1.生产消息

文章目录一、Controller选举二、生产消息2.1、创建待发送数据2.2、创建生产者对象，发送数据2.3、发送回调2.3.1、异步发送2.3.2、同步发送 2.4、拦截器2.5、序列化器2.6、分区器2.7、消息可靠性2.7.1、acks 02.7.2、acks 1(默认)2.7.3、acks -1或all 2.8、部分重…...

编程日记 2024/11/20 16:02:12

百度世界2024：智能体引领AI应用新纪元

在近日盛大举行的百度世界2024大会上，百度创始人李彦宏以一场题为“文心一言”的精彩演讲，再次将全球科技界的目光聚焦于人工智能（AI）的无限可能。作为一名科技自媒体，我深感这场演讲不仅是对百度AI技术实力的一次全面…...

编程日记 2024/11/20 16:01:11

NIST 发布后量子密码学转型战略草案

美国国家标准与技术研究所 (NIST) 发布了其初步战略草案，即内部报告 (IR) 8547，标题为“向后量子密码标准过渡”。该草案概述了 NIST 从当前易受量子计算攻击的加密算法迁移到抗量子替代算法的战略。该草案于 2024 年 11 月 12 日发布，开放…...

编程日记 2024/11/20 15:56:03

长度最小的子数组力扣209 #define MIN(a, b) ((b) < (a) ? (b) : (a)) int minSubArrayLen(int target, int* nums, int numsSize) {int ans numsSize 1;int left 0;int right 0;int sum 0;for (right 0; right < numsSize; right){sum nums[right];while (su…...

编程日记 2024/11/20 15:54:01

小鹏汽车大数据面试题及参考答案

抽象类与接口的区别是什么？抽象类是一种不能被实例化的类，它可以包含抽象方法和非抽象方法。抽象方法是没有具体实现的方法，必须在子类中被实现。抽象类主要用于为一组相关的类提供一个通用的模板，子类可以继承抽象类并实现其中的抽象方法，也可以使用抽象类中的非抽象方法…...

编程日记 2024/11/20 15:53:00

华为再掀技术革新！超薄膜天线设计路由器首发！

随着Wi-Fi技术的不断进步，新一代的Wi-Fi 7路由器凭借其高速率、低延迟、更稳定的性能受到了广泛关注。它能够更好地满足现代家庭对网络性能的高要求，带来更加流畅、高效的网络体验。9月24日，华为在其秋季全场景新品发布会上推出了全新Wi-Fi 7…...

编程日记 2024/11/20 15:51:58

CREO TOOLKIT二次开发学习之字符转换

在tk中，有很多都是可以直接强制转换的，本文章只列举字符相关的转换。不建议使用tk官方手册的函数进行转换，因此下文均以原生c进行举例。 //double转wstring wstring a; double b; ato_wstring(b);//wstring转double wstring wstr L"…...

编程日记 2024/11/20 15:50:57

vmware虚拟机安装Windows11提示电脑不符合要求？

vmware虚拟机安装Win11提示电脑不符合要求？ 安装问题能进入选择语言界面，请看这不能进入选择语言界面，请看这安装问题 Vmware虚拟机安装Windows11时提示电脑不符合要求，如下： 修改了虚拟机的硬件配置还是不行&#x…...

编程日记 2024/11/20 15:49:56

【金融风控项目-08】：特征构造

文章目录 1.数据准备1.1 风控建模特征数据1.2 人行征信数据1.3 据之间的内在逻辑 2 样本设计和特征框架2.1 定义观察期样本2.2 数据EDA(Explore Data Analysis)2.3 梳理特征框架 3 特征构造3.1 静态信息和时间截面特征3.2 未来信息问题3.2.1 未来信息案例3.2.2 时间序列特征的未…...

编程日记 2024/11/20 15:48:55

计算机网络（2）计算机网络的类别

计算机网络的类别繁多，根据不同的分类原则，可以得到各种不同类型的计算机网络。一、按覆盖范围分类局域网（LAN）： 定义：局域网是一种在小区域内使用的，由多台计算机组成的网络。覆盖范围&#…...

编程日记 2024/11/20 15:47:53

10.《滑动窗口篇》---②长度最小的子数组（中等）

有了上一篇的基础。这道题我们就可以轻易分析可以使用滑动窗口来解决了方法一：滑动窗口这里注意 ret 在while循环外部更新在 while 外部更新 ret，确保窗口在满足条件后再计算长度，避免错误计入正在调整中的窗口长度。 class Solution {pub…...

编程日记 2024/11/20 15:43:46

java的强，软，弱，虚引用介绍以及应用

写在前面本文看下Java的强，软，弱，虚引用相关内容。 1：各种引用介绍顶层类是java.lang.ref.Reference,注意是一个抽象类，而不是接口，其中比较重要的引用队列ReferenceQueue就在该类中定义，子…...

编程日记 2024/11/20 15:41:44

STL-stack栈：P1981 [NOIP2013 普及组] 表达式求值

这个题用的STL-栈来做题目来源：洛谷相关知识 [NOIP2013 普及组] 表达式求值题目背景 NOIP2013 普及组 T2 题目描述给定一个只包含加法和乘法的算术表达式，请你编程计算表达式的值。输入格式一行，为需要你计算的表达式&#xff…...

编程日记 2024/11/20 15:38:41

[特殊字符] 智能合约中的数据是如何在区块链中保持一致的？

🧠 智能合约中的数据是如何在区块链中保持一致的？ 为什么所有区块链节点都能得出相同结果？合约调用这么复杂，状态真能保持一致吗？本篇带你从底层视角理解“状态一致性”的真相。一、智能合约的数据存储在哪里&#xf…...

编程新知 2025/7/12 23:55:04

synchronized 学习

学习源： https://www.bilibili.com/video/BV1aJ411V763?spm_id_from333.788.videopod.episodes&vd_source32e1c41a9370911ab06d12fbc36c4ebc 1.应用场景不超卖，也要考虑性能问题（场景） 2.常见面试问题： sync出…...

编程新知 2025/9/8 2:34:58

鱼香ros docker配置镜像报错：https://registry-1.docker.io/v2/

使用鱼香ros一件安装docker时的https://registry-1.docker.io/v2/问题一键安装指令 wget http://fishros.com/install -O fishros && . fishros出现问题：docker pull 失败网络不同，需要使用镜像源按照如下步骤操作 sudo vi /etc/docker/dae…...

编程新知 2025/9/5 21:18:15

在鸿蒙HarmonyOS 5中使用DevEco Studio实现录音机应用

1. 项目配置与权限设置 1.1 配置module.json5 {"module": {"requestPermissions": [{"name": "ohos.permission.MICROPHONE","reason": "录音需要麦克风权限"},{"name": "ohos.permission.WRITE…...

编程新知 2025/8/27 10:42:43