利用Keepalived实现K8s Service高可用外部访问：externalIPs与VIP的完美结合

1. 为什么需要Kubernetes Service高可用外部访问在自建Kubernetes集群中如何将服务暴露给外部访问一直是个头疼的问题。我刚开始接触K8s时最常用的就是NodePort方式但很快就发现它的致命缺陷——如果指定的节点宕机服务就完全不可用了。这就像把鸡蛋都放在一个篮子里风险太高。后来尝试了Ingress方案但它只能处理HTTP/HTTPS流量对于其他协议就无能为力了。至于LoadBalancer在非云环境下基本就是个摆设因为需要云厂商的支持。直到发现了externalIPs这个特性配合Keepalived的VIP机制才算找到了完美的解决方案。这种组合最大的优势在于高可用性VIP可以在多个节点间漂移单节点故障不影响服务协议无关支持TCP/UDP等所有协议不像Ingress只能处理HTTP简单直接不需要额外的基础设施完全基于现有网络环境性能优异流量直接路由到节点没有额外的转发开销2. 理解Keepalived和externalIPs的工作原理2.1 Keepalived的VIP机制解析Keepalived本质上是通过VRRP协议实现的高可用方案。我把它比作一个接力赛机制——多个节点组成一个虚拟路由器组通过选举产生主节点MASTER其他节点作为备份BACKUP。主节点持有VIP并处理流量同时定期发送心跳通知备份节点自己还活着。当主节点故障时备份节点收不到心跳就会触发选举优先级最高的备份节点接管VIP。这个过程通常只需要几秒钟对客户端来说几乎无感知。我在测试中发现通过调整advert_int参数可以平衡故障检测速度和网络负载一般设置在1-3秒比较合适。Keepalived的配置中有几个关键点需要注意virtual_router_id必须在同一组内保持一致认证密码auth_pass所有节点必须相同优先级priority决定选举顺序MASTER应该设置最高值建议关闭vrrp_strict避免一些兼容性问题2.2 Kubernetes externalIPs的流量路由原理externalIPs是Kubernetes Service的一个相对冷门但非常实用的特性。它允许你指定一个或多个外部IP地址所有发往这些IP的流量都会被kube-proxy拦截并转发到对应的Service后端Pod。这里有个关键点externalIP必须能路由到至少一个Kubernetes节点。这就是为什么要结合Keepalived的VIP——VIP可以在多个节点间浮动确保始终有节点能接收流量。流量转发路径是这样的客户端访问VIP:Port当前持有VIP的节点接收流量kube-proxy根据Service规则进行NAT转换流量被转发到实际Pod3. 详细部署步骤与配置解析3.1 环境准备与Keepalived安装首先需要准备一个至少有两个工作节点的Kubernetes集群。我建议使用Ubuntu 20.04或CentOS 7/8作为操作系统这些发行版的软件仓库都有较新版本的Keepalived。在所有需要参与VIP漂移的节点上安装Keepalived# Ubuntu/Debian sudo apt update sudo apt install -y keepalived # CentOS/RHEL sudo yum install -y keepalived验证安装是否成功keepalived --version3.2 Keepalived配置详解主节点配置示例保存为/etc/keepalived/keepalived.confglobal_defs { router_id node1 # 唯一标识符 } vrrp_instance EIP { state MASTER # 初始状态 interface eth0 # 监听的网卡 virtual_router_id 66 # 虚拟路由ID集群内唯一 priority 100 # 选举优先级 advert_int 1 # 心跳间隔(秒) authentication { auth_type PASS auth_pass your_secure_password } virtual_ipaddress { 192.168.5.200/32 dev eth0 label eth0:0 } }备份节点配置类似主要区别在于state改为BACKUPpriority设置为比主节点低的值如80router_id需要修改为唯一标识配置完成后启动服务sudo systemctl enable --now keepalived sudo systemctl status keepalived # 验证状态3.3 验证VIP工作状态在主节点上检查VIP是否绑定ip addr show eth0:0在备份节点上测试VIP可达性ping -c 4 192.168.5.200模拟故障转移测试在主节点停止Keepalivedsudo systemctl stop keepalived观察备份节点是否接管VIP约1-3秒后测试VIP是否仍然可达4. Kubernetes Service配置与优化4.1 创建使用externalIPs的Service首先部署一个示例应用apiVersion: apps/v1 kind: Deployment metadata: name: demoapp spec: replicas: 3 selector: matchLabels: app: demoapp template: metadata: labels: app: demoapp spec: containers: - name: demoapp image: ikubernetes/demoapp:v1.0 ports: - containerPort: 80然后创建使用externalIPs的ServiceapiVersion: v1 kind: Service metadata: name: demoapp-svc spec: selector: app: demoapp ports: - protocol: TCP port: 80 targetPort: 80 externalIPs: - 192.168.5.200 # 这里使用Keepalived的VIP应用配置kubectl apply -f demoapp.yaml -f service.yaml4.2 高级配置与优化建议健康检查优化# 在Deployment中添加 livenessProbe: httpGet: path: / port: 80 initialDelaySeconds: 3 periodSeconds: 5 readinessProbe: httpGet: path: / port: 80 initialDelaySeconds: 3 periodSeconds: 5会话保持配置apiVersion: v1 kind: Service metadata: name: demoapp-svc spec: sessionAffinity: ClientIP sessionAffinityConfig: clientIP: timeoutSeconds: 3600多端口支持ports: - name: http port: 80 targetPort: 80 - name: https port: 443 targetPort: 443 externalIPs: - 192.168.5.2005. 故障排查与日常维护5.1 常见问题排查VIP无法漂移检查防火墙是否放行了VRRP协议IP协议号112确认所有节点的virtual_router_id和auth_pass一致查看Keepalived日志journalctl -u keepalived -fexternalIPs不生效确认VIP当前所在的节点是Kubernetes worker节点检查kube-proxy是否正常运行kubectl get pods -n kube-system | grep kube-proxy查看iptables/nftables规则iptables-save | grep 192.168.5.2005.2 性能监控与优化安装Prometheus监控Keepalived状态# keepalived-exporter的ServiceMonitor配置 apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: keepalived-exporter spec: endpoints: - port: http-metrics interval: 15s selector: matchLabels: app: keepalived-exporter关键监控指标keepalived_vrrp_state节点状态1MASTER, 2BACKUPkeepalived_vrrp_priority当前优先级keepalived_vrrp_advert_interval心跳间隔5.3 版本升级与配置管理建议使用配置管理工具如Ansible统一管理Keepalived配置# Ansible playbook示例 - hosts: k8s_nodes tasks: - name: Install Keepalived apt: name: keepalived state: latest - name: Deploy Keepalived config template: src: keepalived.conf.j2 dest: /etc/keepalived/keepalived.conf notify: restart keepalived handlers: - name: restart keepalived service: name: keepalived state: restarted升级注意事项先升级备份节点验证无误后再升级主节点通过systemctl reload keepalived加载新配置而不中断服务监控VIP漂移情况确保升级过程不影响服务在实际生产环境中这套方案已经稳定运行了两年多期间经历了多次节点维护和意外宕机服务始终保持可用。最大的收获是理解了简单可靠的基础设施设计往往比复杂的云服务方案更适合特定场景。对于中小规模的私有化部署场景KeepalivedexternalIPs的组合提供了云厂商LB方案90%的功能却只需要10%的复杂度。