Nginx+Keepalived 中的脑裂现象

如何解决和预防 Nginx+Keepalived 中会出现的脑裂现象?

Nginx是一种高性能的Web服务器和反向代理服务器，可以处理大量并发请求。Keepalived是一种开源软件，用于实现IP负载均衡和故障转移。在Nginx和Keepalived结合使用时，可以通过将多个Nginx服务器部署在不同的物理节点上，并使用Keepalived将它们组织成一个虚拟的负载均衡器，从而提高系统的可用性和可靠性。

什么是脑裂？

然而，在Nginx和Keepalived结合使用时，可能会出现所谓的“脑裂”（Split Brain）现象。脑裂指的是负载均衡器的节点之间发生网络分裂，导致同一个虚拟IP同时被不同的节点绑定，导致客户端请求被分散到不同的节点上，从而导致系统的不稳定或错误。这种情况可能发生在以下两种情况下：

1. 心跳检测机制失效：Keepalived使用心跳检测机制来检测负载均衡器节点的状态。如果心跳检测机制失效，例如网络故障或节点故障，就可能会导致Keepalived将一个不可用的节点错误地标记为可用节点，从而导致脑裂。

2. 同步配置失败：当负载均衡器节点之间的配置文件发生变化时，需要同步配置信息，以确保它们在任何时间点都具有相同的配置。如果同步配置失败，就可能会导致节点之间的配置不一致，从而导致脑裂。

排查思路：网卡：通过tcpdump抓包，网卡有没有接收到数据包。如果收到，问题在服务器端；

Master一直发送心跳消息给backup主机，如果中间的链路突然断掉，backup主机将无法收到master主机发送过来的心跳消息（也就是vrrp报文），backup这时候会立即抢占master的工作，但其实这时候的master是正常工作的，此时就会出现脑裂的现象。

预防：1.使用shell脚本对这两个主机之间的连通性进行监测，如果发现有问题，就会立即关闭keepalived服务来防止脑裂的产生。

2.增加一条链路作为备用链路，即使主链路挂掉了，备用链路也会顶上来，master主机可以继续给backup主机发送心跳消息。

3.使用监控软件的方法，这边主要是采用的zabbix来监控的，主要就是创建监控项，创建触发器来测试关闭keepalived服务。
 

为了避免脑裂现象，可以采取以下措施：

1. 配置正确的心跳检测机制：可以配置多种心跳检测机制，例如ping、arping和tcp-check等。可以根据实际情况选择适合的心跳检测机制，并设置合适的心跳检测参数，以避免误判。

2. 配置正确的同步策略：可以采用基于文件同步、基于数据库同步等多种同步策略，以确保节点之间的配置文件保持一致。此外，还可以定期检查节点之间的配置文件是否一致，以及配置文件是否有更新，及时发现并解决问题。

3. 合理的架构设计：可以使用多种架构设计来避免脑裂现象，例如使用双主模式、主备模式、多活模式等。可以根据实际情况选择适合的架构设计，并根据需要设置权重、优先级等参数，以确保系统的稳定性和可靠性。

判断Nginx进程是否存在：

ps -ef | grep nginx | egrep -cv "grep|$$"

ss -lntp | grep nginx

netstat -lntp | grep nginx

killall -0 nginx echo $?