实操keepalived（高可用）+Nginx（四层代理+七层代理），实现高可用、负载均衡以及动静分离

一 vrrp技术

VRRP 相关术语

VRRP能够在不改变组网的情况下，将多台路由器虚拟成一个虚拟路由器，i通过配置虚拟路由器的IP地址为默认网关，实现网关的备份。
协议版本: VRRPv2 (常用) 和VRRPv3:0
VRRPv2仅适用于IPv4网络，VRRPv3适用于IPv4和IPv6两种网络
VRRP协议报文:
其目的IP地址是224.0.0.18，目的MAC地址是只有一种报文: Advertisement报文;01-00-5e-00-00-12，协议号是112.

• 虚拟路由器：Virtual Router 不是真实存在 ，虚构出来的

• 虚拟路由器标识：VRID(0-255)，唯一标识虚拟路由器

• VIP：Virtual IP 192.168.91.100 路由1 路由2

• VMAC：Virutal MAC (00-00-5e-00-01-VRID)

• 物理路由器：

• master：主设备

• backup：备用设备

• priority：优先级

状态机：决定什么时间是主，什么时间是备

    心跳线：  1s
虚拟路由器的主备 是由priority：优先级决定的

1.2 VRRP相关技术

通告：心跳，优先级等；周期性

工作方式：抢占式，非抢占式，延迟抢占模式，

安全认证：

• 无认证

• 简单字符认证：预共享密钥

• MD5

工作模式：

• 主/备：单虚拟路径器

• 主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）

#通告：
是宣告自己的主权，不要妄想抢班夺权，不停的向外#抢占式：
主服务器宕机，过了一段时间修好了，再把主权抢过来#非抢占式：
主服务器宕机，过了一段时间修好了，原来的主就作为备了#延迟抢占：
主修好后，等待一定的时间（300s）后再次成为主#抢占式好还是非抢占式好？#安全认证：
如没有安全认证，不在集群中的keeplive服务器设置超高的优先级，会造成事故#主/主：主/备（虚拟路由器1），备/主（虚拟路由器2）见下图：
环境：
有两台服务器
虚拟出两台虚拟路由器
第一台虚拟路由器中服务器1为主，服务器2为备，那么虚拟IP1就飘在服务器1上，真正工作的只有服务器1
第二台虚拟路由器中服务器2为主，服务器1为备，那么虚拟IP2就飘在服务器2上，真正工作的只有服务器2

优点：

#提高了资源利用率：
这样主，备服务器同时干活，可以同时运行两个项目
#同样有备份功能：
如果服务器1坏了，服务器2 将同时拥有虚拟IP1和虚拟IP2

缺点：

虽然有备份冗余功能但是对机器的性能要求非常高，当其中一台出现故障，本来一台运行一个任务，现在所有的业务全部压在了一台上，有十分大的风险

二 keepalived工具介绍

专为LVS和HA设计的一款健康检查工具支持故障自动切换 (Failover)支持节点健康状态检查(Health checking)判断 LVS 负载调度器、节点服务器的可用性，当 master 主机出现故障及时切换到backup 节点保证业务正常，当 master故障主机恢复后将其重新加入群集并目业务重新切换回 master 节点。

官网：http://keepalived.org/

lvs 调度   虚拟ip     手动配置

keepalived    会lvs

ipvsadm

功能：

• 基于vrrp协议完成地址流动

• 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

• 为ipvs集群的各RS做健康状态检测

• 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2.2 Keepalived 架构

官方文档：

https://keepalived.org/doc/http://keepalived.org/documentation.html

用户空间核心组件：

1. vrrp stack：VIP消息通告 虚拟ip

2. checkers：监测real server（简单来说 就是监控后端真实服务器的服务）是否存活

3. system call：实现 vrrp 协议状态转换时调用脚本的功能

4. SMTP：邮件组件（报警邮件）

5. IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

6. Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

WatchDog：监控进程（整个架构是否有问题）

• 控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

• IO复用器：针对网络目的而优化的自己的线程抽象

• 内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

注意：keeplive可以配合ngnix等软件，反向代理

2.3安装keepalive

yum install keepalived -y

2.4 Keepalived 相关文件

• 软件包名：keepalived

• 主程序文件：/usr/sbin/keepalived

• 主配置文件：/etc/keepalived/keepalived.conf

• 配置文件示例：/usr/share/doc/keepalived/

• Unit File：/lib/systemd/system/keepalived.service

• Unit File的环境配置文件：

• /etc/sysconfig/keepalived CentOS

2.4.1配置组成

/etc/keepalived/keepalived.conf 配置组成

• GLOBAL CONFIGURATION

Global definitions（全局配置）：定义邮件配置，route_id，vrrp配置，组播地址 等

• VRRP CONFIGURATION

VRRP instance(s)：定义vrrp协议中的每个vrrp虚拟路由器的规则，基本信息

• LVS CONFIGURATION（lvs调度服务器的规则设置）

Virtual server group(s)

Virtual server(s)：LVS集群的VS和RS

2.4.2全局配置

#/etc/keepalived/keepalived.conf 
global_defs {notification_email {root@localhost#keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个root@[e-mail] }notification_email_from keepalived@localhost  #发邮件的地址smtp_server 127.0.0.1     #邮件服务器地址smtp_connect_timeout 30   #邮件服务器连接timeoutrouter_id R1#每个keepalived主机唯一标识，建议使用当前主机名，但多节点重名不影响vrrp_skip_check_adv_addr  #对所有通告报文都检查，会比较消耗性能，启用此配置后，如果收到的通告报文和上一个报文是同一个路由器，则跳过检查，默认值为全检查
vrrp_strict 
#严格遵守VRRP协议,启用此项后以下状况将无法启动服务:1.无VIP地址 2.配置了单播邻居 3.在VRRP版本2中有IPv6地址，开启动此项并且没有配置vrrp_iptables时会自动开启iptables防火墙规则，默认导致VIP无法访问,建议不加此项配置。vrrp_garp_interval 0 #gratuitous ARP messages 免费ARP报文发送延迟，0表示不延迟vrrp_gna_interval 0 #unsolicited NA messages （不请自来）消息发送延迟vrrp_mcast_group4 224.0.0.18 #指定组播IP地址范围：224.0.0.0到239.255.255.255,默认值：224.0.0.18 vrrp_iptables        #此项和vrrp_strict同时开启时，则不会添加防火墙规则,如果无配置vrrp_strict项,则无需启用此项配置
}

地址分类：

自定义组播，一般都有规划，不能瞎配
主和备要一样
A类：1-126
B   128-191
C   192-223
D   224-239
E   240-#修改组播
默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量
注意：启用 vrrp_strict 时，不能启用单播
#在所有节点vrrp_instance语句块中设置对方主机的IP，建议设置为专用于对应心跳线网络的地址，而非使用业务网络

第二种：官网：http://keepalived.org/

 

五 实际操作：LVS + Keepalived 高可用群集

主：11-4；备：11-7

后端服务器：11-4；11-11

①关闭防火墙防护

 

 

用户空间核心组件:
1.vrrp stack:VIP消息通告虚拟ip
2.checkers:监测real server (简单来说就是监控后端真实服务器的服务)是否存活3.system call:实现vrrp 协议状态转换时调用脚本的功能
4.SMTP:邮件组件(报警邮件)
5.IPVS wrapper: 生成IPVS规则 (直接生成ipvsadm)

②[root@mcb-11-4 keepalived]# vim keepalived.conf

[root@mcb-11-7 keepalived]#  vim keepalived.conf

③ 对后端服务器进行配置

④两台真机开启长连接

⑤去浏览器访问一下  

非抢占模式

抢迟抢占

[root@mcb-11-4 keepalived]# vim keepalived.conf 

延迟抢占

六 实操：单播多播地址

修改多播:

单播

通知脚本

前言：主备切换肯定有大的事故

#!/bin/bash
#
contact='[e-mail]'
notify() {mailsubject="$(hostname) to be $1, vip floating"mailbody="$(date +'%F %T'): vrrp transition, $(hostname) changed to be $1"echo "$mailbody" | mail -s "$mailsubject" $contact
}
case $1 in
master)notify master;;
backup)notify backup;;
fault)notify fault;;
*)echo "Usage: $(basename $0) {master|backup|fault}"exit 1;;
esac

 去邮箱看结果

日志功能

开启单独日志功能

[root@mcb-11-4 opt]# vim /etc/rsyslog.conf 

[root@mcb-11-4 opt]# ls /data/
ls: 无法访问/data/: 没有那个文件或目录
[root@mcb-11-4 opt]# mkdir /data
[root@mcb-11-4 opt]# ls /data/

脑裂解释

什么是脑裂？
在高可用（HA）系统中，当联系2个节点的“心跳线”断开时，本来为一整体、动作协调的HA系统，
就分裂成为2个独立的个体。
由于相互失去了联系，都以为是对方出了故障。两个节点上的HA软件像“裂脑人”一样，争抢“共享
资源”、争起“应用服务”，就会发生严重后果。共享资源被瓜分、两边“服务”都起不来了；或者两边
“服务”都起来了，但同时读写“共享存储”，导致数据损坏都有哪些原因导致脑裂？
高可用服务器对之间心跳线链路发生故障，导致无法正常通信。
因心跳线坏了（包括断了，老化）。
因网卡及相关驱动坏了，ip配置及冲突问题（网卡直连）
因心跳线间连接的设备故障（网卡及交换机）
高可用服务器上开启了 iptables防火墙阻挡了心跳消息传输。
高可用服务器上心跳网卡地址等信息配置不正确，导致发送心跳失败
其他服务配置不当等原因，如心跳方式不同，心跳广插冲突、软件Bug等。
多组keepalive服务器造成   组播冲突    1.换组播地址   2.改成单播          
默认： 
单播：
组播： 
广播：
A   1 -127
B   128-191
C   192-223
D   224-239          224.0.0.18    20. 如何解决keepalived脑裂问题？
在实际生产环境中，我们从以下方面防止脑裂：
#同时使用串行电缆和以太网电缆连接、同时使用两条心跳线路，这样一条线路断了，另外一条还是好的，依然能传送心跳消息
#当检查脑裂时强行关闭一个心跳节点（这个功能需要特殊设备支持，如stonith、fence）相当于备节点接收不到心跳消息，通过单独的线路发送关机命令关闭主节点的电源rsyslog   分割日志#做好对脑裂的监控报警解决常见方案：
如果开启防火墙，一定要让心跳消息通过，一般通过允许IP段的形式解决
可以拉一条以太网网线或者串口线作为主被节点心跳线路的冗余
开发检测程序通过监控软件检测脑裂keepalived      lvs      负载均衡  反向代理
lvs   高可用
后端服务器的 健康性检查问题正向代理作用：    加快访问速度     可以绕过防火墙
代理的客户端
我要访问   google       正向代理服务器             google 服务器反向代理：   负载均衡     优化资源    
代理的服务端的客户端 不需要知道服务端到底是什么样子的，只要能访问就行keepalived  脑裂
vrrp  协议  心跳线收不到

脑裂项目，只能停留在实验室里很难进入企业

七 keepalived解决nginx的高可用

利用脚本解决（VRRP Script ）是否启用nginx

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

参考配置文件：

/usr/share/doc/keepalived/keepalived.conf.vrrp.localcheck

VRRP Script 配置

分两步实现：

• 定义脚本

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

vrrp_script <SCRIPT_NAME> {script <STRING>|<QUOTED-STRING>   #此脚本返回值为非0时，会触发下面OPTIONS执行OPTIONS 
}

调用脚本

track_script：调用vrrp_script定义的脚本去监控资源，定义在VRRP实例之内，调用事先定义的vrrp_scripttrack_script {SCRIPT_NAME_1SCRIPT_NAME_2
}

此时同样能检测11-5 11-4文本信息 

 

把主机负载均衡脚本烤到备机去 

 

编辑文本 

 

把主机文件再烤到备机

 

浏览器检测一下

 

若主机nginx关掉，备用就是主机了 

此时两台真机就无法显示了

 

去备用机检测192.168.11.188又回来了

两台真机仍能检测出来文本内容