keepalived详解

概念
keepalived 是一款基于 VRRP（Virtual Router Redundancy Protocol，虚拟路由冗余协议）协议来实现高可用（High Availability, HA）的轻量级软件。它主要用于防止单点故障，特别是在 Linux 环境下，为 LVS（Linux Virtual Server，Linux 虚拟服务器）集群和其他服务提供高可用性和故障转移功能。虽然它最初是为 LVS 设计的，但现在也被广泛用于其他需要高可用性的场景，比如 MySQL 数据库集群、Nginx 负载均衡器等。
工作原理
keepalived 在集群中通常部署为一对或多对主备服务器。每个 keepalived 实例都会运行 VRRP 协议，并通过组播（Multicast）或单播（Unicast）方式与其他实例通信。主服务器定期发送 VRRP 广告包，通知其他备份服务器其状态。如果备份服务器在一定时间内没有收到主服务器的广告包，它会认为主服务器已经故障，并接管虚拟 IP 和服务。
VRRP是什么
VRRP（Virtual Router Redundancy Protocol，虚拟路由器冗余协议）是一种由IETF（Internet Engineering Task Force，互联网工程任务组）提出的路由协议，旨在解决局域网中配置静态网关时可能出现的单点失效问题。该协议于1998年推出。
VRRP的工作原理
1.选举机制：VRRP协议通过选举机制确定哪台路由器成为Master路由器。选举基于路由器的优先级，优先级高的路由器成为Master。如果优先级相同，则比较接口IP地址，IP地址大的成为Master。
2.状态维持：Master路由器定期发送VRRP通告报文，通知备份组内的其他路由器自己工作正常。Backup路由器则启动定时器等待通告报文的到来，并根据收到的通告报文判断Master路由器的状态。
3.故障转移：如果Backup路由器在定时器超时后仍未收到Master路由器的VRRP通告报文，则认为Master路由器已经无法正常工作，此时Backup路由器将升级为主路由器，并对外发送VRRP通告报文，接管数据转发任务。
keepalived的主要模块
1.core模块：KEEPALIVED的核心模块，负责主进程的启动、维护以及全局配置文件的加载和解析。
2.check模块：负责健康检查，包括各种常见的检查方式，如ICMP、TCP端口状态、HTTP GET等，以确保集群中各节点的正常运行。
3.vrrp模块：实现VRRP协议的关键模块，负责虚拟路由器的选举、状态维护和报文发送等工作。
keepalived的安装与基本配置
安装keepalived

dnf install keepalived -y
systemctl start keepalived

keepalived的基本配置
配置文件位于/etc/keepalived/keepalived.conf

全局配置

notification_email    { [e-mail]       #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区 分写多个}                  notification_email_from   [e-mail]                    #发邮件的地址
smtp_server 127.0.0.1                               #指定用于发送邮件的 SMTP 服务器地址，这里是 127.0.0.1 。
smtp_connect_timeou    30                   #每个keepalived主机唯一标识
router_id   ka1.exam.com                       #建议使用当前主机名，但多节点 重名不影响
vrrp_skip_check_adv_addr                    #对所有通告报文都检查，会比较消耗性能#启用此配置后，如果收到的通告报文和上一 个报文是同一 个路由器，则跳过检查，默认 值为全检查
vrrp_strict                                               #严格遵循vrrp协议 #启用此项后以下状况将无法启动服务: #1.无VIP地址 #2.配置了单播邻居 #3.在VRRP版本2中有IPv6地址 #建议不加此项配置         
vrrp_garp_interval      0                          #报文发送延迟，0表示不延迟
vrrp_gna_interval     0                            #消息发送延迟
vrrp_mcast_group4    224.0.0.18           #指定组播IP的地址。

虚拟服务器配置

vrrp_instance VI_1 {state BACKUPinterface eth0                #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一 个网卡virtual_router_id 100                #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一   #否则服务无法启动   #同属一个虚拟路由器的多个keepalived节点必须相同   #务必要确认在同一网络中此值必须唯一priority 80                        #当前物理节点在此虚拟路由器的优先级，范围：1-254   #值越大优先级越高,每个keepalived主机节点此值不同advert_int 1                #vrrp通告的时间间隔，默认1s#preempt_delay 5sauthentication {                     #认证机制auth_type PASS                #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用)auth_pass 1111                 #预共享密钥，仅前8位有效       #同一个虚拟路由器的多个keepalived节点必须一样}virtual_ipaddress {                #虚拟IP,生产环境可能指定上百个IP地址172.25.254.100/24 dev eth0 label eth0:1                #指定VIP，不指定网卡，默认为eth0,注意：不指定/prefix,默认32}
}virtual_server IP port {                         #VIP和PORTdelay_loop                                         #检查后端服务器的时间间隔lb_algo rr|wrr|lc|wlc|lblc|sh|dh         #定义调度方法lb_kind NAT|DR|TUN  <INT>                        #集群的类型,注意要大写persistence_timeout             #持久连接时长           protocol TCP|UDP|SCTP        #指定服务协议,一般为TCPsorry_server  <IPADDR> <PORT>              #所有RS故障时，备用服务器地址real_server <IPADDR> <PORT>{          #RS的IP和PORTweight  <INT>        #RS权重notify_up  <STRING>|<QUOTED-STRING>    #RS上线通知脚本notify_down  <STRING>|<QUOTED-STRING> #RS下线通知脚本 HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK { ... }         #定义当前主机健康状 态检测方法}}#注意:括号必须分行写,两个括号写在同一行,如: }} 会出错

应用层监测

HTTP_GET|SSL_GET {
url {
path  <URL_PATH>                 #定义要监控的URL
status_code  <INT>                #判断上述检测机制为健康状态的响应码，一般为 200
}
connect_timeout <INTEGER>        #客户端请求的超时时长, 相当于haproxy的timeout server
nb_get_retry  <INT>                 #重试次数
delay_before_retry  <INT>          #重试之前的延迟时长
connect_ip <IP ADDRESS>        #向当前RS哪个IP地址发起健康状态检测请求 
connect_port   <PORT>      #向当前RS的哪个PORT发起健康状态检测请求
bindto    <IP ADDRESS>      #向当前RS发出健康状态检测请求时使用的源地址
bind_port   <PORT>        #向当前RS发出健康状态检测请求时使用的源端口}

tcp监测

TCP_CHECK {
connect_ip  <IP ADDRESS>      #向当前RS的哪个IP地址发起健康状态检测请求
connect_port    <PORT>      #向当前RS的哪个PORT发起健康状态检测请求
bindto  <IP ADDRESS>     #发出健康状态检测请求时使用的源地址
bind_port    <PORT>      #发出健康状态检测请求时使用的源端口
connect_timeout <INTEGER>       #客户端请求的超时时长
}

定义VRRP script

vrrp_script
script <STRING> | <QUOTED_STRING>         #shell命令或脚本路径    
interval <INTEGER>                                          #间隔时间，单位为秒，默认1秒    
timeout <INTEGER>                                          #超时时间    
weight <INTEGER>                                           #默认为0,如果设置此值为负数，    #当上面脚本返回值为非0时    #会将此值与本节点权重相加可以降低本节点权重，
#即表示fall.                                                       #如果是正数，当脚本返回值为0，    #会将此值与本节点权重相加可以提高本节点权重    #即表示 rise.通常使用负值        
fall  <INTEGER>               #执行脚本连续几次都失败,则转换为失败，建议设为2以上    
rise  <INTEGER>               #执行脚本连续几次都成功，把服务器从失败标记为成功    
user  USERNAME  [GROUPNAME]         #执行监测脚本的用户或组    
init_fail                                 #设置默认标记为失败状态，监测成功之后再转换为成功状态 
}

keepalived实例
环境配置

实现master/slave的 keepalived 单主架构
ka1主机配置

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf 
global_defs {notification_email {[e-mail]}notification_email_from [e-mail]_server 127.0.0.1smtp_connect_timeout 30router_id ka1.exam.orgvrrp_skip_check_adv_addrvrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0vrrp_mcast_group4 224.0.0.18
}vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 100priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}

ka2主机配置

vim /etc/keepalived/keepalived.conf
global_defs {notification_email {[e-mail]}notification_email_from [e-mail]_server 127.0.0.1smtp_connect_timeout 30router_id ka2.exam.orgvrrp_skip_check_adv_addrvrrp_strictvrrp_garp_interval 0vrrp_gna_interval 0vrrp_mcast_group4 224.0.0.18
}vrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 100priority 80advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}

测试

tcpdump -i eth0 -nn host 224.0.0.18

关闭ka1主机上的keepalived服务时，VIP将转移到ka2主机上

启用keepalived日志

vim /etc/sysconfig/keepalived 
KEEPALIVED_OPTIONS="-D -S 6"
systemctl restart keepalived.service vim /etc/rsyslog.conf
local6.*                                                /var/log/keepalived.log
systemctl restart keepalived.service rsyslog.service
tail -f /var/log/keepalived.log 

实现独立子配置文件
注意：如果需要独立子配置文件就需要把原配置文件的内容注释掉或者删掉

vim /etc/keepalived/keepalived.conf 
include "/etc/keepalived/conf.d/*.conf"[root@ka1 ~]# mkdir -p /etc/keepalived/conf.d[root@ka1 ~]# vim /etc/keepalived/conf.d/172.25.254.100.conf
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 100priority 100advert_int 1authentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}
}systemctl restart rsyslog.service 

keepalived的通知脚本配置
邮件配置

yum install mailx -y
​
​
vim /etc/mail.rc
#######mail set##########
set from=[e-mail]
set smtp=smtp.qq.com
set smtp-auth-user=[e-mail]
set smtp-auth-password=XXXXXXXX   #自己邮箱的授权码
set smtp-auth=login
set ssl-verify=ignore
​
#发送邮件
echo hello word | mail -s test [e-mail]

实现Keepalived状态切换的通知脚本

vim /etc/keepalived/mail.sh
#!/bin/bash
mail_dst="[e-mail]"
send_message()
{mail_sub="$HOSTNMAE to be $1 vip move"mail_msg="`date +%F\ %T`: vrrp move $HOSTNAME change $1"echo $mail_msg | mail -s "$mail_sub" $mail_dst
}
case $1 inmaster)send_message master;;backup)send_message backup;;fault)send_message fault;;*);;
esacchmod +x /etc/keepalived/mail.sh
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 {
...unicast_src_ip 172.25.254.10   #本机IPunicast_peer {172.25.254.20    #对端IP}notify_master "/etc/keepalived/mail.sh master"notify_backup "/etc/keepalived/mail.sh backup"notify_fault "/etc/keepalived/mail.sh fault"
}
​

实现 master/master 的 Keepalived 双主架构
master/slave的单主架构，同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却 很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。
master/master 的双主架构：
即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高 服务器资源利用率
（ka1主机和ka2主机都要配置，都需要添加一个VRRP（虚拟路由冗余协议）实例的配置模块。）

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {state MASTERinterface eth0virtual_router_id 100priority 100advert_int 1vrrp_ipsets keepalived#preempt_delay 5sauthentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}unicast_src_ip 172.25.254.10unicast_peer {172.25.254.20}
}vrrp_instance VI_2 {state MASTERinterface eth0virtual_router_id 200priority 80advert_int 1vrrp_ipsets keepalived#preempt_delay 5sauthentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.200/24 dev eth0 label eth0:2}unicast_src_ip 172.25.254.10unicast_peer {172.25.254.20}
}[root@ka2 ~]# vim /etc/keepalived/keepalived.conf 
vrrp_instance VI_1 {state BACKUPinterface eth0virtual_router_id 100priority 80advert_int 1#preempt_delay 5sauthentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.100/24 dev eth0 label eth0:1}unicast_src_ip 172.25.254.20unicast_peer {172.25.254.10}
}vrrp_instance VI_2 {state MASTERinterface eth0virtual_router_id 200priority 100advert_int 1#preempt_delay 5sauthentication {auth_type PASSauth_pass 1111}virtual_ipaddress {172.25.254.200/24 dev eth0 label eth0:2}unicast_src_ip 172.25.254.20unicast_peer {172.25.254.10}
}

测试

实现单主的 LVS-DR 模式
准备web服务器并使用脚本绑定VIP至web服务器lo网卡（realserver1主机和realserver2主机都要配置）

[root@realserver1 ~]# ip a a172.25.254.100 dev lo
[root@realserver1 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2[root@realserver1 ~]# sysctl --system[root@realserver2 ~]# ip a a172.25.254.100 dev lo
[root@realserver2 ~]# vim /etc/sysctl.d/arp.conf
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2[root@realserver2 ~]# sysctl --system

配置keepalived服务（ka1主机和ka2主机都要做）

[root@ka1 ~]# vim /etc/keepalived/keepalived.conf 
virtual_server 172.25.254.100 80 {delay_loop 6lb_algo wrrlb_kind DR#persistence_timeout 50protocol TCPreal_server 172.25.254.110 80 {weight 1HTTP_GET {url {path /status_code 200}connect_timeout 3nb_get_retry 2delay_before_retry 2}}real_server 172.25.254.120 80 {weight 1HTTP_GET {url {path /status_code 200}connect_timeout 3nb_get_retry 2delay_before_retry 2}}
}[root@ka1 ~]# systemctl restart keepalived.service 
[root@ka1 ~]# ipvsadm -Ln

测试
将realserver2的http服务停掉，我们可以观察到keepalived会控制ipvsadm自动将172.25.254.120这个策略剔除。但是如果realserver2的http服务重新启动，keepalived会将172.25.254.120这个策略重新恢复。


重启后