LVS+Keepalived 高可用集群

目录

一.Keepalived工具介绍

1.用户空间核心组件：

（1）vrrp stack：VIP消息通告

（2）checkers：监测real server（简单来说 就是监控后端真实服务器的服务）

（3）system call：实现 vrrp 协议状态转换时调用脚本的功能

（4）SMTP：邮件组件（报警邮件）

（5）IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

（6）Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

2.WatchDog：监控进程（整个架构是否有问题）

（1）控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

（2）IO复用器：针对网络目的而优化的自己的线程抽象

（3）内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限

二.vrrp协议（虚拟路由冗余协议）

1.vrrp定义

（1）是针对路由器的一种备份解决方案

（2）由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务

（3）每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

（4）若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

2.vrrp工作过程

（1）选举Master，比较优先级，高的为Master，若优先级相同无Master时，比较接口IP地址，大的为Master，Master设备发送ARP报文，承担报文转发工作；

（2）状态维持，Master设备周期发送通告报文，公布配置信息和工作状态；

（3）Backup设备根据收到的通告报文判断Master设备是否工作正常，如果Master设备主动放弃Master地位时，会发送优先级为0的通告报文，Backup设备收到后会快速切换成Master设备或者定时器超时后Backup设备认为Master设备无法正常工作，会切换状态为Master。

3.Keepalived、VRRP及其工作原理

（1）Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

（2）在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP。主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性

4.Keepalive体系主要模块

（1）core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

（2）vrrp模块：是来实现VRRP协议的。

（3）check模块：负责健康检查，常见的方式有端口检查及URL检查。

三.实验：搭建LVS+Keepalive 高可用集群

1.配置负载调度器（主keepalived服务器：192.168.227.101）

2.配置负载调度器（备keepalived服务器：192.168.227.102）

3.配置节点服务器（web1服务器：192.168.227.103）

4.配置节点服务器（web2服务器：192.168.227.104）

5.在客户机上测试（客户机：192.168.227.100）

6.主keepalived服务器：192.168.227.101

7.备keepalived服务器：192.168.227.102

8.断开主keepalived服务器：192.168.227.101

9.备keepalived服务器：192.168.227.102

---

一.Keepalived工具介绍

• 支持故障自动切换(Failover)

• 支持节点健康状态检查(Health Checking)

• 基于vrrp协议完成地址流动

• 为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

• 为ipvs集群的各RS做健康状态检测

• 基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务 

• 官方网站：Keepalived for Linux​​​​​

1.用户空间核心组件：

（1）vrrp stack：VIP消息通告

（2）checkers：监测real server（简单来说 就是监控后端真实服务器的服务）

（3）system call：实现 vrrp 协议状态转换时调用脚本的功能

（4）SMTP：邮件组件（报警邮件）

（5）IPVS wrapper：生成IPVS规则（直接生成ipvsadm）

（6）Netlink Reflector：网络接口（将虚拟地址ip（vip）地址飘动）

2.WatchDog：监控进程（整个架构是否有问题）

（1）控制组件：提供keepalived.conf 的解析器，完成Keepalived配置

（2）IO复用器：针对网络目的而优化的自己的线程抽象

（3）内存管理组件：为某些通用的内存管理功能（例如分配，重新分配，发布等）提供访问权限
 

二.vrrp协议（虚拟路由冗余协议）

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

1.vrrp定义

（1）是针对路由器的一种备份解决方案

（2）由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务

（3）每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态

（4）若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

2.vrrp工作过程

（1）选举Master，比较优先级，高的为Master，若优先级相同无Master时，比较接口IP地址，大的为Master，Master设备发送ARP报文，承担报文转发工作；

（2）状态维持，Master设备周期发送通告报文，公布配置信息和工作状态；

（3）Backup设备根据收到的通告报文判断Master设备是否工作正常，如果Master设备主动放弃Master地位时，会发送优先级为0的通告报文，Backup设备收到后会快速切换成Master设备或者定时器超时后Backup设备认为Master设备无法正常工作，会切换状态为Master。

3.Keepalived、VRRP及其工作原理

（1）Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

（2）在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP。主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性

4.Keepalive体系主要模块

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

（1）core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。

（2）vrrp模块：是来实现VRRP协议的。

（3）check模块：负责健康检查，常见的方式有端口检查及URL检查。

三.实验：搭建LVS+Keepalive 高可用集群

主keepalived服务器：192.168.227.101
备keepalived服务器：192.168.227.102
web1服务器：192.168.227.103
web2服务器：192.168.227.104  
vip：192.168.227.10
客户机：192.168.227.100

1.配置负载调度器（主keepalived服务器：192.168.227.101）

############################ 配置Keepalived master服务器 #################################1. #关闭防火墙
systemctl stop firewalld.service
setenforce 02. #安装服务
yum install ipvsadm keepalived -y 3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02router_id LVS_01
}vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUPstate MASTER
--21行--修改，指定承载vip地址的物理接口interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99priority 100advert_int 1					#通告间隔秒数(心跳频率)authentication {				#定义认证信息,每个热备组保持一致auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致auth_pass 123123}virtual_ipaddress {				#指定群集vip地址192.168.227.10}
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.227.10 80 {delay_loop 6					#健康检查的间隔时间(秒)lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)lb_kind DRpersistence_timeout 50			#连接保持时间(秒)protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口real_server 192.168.227.103 80 {weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		TCP_CHECK {connect_port 80			#添加检查的目标端口connect_timeout 3		#添加连接超时(秒)nb_get_retry 3			#添加重试次数delay_before_retry 3	#添加重试间隔}}real_server 192.168.227.104 80 {		#添加第二个 Web节点的地址、端口weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}
##删除后面多余的配置##4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	5. #调整proc响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 06. #刷新一下
sysctl -p############################# 配置ipvsadm #################################7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service8. 
#清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.227.10:80 -s rr
ipvsadm -a -t 192.168.227.10:80 -r 192.168.227.104:80 -g
ipvsadm -a -t 192.168.227.10:80 -r 192.168.227.103:80 -g9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

2.配置负载调度器（备keepalived服务器：192.168.227.102）

############################ 配置Keepalived master服务器 #################################1. #关闭防火墙
systemctl stop firewalld.service
setenforce 02. #安装服务
yum -y install ipvsadm keepalived3. #修改配置文件keeplived.conf
cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf......
global_defs {						#定义全局参数
--10行--修改，邮件服务指向本地smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02router_id LVS_01
}vrrp_instance VI_1 {				#定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUPstate BACKUP
--21行--修改，指定承载vip地址的物理接口interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致	virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99priority 99advert_int 1					#通告间隔秒数(心跳频率)authentication {				#定义认证信息,每个热备组保持一致auth_type PASS				#认证类型
--27行--修改，指定验证密码，主备服务器保持一致auth_pass 123123}virtual_ipaddress {				#指定群集vip地址192.168.277.10}
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.227.10 80 {delay_loop 6					#健康检查的间隔时间(秒)lb_algo rr						#指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)lb_kind DRpersistence_timeout 50			#连接保持时间(秒)protocol TCP					#应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口real_server 192.168.227.103 80 {weight 1					#节点的权重
--45行--删除，添加以下健康检查方式		TCP_CHECK {connect_port 80			#添加检查的目标端口connect_timeout 3		#添加连接超时(秒)nb_get_retry 3			#添加重试次数delay_before_retry 3	#添加重试间隔}}real_server 192.168.227.104 80 {		#添加第二个 Web节点的地址、端口weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 3}}
}
##删除后面多余的配置##4. #启动服务、查看虚拟网卡vip
systemctl start keepalived
ip addr show dev ens33	5. #调整proce响应参数，关闭Linux内核的重定向参数响应
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 06. #刷新一下
sysctl -p############################# 配置ipvsadm #################################7. #配置负载分配策略，并启动服务
ipvsadm-save >/etc/sysconfig/ipvsadm
systemctl start ipvsadm.service8. #清空ipvsadm，并做策略
ipvsadm -C
ipvsadm -A -t 192.168.227.10:80 -s rr
ipvsadm -a -t 192.168.227.10:80 -r 192.168.227.104:80 -g
ipvsadm -a -t 192.168.227.10:80 -r 192.168.227.103:80 -g9. #保存设置
ipvsadm
ipvsadm -ln
ipvsadm-save >/etc/sysconfig/ipvsadm

3.配置节点服务器（web1服务器：192.168.227.103）

1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd3. #配置站点文件
vim /var/www/html/index.html
this is 123 web1!4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.227.10
NETMASK=255.255.255.2555. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:06. #设置路由
route add -host 192.168.227.10 dev lo:0
route -n7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 28. #刷新proc参数
sysctl -p

4.配置节点服务器（web2服务器：192.168.227.104）

1. #关闭防火墙
systemctl stop firewalld
setenforce 02. #安装并开启httpd服务
yum -y install httpd
systemctl start httpd3. #配置站点文件
vim /var/www/html/index.html
this is 456 web2!4. #配置虚拟vip
vim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.227.10
NETMASK=255.255.255.2555. #重启网络服务，开启虚拟网卡
systemctl restart network
ifup lo:0
ifconfig lo:06. #设置路由
route add -host 192.168.227.10 dev lo:0
route -n7. #调整 proc 响应参数
#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP
vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 28. #刷新proc参数
sysctl -p

5.在客户机上测试（客户机：192.168.227.100）

curl 192.168.227.10

6.主keepalived服务器：192.168.227.101

7.备keepalived服务器：192.168.227.102

8.断开主keepalived服务器：192.168.227.101

9.备keepalived服务器：192.168.227.102