lvs-keepalived高可用群集

目录

1.Keepalived 概述及安装

1.1 Keepalived 的热备方式

 1.2 keepalived的安装与服务控制

（1）安装keep alived

(2)控制 Keepalived 服务DNF 安装 keepalived 后,执行以下命令将keepalived 服务设置为开机启动。

2.使用 Keepalived 实现双机热备

1. 主服务器的配置Keepalived 服务的配置目录位于/etc/keepalived/。其中,keepalived.conf 是主配置文件。另外包括一个子目录 samples/,提供了许多配置样例作为参考。

2. 备用服务器的配置在同一个 Keepalived 热备组内,所有服务器的Keepalived 配置文件基本相同,包括虚拟路由器的ID号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。

3. 测试双机热备功能1.Keepalived 的日志消息保存在/var/log/messages 文件中,在测试主、备故障自动切换功能时,可以跟踪此日志文件来观察热备状态的变化。以针对连通性和Web 服务的测试为例,主要操作如下。

(2)Web 访问测试在keepalived运行的主机上启动nginx服务并写入不通的测试页面内容

（3）看日志记录在执行主、备服务器故障切换的过程中,分别观察各自的/var/log/messages 日志文件,可以看到 MASTER、SLAVE 状态的迁移记录。

（1 ）主服务器中,Keepalived 服务状态先变为“stop”,移除VIP地址,恢复后重新变为 MASTER。

（2）备用服务器中,状态先切换为MASTER,待主服务器恢复后再交回控制权。

二 使用keepalived 是实现双机热备

1.基础环境配置、

2.配置主调度器

（1）全局配置 热备配置

(2)Web 服务器池配置

3.配置从调度器

4. 配置 Web 节点服务器

5. 测试 LVS+Keepalived 高可用群集

---

一 keepalived概述及安装

Keepalived 起初是专门针对 LVS 设计的一款强大的辅助工具,主要用来提供故障切换(Failover)和健康检查(Health Checking)功能-一判断 LVS 负载调度器、节点服务器的可用性,当master 主机出现故障及时切换到 backup节点保证业务正常,当 master 故障主机恢复后将其重新加入群集并且业务重新切换回 master 节点。

1.Keepalived 概述及安装

Keepalived 的官方网站位于http://www.keepalived.org/,本章将以 YUM方式讲解Keepalived 的安装、配置和使用过程。在非 LVS 群集环境中使用时,Keepalived 也可以作为热备软件使用。

1.1 Keepalived 的热备方式

Keepalived 采用 VRRP(Virtual Router Redundancy Protocol,虚拟路由冗余协议)热备份协议,以软件的方式实现 Linux 服务器的多机热备功能。VRRP是针对路由器的一种备份解决方案 -- 由多台路由器组成一个热备组,通过共用的虚拟 IP地址对外提供服务;每个热备组内同一时刻只有一台主路由器提供服务,其他路由器处于冗余状态。若当前在线 的路由器失效,则其他路由器会自动接替(优先级决定接替顺序)虚拟 IP地址,以继续提供服务,如图3.1所示。

   热备组内的每台路由器都可能成为主路由器,虚拟路由器的IP 地址(VIP)可以在热备组内的路由器之间进行转移,所以也称为漂移 IP地址。使用Keepalived 时,漂移地址的实现不需要手动建立虚接口配置文件(如 ens33:0),而是由Keepalived 根据配置文件自动管理。

 1.2 keepalived的安装与服务控制

（1）安装keep alived

在 OpenEuler24 系统中,使用 DNF 方 式安装 keepalived.x86_642.2.8-1.oe2403sp1,会自动安装Keepalived 所需的软件包。除此之外,在 LVS群集环境中应用时,也需要用到ipvsadm 管理工具。

[root@localhost ~]# yum install -y keepalived ipvsadm nginx

(2)控制 Keepalived 服务
DNF 安装 keepalived 后,执行以下命令将keepalived 服务设置为开机启动。

[root@localhost ]# systemctl enable keepalivedCreated                            symlink                from/etc/systemd/system/multi-user. target. wants/keepalived. serviceto /usr/lib/systemd/system/keepalived. service.

2.使用 Keepalived 实现双机热备

基于 VRRP 的热备方式,Keepalived 可以用作服务器的故障切换,每个热备组可以有 多台服务器 -- 当然,最常用的就是双机热备了。在这种双机热备方案中,故障切换主要针对虚拟 IP地址的漂移来实现,因此能够适用于各种应用服务器(不管是Web、FTP、Mail,还是 SSH、DNS …… )。本小节将通过一个简单的案例来说明 Keepalived 双机热备的配置方法。其中,主、备服务器的 IP 地址分别为 192.168.10.101 和 192.168.10.102,基于漂移地址192.168.10.100 提供 Web 服务,如图3.2 所示。

 

主、备服务器中都需要安装Keepalived,使用 YUM 方式安装 httpd 提供Web 服务。下面仅讲解与Keepalived 相关的配置及测试过程。

1. 主服务器的配置
Keepalived 服务的配置目录位于/etc/keepalived/。其中,keepalived.conf 是主配置文件。另外包括一个子目录 samples/,提供了许多配置样例作为参考。

 在Keepalived 的配置文件中,使用“global_defs{…}”区段指定全局参数,使用“vrrp_instance 实例名称{…}”区段指定VRRP 热备参数,注释文字以“!”符号开头

[root@localhost ]# systemctl stop firewalld[root@localhost ]# setenforce 0[root@localhost ~]# cd /etc/keepalived/[root@localhost keepalived]# cp keepalived. conf. sample keepalived. conf[root@localhost keepalived]# vim keepalived. confglobal_defs {router_id HA_TEST_R1vrrp_instance VI_1 {state MASTERinterface ens160virtual_router_id 1priority 100advert_int 1authentication {auth_type PASSauth_pass 123456}
virtual_ipaddress {192. 168. 10.100}
}

解释代码

router_id HA_TEST_R1                                服务器名称

vrrp_instance VI_1                                       定义vrrp热备

state MASTER                                            热备状态 master主服务器

interface ens160                                          VIP地址物理接口

virtual_router_id 1                                             虚拟路由id号

priority 100                                                       优先级 数值越大 优先级越高

advert_int 1                                                     心跳频率 间隔数

authentication                                               认证信息

auth_type PASS                                           认证类型

auth_pass123456                                      密码字符串

virtual_ipaddress                                         指定漂移地址可以有多个

确认上述配置无误,然后启动 Keepalived 服务。实际状态为 MASTER 的主服务器将为 ens33 接口自动添加 VIP 地址,通过 ip 命令可以查看。

[root@localhost keepalived]# systemctl start keepalived[root@localhost keepalived]# ip a2: ens33: <BROADCAST, MULTICAST, UP, LOWER_UP> mtu 1500 qdisc pfifo_faststate UP qlen 1000 link/ether 00:0c:29:93:80:fb brd ff:ff:ff:ff:ff:ffinet 192. 168. 10. 101/24 brd 172. 16. 16. 255 scope global ens33valid_lft forever preferred_lft foreverinet 192.168.10.100/32 scope global ens33//自动设置的 VIP 地址valid_lft forever preferred_lft foreverinet6 fe80 :: 56be:f27:2b9b:823e/64 scope linkvalid_lft forever preferred_lft forever

2. 备用服务器的配置
在同一个 Keepalived 热备组内,所有服务器的Keepalived 配置文件基本相同,包括虚拟路由器的ID号、认证信息、漂移地址、心跳频率等。不同之处主要在于路由器名称、热备状态、优先级。

路由器名称(router_id):建议为每个参与热备的服务器指定不同的名称。

热备状态(state):至少应有一台主服务器,将状态设为 MASTER;可以有 多台备用的服务器,将状态设为 BACKUP。

优先级(priority):数值越大则取得VIP 控制权的优先级越高,因此主 服务器的优先级应设为最高;其他备用服务器的优先级可依次递减,但不要相同, 以免在争夺VIP控制权时发生冲突。

配置备用服务器(可以有多台)时,可以参考主服务器的keepalived.conf配置文件内容,只需修改路由器名称、热备状态、优先级。

root@localhost ]# systemctl stop firewalld [root@localhost ~]# setenforce 0[root@localhost ]# cd /etc/keepalived/[root@localhost keepalived]# cp keepalived. conf. sample keepalived. conf[root@localhost keepalived]# vim keepalived. confglobal_defsrouter_id HA_TEST_R2
}vrrp instance VI_1 {state BACKUPpriority 99

解释代码：

router_id HA_TEST_R2             路由器名称

state BACKUP           热备状态 backup 表示备用服务器

priority 99        优先级 数值应低于主服务器

确认配置无误,一样需要启动Keepalived 服务。此时主服务器仍然在线,VIP 地址实际上仍然由主服务器控制,其他服务器处于备用状态。因此,在备用服务器中将不会为 ens33接口添加 VIP 地址

[root@localhost keepalived]# systemctl start keepalived[root@localhost keepalived]# ip addr show dev ens1602: ens33: <BROADCAST, MULTICAST, UP, LOWER_UP> mtu 1500 qdisc pfifo_faststate UP qlen 1000 link/ether 00:0c:29:d1:f0:b5 brd ff:ff:ff:ff:ff:ffinet 192. 168. 10. 102/24 brd 172. 16. 16. 255 scope global ens33valid_lft forever preferred_lft foreverinet6 fe80 :: 1f08:ab66:736f:72eb/64 scope linkvalid lft forever preferred_lft forever

3. 测试双机热备功能
1.Keepalived 的日志消息保存在/var/log/messages 文件中,在测试主、备故障自动切换功能时,可以跟踪此日志文件来观察热备状态的变化。以针对连通性和Web 服务的测试为例,主要操作如下。

(1)连通性测试
在客户机中执行“ping-t 192.168.10.100”命令,能够正常、持续ping通,根据以下操作继续观察测试结果。
（1）停止启用主服务器的 Keepalived 服务,发现 ping测试只中断了1或2个包即恢复正常,说明已有其他服务器接替 VIP地址,并及时响应客户机请求。

（2）重新启用主服务器的 Keepalived 服务,发现 ping 测试再次中断1或2个包即恢复正常,说明主服务器已恢复正常,并夺回VIP地址的控制权。

(2)Web 访问测试
在keepalived运行的主机上启动nginx服务并写入不通的测试页面内容

Keepalived01

[root@localhost ~]# systemctl start nginx[root@localhost ]# echo "web01" >/usr/share/nginx/html/index. html

keepalived02

[root@localhost ]# systemctl start nginx[root@localhost ]# echo "web02" >/usr/share/nginx/html/index. html

在客户机中访问 http://192.168.10.100/,将看到由主服务器 192.168.10.101提供的网页文档。

（1 ）停止启用主服务器的 Keepalived 服务,再次访问上述Web 服务,将看到由备用服务器 192.168.10.102 提供的网页文档,说明VIP地址已切换至备用服务器。
（2 ）重新启用主服务器的 Keepalived 服务,再次访问上述 Web 服务,将看到重新由主服务器 192.168.10.101 提供的网页文档,说明主服务器已

（3）看日志记录
在执行主、备服务器故障切换的过程中,分别观察各自的/var/log/messages 日志文件,可以看到 MASTER、SLAVE 状态的迁移记录。

（1 ）主服务器中,Keepalived 服务状态先变为“stop”,移除VIP地址,恢复后重新变为 MASTER。

​
[root@localhost ~]# less /var/log/messages​

（2）备用服务器中,状态先切换为MASTER,待主服务器恢复后再交回控制权。

[root@localhost ~]# less /var/log/messages

二 使用keepalived 是实现双机热备

Keepalived 的设计目标是构建高可用的 LVS 负载均衡群集,可以调用ipvsadm 工具来创建虚拟服务器、管理服务器池,而不仅仅用作双机热备。使用Keepalived 构建 LVS 群集更加简便易用,主要优势体现在:对 LVS 负载调度器实现热备切换,提高可用性;对服务器池中的节点进行健康检查,自动移除失效节点,恢复后再重新加入。

在基于 LVS+Keepalived 实现的 LVS 群集结构中,至少包括两台热备的负载调度器,三台以上的节点服务器。本节将以DR 模式的LVS 群集为基础,增加一台从负载调度器,使用Keepalived 来实现主、从调度器的热备,从而构建兼有负载均衡、高可用两种能力的LVS网站群集平台,如图3.3 所示。

 使用 Keepalived 构建 LVS 群集时,也需要用到ipvsadm 管理工具。但大部分工作会由Keepalived 自动完成,不需要手动执行 ipvsadm(除了查看和监控群集以外)。下面主要讲解Keepalived 的服务器池设置,关于 NFS 共享服务的配置、Keepalived 的热备配置等在此不再详细阐述。

1.基础环境配置、

关闭linux 内核防火墙

setenforce 0systemct stop firewalld

安装服务器keepalived模板并配置文件

dnf -y install keepalived

cd /etc/keepalived/
ls
cp /etc/keepalived/keepalived.conf

2.配置主调度器

配置主调度器步骤：

（1）全局配置 热备配置

首先为主、从调度器实现热备功能,漂移地址使用LVS 群集的 VIP 地址。

vim keepalivedd.cofglobal_defs {router_id LVS_HA_R1
}
vrrp_instance VI_1 {virtual_router_id 1state MASTER
interface ens33priority 100advert_int 1authentication {auth_type PASSauth_pass 123456
}virtual ipaddress {192.168.10.100}}

解释代码：

router_id LVS_HA_R1     主调度器名称

state MASTER         主调度器 热备状态

priority 100        主调度器 优先级

authentication {        主 从热备认证信息

virtual ipaddress      指定群集VIP地址

(2)Web 服务器池配置

在 Keepalieved 的热备配置基础上添加“virtual_server VIP 端口{ ... }”区段来 配置虚拟服务器,主要包括对负载调度算法、群集工作模式、健康检查间隔、真实服务器地址等参数的设置。

[root@localhost ]# vi /etc/keepalived/keepalived. confvirtual_server 192. 168. 10. 100 80 {delay_loop 151b_algo rrlb_kind DR! persistence 60protocol TCPreal server 192. 168. 10. 103 80 {weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 4
}
}
real_server 192.168.10.104 80 {}
}

解释代码：

virtual_server 192. 168. 10. 100 80    虚拟服务器地址 端口

delay_loop 15    健康检查间隔时间

1b_algo rr       轮询调度算法

lb_kind DR  直接路由群集模式

! persistence 60   连接保持时间

protocol TCP  应用服务采用 TCP协议

real server 192. 168. 10. 103 80 {    第一个web节点地址

weight 1   节点的权重

TCP_CHECK {    健康检查方式

connect_port 80   检查的目标端口

connect_timeout 3  连接超时

nb_get_retry 3  重试次数

delay_before_retry 4  重试间隔

（3）重新启动keepaalived服务

systemcctl restart keepalived

3.配置从调度器

从调度器的配置与主调度器基本相同,也包括全局配置、热备配置、服务器池配置,只需要调整router_id、state、priority 参数即可,其余内容完全相同。配置完成以后重启Keepalived 服务。

[root@localhost ~]# vi /etc/keepalived/keepalived. confglobal_defs {router_id LVS_HA_R2vrrp_instance VI_1 {state BACKUPpriority 90virtual_server 192. 168. 10. 100 80 {

解释代码：

router_id LVS_HA_R2    从调度器的名称

state BACKUP   从调度器的热备状态

priority 90   从调度器的优先级

systemctl restart keepalived

4. 配置 Web 节点服务器

根据所选择的群集工作模式不同(DR或 NAT),节点服务器的配置也有些差异。以DR模式为例,除了需要调整/proc 系统的 ARP 响应参数以外,还需要为虚拟接口 10:0 配置 VIP地址,并添加一条到VIP的本地路由,具体方法请参考第2章。

DR 模式需要节点服务器也配置vip

#!/bin/bash
# 修改为自己的VIPvip='192.168. 207. 200'case "$1" instart)
# 设置ARP 参数
echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/all/arp_announceecho "1" > /proc/sys/net/ipv4/conf/default/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/default/arp_announceecho "1" > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/lo/arp_announce#临时添加 VIP(重启失效)
sudo ip addr add $ {vip}/32 dev lo label lo:0# 临时添加路由(重启失效)
sudo ip route add local $ {vip}/32 dev lo# 永久生效(通过 rc.local 或 NetworkManager 脚本)
echo "ip addr add $ {vip}/32 dev lo label lo:0" | sudo tee/etc/rc. localecho "ip route add local $ {vip} /32 dev lo" | sudo tee -a /etc/rc. locasudo chmod +x /etc/rc. localstop)
#恢复 ARP 参数
echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignoreecho "0" > /proc/sys/net/ipv4/conf/all/arp_announceecho "0" > /proc/sys/net/ipv4/conf/default/arp_ignoreecho "0" > /proc/sys/net/ipv4/conf/default/arp_announceecho "0" > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho "0" > /proc/sys/net/ipv4/conf/lo/arp_announce#移除临时添加的 VIP
sudo ip addr del $ {vip}/32 dev lo label lo:0# 移除临时添加的路由
sudo ip route del local ${vip}/32 dev lo#从 rc.local 中移除永久设置
sudo sed -i "/ip addr add ${vip}\/32 dev lo label lo:0/d"/etc/rc. localsudo sed -i "/ip route add local $ {vip} \/32 dev lo/d" /etc/rc.local
;;*echo "Usage: $0 {start|stop}"exit 1esacexit 0

5. 测试 LVS+Keepalived 高可用群集

在客户机的浏览器中,能够通过 LVS+Keepalived 群集的 VIP 地址(192.168.10.100)正 常访问 Web 页面内容。当主、从调度器任何一个失效时,Web 站点仍然可以访问(可能需要 刷新或者重新打开浏览器);只要服务器池有两台及以上的真实服务器可用,就可以实现访问量的负载均衡。通过主、从调度器的/var/log/messages 日志文件,可以跟踪故障切换过程;若要查看负载分配情况,可以执行“ipvsadm-1n”“ipvsadm-lnc”等操作命令。最终可以验证LVS+Keepalived 高可用负载均衡群集的健壮性。