LVS集群中的负载均衡技术

目录

一、LVS技术原理

二、NAT模式原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、软件安装与启用

3、测试

三、DR模式原理及部署方法

1、工作原理

2、部署方法

1、网络配置

2、解决vip响应问题

3、测试

四、ipvsadm命令及参数

1、管理集群服务（负载均衡器）的命令

2、管理集群中 RealServer 的命令

五、LVS中的调度方法

1、静态调度算法

2、动态调度算法

六、LVS优化

1、防火墙标签

2、LVS持久链接

---

LVS 技术出现的背景：
随着互联网的迅速发展，网站和网络服务的访问量不断增加。早期，单个服务器很难应对大量的并发请求，容易导致性能下降、响应延迟甚至服务崩溃。
在这种情况下，需要一种有效的方法来实现服务器的负载均衡，以提高系统的整体性能和可用性。
传统的负载均衡方法存在诸多局限性，例如硬件负载均衡设备成本高昂，而且缺乏灵活性和可扩展性。
Linux 操作系统因其开源、稳定、高效等特点在服务器领域得到广泛应用。基于 Linux 开发一种高效、灵活且成本相对较低的负载均衡技术成为了一种迫切的需求。
于是，LVS 技术应运而生，它充分利用了 Linux 系统的内核功能和网络特性，为解决服务器负载均衡问题提供了一种强大而经济有效的解决方案。

一、LVS技术原理

LVS（Linux Virtual Server）技术是一种基于 Linux 操作系统的开源负载均衡技术。

LVS 工作在网络的第四层，即传输层，它通过 IP 负载均衡技术和基于内容请求分发技术来实现对大量网络服务请求的高效分发和处理。

LVS 主要有三种工作模式：

1. NAT 模式（Network Address Translation）：通过修改请求数据包的目标 IP 地址和目标端口来实现请求的分发。这种模式配置简单，但对 LVS 服务器的性能要求较高，因为所有的请求和响应都要经过 LVS 服务器。 例如，在一个小型企业网络中，如果有多台 Web 服务器提供相同的服务，就可以使用 LVS 的 NAT 模式来均衡访问流量。

2. DR 模式（Direct Routing）：直接路由模式，请求数据包在通过 LVS 服务器时，LVS 服务器只修改数据包的目的 MAC 地址，然后将数据包直接发送到真实服务器。响应数据包直接由真实服务器返回给客户端，不再经过 LVS 服务器。 比如，在大型电商网站的服务器架构中，为了提高性能和可扩展性，常常采用 DR 模式进行负载均衡。

3. TUN 模式（IP Tunneling）：IP 隧道模式，LVS 服务器和真实服务器之间通过 IP 隧道进行通信。LVS 服务器将请求数据包封装在新的 IP 数据包中，然后发送到真实服务器，真实服务器解封装后处理请求，并直接将响应返回给客户端。 此种模式适用于服务器分散在不同地域的情况，通过公共网络建立隧道来实现负载均衡。

   LVS 技术具有高可用性、高扩展性和高性能等优点，被广泛应用于大型网站、云计算平台等场景，能够有效地提升系统的整体性能和可靠性。

本文主要介绍常用的NAT模式和DR模式。

LVS集群体系总框架：

VS（Virtual Server）：指的是虚拟服务器，它是由 LVS 负载均衡器所构建的一个逻辑上的服务实体。客户端实际上是向这个虚拟服务器发送请求。 RS（Real Server）：即真实服务器，是实际处理客户端请求并提供服务的服务器节点。 VIP（Virtual IP）：虚拟 IP 地址，是客户端用来访问服务的公共 IP 地址。 DIP（Director IP）：负载均衡器（Director）的 IP 地址，用于与后端真实服务器进行通信。 RIP（Real Server IP）：真实服务器的 IP 地址。 CIP（Client IP）：客户端的 IP 地址。

访问流程:CIP<->VIP== DIP<->RIP

二、NAT模式原理及部署方法

1、工作原理

在 LVS NAT 模式中，存在一个作为负载均衡器的 LVS 服务器和一组后端的真实服务器（Real Server）。 当客户端发送请求到 LVS 服务器时，LVS 服务器接收到请求数据包。 它会修改数据包中的目标 IP 地址和目标端口，将其转换为后端某一台真实服务器的 IP 地址和端口。 然后，LVS 服务器将修改后的数据包转发给选定的真实服务器。 真实服务器处理请求后，将响应数据包发送回 LVS 服务器。 LVS 服务器再对响应数据包进行源 IP 地址和源端口的转换，将其转换为客户端的 IP 地址和端口。 最后，LVS 服务器将响应数据包发送回客户端。

2、部署方法

基于RHEL9系统的环境搭建

RHEL9基础环境配置：

vmset.sh脚本配置

#企业9
[root@localhost mlh]# vim /bin/vmset.sh
#配置内容
#!/bin/bash
rm -fr /etc/NetworkManager/system-connections/$1.nmconnection
cat > /etc/NetworkManager/system-connections/$1.nmconnection <<EOF
[connection]
id=$1
type=ethernet
interface-name=$1[ipv4]
address1=$2/24,172.25.254.2
method=manual
dns=114.114.114.114;
EOFchmod 600 /etc/NetworkManager/system-connections/$1.nmconnection
nmcli connection reload
nmcli connection up $1hostnamectl hostname $3cat > /etc/hosts <<EOF
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
$2	$3
EOF

实验准备：一台LVS负载均衡器和两台真实服务器

1、网络配置

LVS一个两个网卡分别为NAT模式和仅主机模式

两台真实服务器仅添加一个仅主机模式网卡

网卡配置：

LVS负载均衡器VS

vmset.sh eth0 172.25.254.100 lvs.mlh.org vmset.sh eth1 192.168.0.100 lvs.mlh.org nmcli connection reloadnmcli connection up eth0nmcli connection up eth1[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1[ipv4]
address1=192.168.0.100/24
method=manualnmcli connection reload
nmcli connection up eth1

由于两个网卡不在同一网络，打开内核路由功能

[root@lvs ~]# sysctl -a | grep ip_forward[root@lvs ~]# vim /etc/sysctl.conf[root@lvs ~]# sysctl -p	#配置生效
net.ipv4.ip_forward = 1

真实服务器RS

vmset.sh eth0 192.168.0.10 webserver1.mlh.org vmset.sh eth0 192.168.0.20 webserver2.mlh.org nmcli connection reload
nmcli connection up eth0

网关设置

[root@webserver1 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
address1=192.168.0.10/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0[root@webserver2 ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
address1=192.168.0.20/24,192.168.0.100
method=manual
nmcli connection reload
nmcli connection up eth0

2、软件安装与启用

程序包：ipvsadm

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

ipvs调度规则文件：/etc/sysconfig/ipvsadm

[root@lvs ~]# dnf install ipvsadm -y[root@webserver1 ~]# dnf install httpd
[root@webserver1 ~]# systemctl enable --now httpd[root@webserver2 ~]# dnf install httpd
[root@webserver2 ~]# systemctl enable --now httpd

第一次安装未存储过/etc/sysconfig/ipvsadm文件，使用systemctl restart ipvsadm.service会报错，systemctl restart ipvsadm.service启动这个服务的作用就是加载ipvsadm文件内容，如果没有/etc/sysconfig/ipvsadm文件或者其中没有有效的配置，服务可能无法正确初始化或找不到所需的配置信息，从而导致报错。

3、测试

[root@webserver1 ~]# echo webserver-192.168.0.10 > /var/www/html/index.html[root@webserver2 ~]# echo webserver2-192.168.0.20 > /var/www/html/index.html

[root@lvs ~]# ipvsadm -A -t 172.25.254.100:80 -s rr[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.10:80 -m
[root@lvs ~]# ipvsadm -a -t 172.25.254.100:80 -r 192.168.0.20:80 -m

测试结果

[root@lvs home]# for i in {1..10}
> do
> curl 172.25.254.100
> done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

保存策略：需要做本地解析

[root@lvs home]# ipvsadm-save > /etc/sysconfig/ipvsadm

三、DR模式原理及部署方法

1、工作原理

在 LVS DR 模式中，同样存在负载均衡器（LVS 服务器）和后端的真实服务器（Real Server）。 当客户端发送请求到负载均衡器时，负载均衡器根据调度算法选择一台合适的真实服务器。 与 NAT 模式不同的是，负载均衡器不会修改请求数据包的目标 IP 地址，而是仅仅修改目标 MAC 地址为所选真实服务器的 MAC 地址。 然后，数据包直接通过交换机被转发到真实服务器。 真实服务器接收到请求后，直接处理请求，并将响应数据包直接返回给客户端，而不再经过负载均衡器。

2、部署方法

基于RHEL9系统的环境搭建

在NAT模式环境基础上增删配置，新增客户和路由两台主机

1、网络配置

LVS配置

删除之前网卡，设置新网卡为仅主机模式

vmset.sh eth0 192.168.0.50 lvs.mlh.org[root@lvs ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection 
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
address1=192.168.0.50/24,192.168.0.100
method=manual
[root@lvs ~]# ip a a 192.168.0.200/32 dev lo
[root@lvs ~]# nmcli connection reload 
[root@lvs ~]# nmcli connection up eth0 

路由主机配置

vmset.sh eth1 192.168.0.100 router.mlh.orgvmset.sh eth0 172.25.254.100 router.mlh.org[root@router ~]# vim /etc/NetworkManager/system-connections/eth1.nmconnection
#配置内容
[connection]
id=eth1
type=ethernet
interface-name=eth1[ipv4]
address1=192.168.0.100/24
method=manual[root@router ~]# nmcli connection reload 
[root@router ~]# nmcli connection up eth1
[root@router ~]# nmcli connection up eth0

由于两个网卡不在同一网络，打开内核路由功能

[root@router ~]# vim /etc/sysctl.conf 
[root@router ~]# sysctl -p
net.ipv4.ip_forward = 1

client客户端配置

vmset.sh eth0 172.25.254.200 client.mlh.org
[root@client ~]# vim /etc/NetworkManager/system-connections/eth0.nmconnection
#配置内容
[connection]
id=eth0
type=ethernet
interface-name=eth0[ipv4]
address1=172.25.254.200/24,172.25.254.100
method=manual[root@client ~]# nmcli connection reload 
[root@client ~]# nmcli connection up eth0

RS设备vip配置

[root@webserver1 ~]# ip a a 192.168.0.200/32 dev lo[root@webserver2 ~]# ip a a 192.168.0.200/32 dev lo

网络测试

2、解决vip响应问题

在 LVS 的 DR 模式中，VIP 的响应存在一些需要特别注意的问题。首先，在 DR 模式下，真实服务器（RS）需要直接响应客户端的请求。为了实现这一点，RS 上需要配置 VIP 地址。但由于网络规则的限制，同一个网络段内不能存在相同的 IP 地址，这就可能导致网络冲突。 为了避免冲突，RS 上配置的 VIP 地址不能对外广播，通常是通过修改内核参数或者使用一些特殊的网络配置技巧来实现。 另外，当 RS 响应客户端请求时，源 IP 地址应该是 VIP 地址。然而，如果 RS 没有正确配置，可能会使用其真实的 IP 地址作为源 IP 进行响应，这会导致客户端无法正确接收响应，因为客户端发送请求的目标是 VIP 。

DR模型中各主机上均需要配置VIP，解决地址冲突的方式有三种：

(1)在前端网关做静态绑定

(2)在各RS使用arptables

(3)在各RS修改内核参数，来限制arp响应和通告的级别

限制响应级别:arp_ignore

0:默认值，表示可使用本地任意接口上配置的任意地址进行响应

1:仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应限制通告级别:arp_announce

0:默认值，把本机所有接口的所有信息向每个接口的网络进行通告

1:尽量避免将接口信息向非直接连接网络进行通告

2:必须避免将接口信息向非本网络进行通告

在Real Server上做配置使rs主机vip不对外响应：

[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver1 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver1 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/all/arp_ignore
[root@webserver2 ~]# echo 2 > /proc/sys/net/ipv4/conf/lo/arp_ignore
[root@webserver2 ~]# echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
#重启后不生效

3、测试

在lvs主机上做策略如下

[root@lvs ~]# ipvsadm -A -t 192.168.0.200:80 -s wrr[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.10:80 -g -w 1[root@lvs ~]# ipvsadm -a -t 192.168.0.200:80 -r 192.168.0.20:80 -g -w 1

实验结果

[root@client ~]# for i in {1..20}; do curl 192.168.0.200; done
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10
webserver2-192.168.0.20
webserver1-192.168.0.10

四、ipvsadm命令及参数

1、管理集群服务（负载均衡器）的命令

ipvsadm -A -t <VIP>:<Port> -s <调度算法> ：添加一个新的集群服务，其中 <VIP> 是虚拟 IP 地址，<Port> 是端口，<调度算法> 可以是 rr（轮询）、wrr（加权轮询）、lc（最少连接）等。
例如：ipvsadm -A -t 192.168.1.100:80 -s wrr

ipvsadm -E -t <VIP>:<Port> -s <调度算法> ：修改已存在的集群服务的调度算法。
例如：ipvsadm -E -t 192.168.1.100:80 -s lc

ipvsadm -D -t <VIP>:<Port> ：删除一个集群服务。
例如：ipvsadm -D -t 192.168.1.100:80

2、管理集群中 RealServer 的命令

ipvsadm -a -t <VIP>:<Port> -r <RIP>:<Port> -m ：添加一个真实服务器到集群服务中，-m 表示使用 NAT 模式。
例如：ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.11:80 -m

ipvsadm -e -t <VIP>:<Port> -r <RIP>:<Port> [-g| -i| -m] ：修改真实服务器的属性，如模式（-g 表示 DR 模式，-i 表示 TUN 模式）。
例如：ipvsadm -e -t 192.168.1.100:80 -r 192.168.1.11:80 -g

ipvsadm -d -t <VIP>:<Port> -r <RIP>:<Port> ：从集群服务中删除一个真实服务器。
例如：ipvsadm -d -t 192.168.1.100:80 -r 192.168.1.11:80

五、LVS中的调度方法

1、静态调度算法

1、轮询（Round Robin，RR）

原理：按照服务器列表的顺序，依次将请求分配给每台服务器，循环进行。

优点：实现简单，容易理解和配置，确保每台服务器都有机会处理请求，公平性较好。

缺点：不考虑服务器的实际负载和性能差异，可能导致性能较好的服务器无法充分发挥优势，而性能较差的服务器成为瓶颈

适用场景：服务器性能相当，且请求处理时间相对均匀，对负载均衡的精度要求不高的场景。

示例：假设有三台服务器 S1、S2、S3，请求依次按照 S1、S2、S3 的顺序分配。

2、加权轮询（Weighted Round Robin，WRR）

原理：为每台服务器设置一个权重值，根据权重比例分配请求。

优点：能够根据服务器的性能差异分配不同比例的请求，无法动态适应服务器负载变化。

缺点：权重设置可能不够精确，导致负载不均衡，无法动态适应服务器负载变化。

适用场景：服务器性能有差异，但差异相对稳定，能够大致评估服务器性能并设置合理权重。

示例：S1 权重为 2，S2 权重为 3，S3 权重为 5，对于 10 个请求，大约 2 个分配给 S1，3 个分配给 S2，5 个分配给 S3。

3、源地址哈希（Source Hashing，SH）

原理：根据请求的源 IP 地址进行哈希计算，将具有相同源 IP 地址的请求始终分配到同一台服务器。

优点：保证来自同一源的请求处理一致性，有利于会话保持。

缺点：可能导致服务器负载不均衡，对服务器故障的容错性较差。

适用场景：需要保持源 IP 相关会话或状态的应用。

示例：用户 A 的源 IP 哈希后始终对应服务器 S1，其后续请求都分配到 S1。

4、目标地址哈希（Destination Hashing，DH）

原理：基于请求的目标 IP 地址进行哈希运算，将请求分配到特定服务器。

优点：对于目标地址固定的请求，提高缓存命中率。

缺点：不够灵活，目标地址分布变化时可能负载不均。

适用场景：目标地址分布较为固定的场景。

示例：特定目标 IP 范围的请求总是分配到特定服务器。

2、动态调度算法

1、最少连接（Least Connections，LC）

原理：实时统计每台服务器当前的连接数，将新请求分配给连接数最少的服务器。

优点：能动态适应服务器负载变化，将请求分配到相对空闲的服务器，较好地平衡服务器负载。

缺点：对于短连接请求，连接数统计可能不准确，计算和更新连接数有一定开销

适用场景：服务器处理请求的时长差异较大，长连接和短连接混合的场景

示例：假设 S1 有 5 个连接，S2 有 8 个连接，S3 有 3 个连接，新请求会分配给 S3。

2、加权最少连接（Weighted Least Connections，WLC）

原理：为每台服务器设置权重，计算加权后的连接数（连接数×权重），将请求分配给加权连接数最少的服务器。

优点：综合考虑服务器性能和当前负载，更精准地平衡负载。

缺点：计算加权连接数较复杂，增加系统开销，权重设置需准确评估服务器性能。

适用场景：服务器性能和重要性不同，对负载均衡精度要求较高。

示例：S1 权重为 2，连接数为 5；S2 权重为 3，连接数为 8；S3 权重为 5，连接数为 3。S1 的加权连接数为 10，S2 为 24，S3 为 15，新请求分配给 S1。

3、基于局部性的最少连接（Locality-Based Least Connections，LBLC）

原理：根据请求的目标 IP 地址所属网段，将请求分配给同一网段中连接数最少的服务器。

优点：提高同一网段请求的处理效率和缓存命中率。

缺点：依赖准确的网段划分和识别，对跨网段请求的处理不够灵活。

适用场景：同一网段内请求较为集中的场景。

示例：若多个请求来自同一网段，且该网段内 S1 的连接数最少，则优先分配给 S1。

4、带复制的基于局部性最少连接（Locality-Based Least Connections with Replication，LBLCR）

原理：在 LBLC 基础上，在多台服务器上复制相同内容，提高命中率。

优点：进一步提高命中率和处理速度。

缺点：增加数据复制的开销，管理复杂度较高。

适用场景：对命中率和响应速度要求极高的场景。

示例：热门数据在多台服务器上复制，同一网段请求到来时优先分配到有复制数据的服务器。

5、最短期望延迟（Shortest Expected Delay，SED）

原理：在 WLC 基础上，计算服务器的预期延迟（连接数/权重），选择预期延迟最小的服务器。

优点：更精确地平衡服务器负载。

缺点：计算预期延迟增加系统开销。

适用场景：对服务器响应时间要求极高的场景。

示例：S1 权重为 2，连接数为 5；S2 权重为 3，连接数为 6；S1 的预期延迟为 2.5，S2 为 2，新请求分配给 S2。

6、永不排队（Never Queue，NQ）

原理：若有空闲服务器，直接将请求分配给空闲服务器，不排队。

优点：快速响应请求，减少等待时间。

缺点：可能导致服务器负载不均衡。

适用场景：对实时性要求极高，不能容忍请求排队的场景。

示例：新请求到来时，若 S3 空闲，直接分配给 S3。

六、LVS优化

1、防火墙标签

轮询错误：比如服务器的硬件配置（如 CPU、内存）、网络带宽以及正在运行的服务不同，导致处理能力各异，但轮询机制未区分。或者某些时间段或特定事件可能导致请求量突然增加，轮询无法快速适应这种负载的急剧变化。

原理：防火墙标签本质上是为网络数据包添加一个特定的标识。在 LVS 环境中，当数据包进入系统时，防火墙根据事先设定的规则为其打上标签。LVS 负载均衡器在进行请求分发时，不再仅仅依赖传统的轮询机制，而是可以根据这些标签来做出更智能的决策。

传统轮询可能导致性能较强的服务器未得到充分利用，而性能较弱的服务器负载过重。通过标签，可以将资源需求较大或关键的请求分配给更强大的服务器。

若某台服务器出现故障，轮询可能仍将请求发送到该服务器，导致服务中断。标签可标识故障服务器，使请求避开。

配置：

配置防火墙规则并设置标签：

使用 iptables 命令为特定的流量设置标签。

假设要为来自特定源 IP 范围的流量设置标签 10：

iptables -t mangle -A PREROUTING -s 192.168.1.0/24 -j MARK --set-mark 10

2、LVS持久链接

LVS 持久连接是为了保持同一客户端与后端服务器的持续性连接。当客户端首次与 LVS 建立连接时，LVS 根据调度算法将其分配到某一后端服务器。在持久连接的有效期内，后续来自该客户端的请求都将被定向到同一台后端服务器，以保持会话的一致性。

在 LVS 的配置中，可以通过设置持久连接的超时时间来启用持久连接功能。例如，使用 ipvsadm 命令设置持久连接超时时间为 3600 秒（1 小时）：

ipvsadm -A -t <VIP>:<Port> -s <调度算法> -p 3600

其中，<VIP> 是虚拟 IP 地址，<Port> 是端口，<调度算法> 是选择的调度算法。

总之，防火墙标签和 LVS 持久连接都是为了优化 LVS 负载均衡的效果，以适应不同的网络环境和业务需求。