LVS----DR模式

一、LVS-DR工作原理

1、LVS-DR数据包流向分析

1. 客户端发送请求到Director Server (负载均衡器)，请求的数据报文（源IP是CIP，目标IP是VIP）到达内核空间。
2. Director Server 和Real Server 在同一个网络中，数据通过二层数据链路层来传输。

3. 内核空间判断数据包的目标IP是本机VIP，此时IPVS（IP虛拟服务器）比对数据包请求的服务是否是集群服务，是集群服务就重新封装数据包修改源MAC地址为Director server 的MAC地址，修改目标MAC地址为Real Server 的MAC 地址，源IP 地址与目标IP地址没有改变，然后将数据包发送给Real Server。

4. 到达Real server 的请求报文的MAC地址是自身的MAC地址，就接收此报文。数据包重新封装报文（源IP地址为VIP，目标IP为CIP），将响应报文通过lo接口传送给物理网卡然后向外发出。

5. Real Server 直接将响应报文传送到客户端。客户端收到回复报文，认为得到正常的服务，而不会知道是哪一台服务器处理的。

2、DR模式的特点

1. Director Server（调度器） 和 Real Server（节点服务器） 必须在同一个物理网络中。
2. Real Server可以使用私有地址，也可以使用公网地址。如果使用公网地址，可以通过互联网对RIP进行直接访问。
3. Director Server作为群集的访问入口，但不作为网关使用。
4. 所有的请求报文经由Director Server, 但回复响应报文不能经过Director Server。
5. Real Server 的网关不允许指向Director Server IP， 即Real Server发送的数据包不允许经过Director Server。（RS的网关地址只能指定真实的路由器网关）
6. Real Server 上的 lo 接口配置VIP的IP地址。

二、LVS-DR中的ARP问题

1、VIP地址相同导致响应冲突

原因：

在LVS-DR负载均衡集群中，负载均衡器与节点服务器都要配置相同的VIP地址，在局域网中具有相同的IP地 址，势必会造成各服务器ARP通信的紊乱。

当ARP广播发送到LVS-DR集群时，因为负载均衡器和节点服务器都是连接到相同的网络上，它们都会收到ARP广播。

只有前端的负载均衡器进行响应，其他节点服务器不应该响应ARP广播。

解决方案：

对节点服务器进行处理，使其不响应针对VIP的ARP请求。

使用虚接口lo:0承载VIP地址。

设置内核参数 arp_ ignore=1：系统只响应目的IP为本地IP（物理网卡的地址，而不是lo网卡的虚接口地址）的ARP请求。

2、解决ARP问题的设置方法

修改/etc/sysctl.conf 文件，调整内核的ARP响应参数。

 vim /etc/sysctl.conf     //添加以下四行参数net.ipv4.conf.lo.arp_ignore = 1  net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2sysctl -p  //刷新配置，读取修改后的配置#arp_ignore=1 ：使本机系统只响应目的IP为本地物理网卡IP的ARP请求。#arp_announce=2：使本机系统不使用即将返回的IP数据包的源地址来作为ARP请求报文的源地址，而采用发送接口（物理网卡）的IP作为ARP请求报文源地址。

三、LVS-DR模式(直接路由)

直接路由（Direct Routing）：简称 DR 模式，采用半开放式的网络结构，与 TUN模式的结构类似，但各节点并不是分散在各地，而是与调度器位于同一个物理网络。

负载调度器与各节点服务器通过本地网络连接，不需要建立专用的 IP 隧道

直接路由，LVS默认模式,应用最广泛,通过请求报文重新封装一个MAC首部进行转发，源MAC是DIP所在的接口的MAC，目标MAC是某挑选出的RS的RIP所在接口的MAC地址；源IP/PORT，以及目标IP/PORT均保持不变

DR模式两种解决方法：

绑定ARP绑定Ivs 代理服务器（碰不到客户端，一般不用）
关闭ARP 广播 真实服务器（一般采用它）

LVS调度服务器也可以使用公网ip,也可以买公网ip

DR模式的特点：

1. Director（调度器）和各RS（真实服务器）都配置有VIP（虚拟ip）

2. 确保前端路由器将目标IP为VIP的请求报文发往Director

• 在前端网关做静态绑定VIP和Director的MAC地址

• 在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP

在RS上修改内核参数以限制arp通告及应答级别

/proc/sys/net/ipv4/conf/all/arp_ignore  忽略arp广播
/proc/sys/net/ipv4/conf/all/arp_announce  关闭无敌arp

RS(真实服务器)的RIP（真实ip）可以使用私网地址，也可以是公网地址；RIP与DIP在同一IP网络；RIP的网关不能指向DIP，以确保响应报文不会经由Director

1. RS和Director要在同一个物理网络

2. 请求报文要经由Director，但响应报文不经由Director，而由RS直接发往Client

3. 不支持端口映射（端口不能修改）

4. 无需开启 ip_forward(路由转发)

5. RS可使用大多数OS系统

操作系统(Operating System，缩写为OS)是一种控制和管理计算机硬件与软件资源的计算机程序

回环网卡上配置虚拟ip,四台机器共用一个虚拟ip，在Linux中，回环网卡是指用于本地回环测试的虚拟网络接口，通常被标识为lo

实验环境：

1. 调度服务器：192.168.10.100
2. 后端服务器：192.168.10.101
3. 后端服务器：192.168.10.102
4. 客户端：192.168.10.103
5. vip虚拟回环：192.168.10.188

###先将4台机子的防火墙及核心防护全部关闭
[root@localhost ~]#systemctl stop firewalld
[root@localhost ~]#setenforce 0

7-0配置负载调度器

[root@localhost ~]#ifconfig ens33:0 192.168.10.188/32[root@localhost ~]#ip a[root@localhost ~]#vim /etc/sysctl.conf
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0[root@localhost ~]#sysctl -p
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0[root@localhost ~]#modprobe ip_vs
[root@localhost ~]#cat /proc/net/ip_vs[root@localhost ~]#yum install ipvsadm.x86_64 -y[root@localhost ~]#ipvsadm-save > /etc/sysconfig/ipvsadm[root@localhost ~]#systemctl start ipvsadm.service [root@localhost ~]#systemctl status ipvsadm.service[root@localhost ~]#ipvsadm -A -t 192.168.10.188:80 -s rr[root@localhost ~]#ipvsadm -a -t 192.168.10.188:80 -r 192.168.10.101:80 -g[root@localhost ~]#ipvsadm -a -t 192.168.10.188:80 -r 192.168.10.102:80 -g[root@localhost ~]#ipvsadm -ln

net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0

#调整/proc响应参数  对于 DR 群集模式来说，由于 LVS 负载调度器和各节点需要共用 VIP 地址，应该关闭 Linux 内核的重定向参数响应服务器不是一台路由器，那么它不会发送重定向，所以可以关闭该功能

7-1 真实服务器配置

[root@localhost ~]#rpm -q httpd[root@localhost ~]#yum install httpd -y[root@localhost ~]#systemctl start httpd[root@localhost ~]#ifconfig lo:0 192.168.10.188/32[root@localhost ~]#ip a[root@localhost ~]#cd /var/www/html/[root@localhost html]#echo welcome to 7-1 > index.html[root@localhost html]#cat index.html 
welcome to 7-1[root@localhost html]#sysctl -a |grep arp[root@localhost html]#vim /etc/sysctl.conf 
###在最后行末添加
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2  [root@localhost html]#sysctl -p    ###刷新配置
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

7-2 真实服务器配置

[root@localhost ~]#rpm -q httpd[root@localhost ~]#yum install httpd -y[root@localhost ~]#systemctl start httpd[root@localhost ~]#ifconfig lo:0 192.168.10.188/32[root@localhost ~]#ip a[root@localhost ~]#cd /var/www/html/[root@localhost html]#echo welcome to 7-2 > index.html[root@localhost html]#cat index.html 
welcome to 7-1[root@localhost html]#sysctl -a |grep arp[root@localhost html]#vim /etc/sysctl.conf 
###在最后行末添加
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2  [root@localhost html]#sysctl -p    ###刷新配置
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

7-3客户机检测：

四、arp_announce   arp_ignore

vim /etc/sysctl.conf

#添加系统只响应目的IP为本地IP的ARP请求
#系统不使用原地址来设置ARP请求的源地址，而是物理mac地址上的IP

net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2

五、ARP协议

arp作用：①把ip地址转化为mac地址

                 ② 检测地址是否冲突

arp中没有源ip和目的ip,是发送方ip和接受方ip

arp中没有源ip和目的ip,是发送方ip和接收方ip