CHAPTER 2 Web HA集群部署 - Heartbeat

1. Heartbeat 概述

Heartbeat 项目是 Linux-HA 工程的一个组成部分，它实现了一个高可用集群系统。通过Heartbeat我们可以实现双机热备，以实现服务的持续性。

1.1 Heartbeat主要组成部分

Heartbeat最核心的功能是心跳监测部分和资源接管部分.心跳监测可以通过网络链路和串口进行,而且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,如果在指定的时间内未收到对方发送的报文,那么就认为对方失效,这时需启动资源接管模块来接管运行在对方主机上的资源或者服务.Heartbea是基于主机名来切换节点,通过字符串加密来认证两台主机连接,与keepalived不同是它可以基于脚本资源切换,文件共享,是通过tcp协议对资源切换.

2. 环境依赖

2.1 环境及组件软件

1. 服务器环境:
   node1：192.168.71.183
   node2：192.168.71.253
   漂移Vip：192.168.71.254（即我们访问服务的ip）
2. 服务:apache
3. 系统版本：CentOS Linux release 7.9.2009 (Core)

具体的实施工作在本章第三小节

2.2 关闭firewalld & selinux

关闭firewalld & selinux

[root@heartbeat-master ~]# systemctl stop firewalld
[root@heartbeat-master ~]# setenforce 0 #此为临时关闭
setenforce: SELinux is disabled
[root@heartbeat-master ~]# sed -i s#SELINUX=enforcing#SELINUX=disabled# /etc/sysconfig/selinux #此为永久关闭，下次重启机器后生效 

2.3 配置双机互信，SSH密钥登录​​

主从节点均要配置双机互信

[root@node2 ~]# ssh-keygen -q -t rsa -N '' -f ~/.ssh/id_rsa
[root@node2 ~]# ssh-copy-id root@192.168.71.183
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/root/.ssh/id_rsa.pub"
/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.71.183's password:Number of key(s) added: 1Now try logging into the machine, with:   "ssh 'root@192.168.71.183'"
and check to make sure that only the key(s) you wanted were added.[root@node2 ~]# ssh root@192.168.71.183
Last login: Wed Mar  1 03:50:06 2023 from 192.168.20.252
[root@node1 ~]# exit

2.4 同步时间（以主节点时间为准）

所有节点安装ntp，可以选择任何一台机器当ntp时间服务器，其他的节点当时间服务器的客户端，同步服务器时间
这里我们选择node1作为时间服务器

① 所有节点安装ntp服务

[root@node1 ~]# yum install -y ntp

② node1服务器配置/etc/ntp.conf

#server 0.centos.pool.ntp.org iburst				#注释内容
#server 1.centos.pool.ntp.org iburst				#注释内容
#server 2.centos.pool.ntp.org iburst				#注释内容
#server 3.centos.pool.ntp.org iburst				#注释内容
server 127.127.1.0									#新增内容
fudge  127.127.1.0 stratum 10						#新增内容

③ node1服务器启动ntpd服务

[root@node1 ~]# systemctl start ntpd
[root@node1 ~]# systemctl status ntpd
[root@node1 ~]# systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.

④ 其他节点

[root@node2 ~]# ntpdate 192.168.71.1831 Mar 04:08:35 ntpdate[16984]: step time server 192.168.71.183 offset -9.393691 sec
[root@node2 ~]# date
Wed Mar  1 04:08:40 EST 2023

2.5 配置域名解析

所有节点配置域名解析

[root@node2 ~]# tail -2 /etc/hosts
192.168.71.183 node1
192.168.71.253 node2
192.168.71.254 apache.org
[root@node2 ~]# ping node2
PING node2 (192.168.71.253) 56(84) bytes of data.
64 bytes from node2 (192.168.71.253): icmp_seq=1 ttl=64 time=0.029 ms
64 bytes from node2 (192.168.71.253): icmp_seq=2 ttl=64 time=0.031 ms

3 安装软件

本节的安装及配置的内容，在所有节点都需要操作

3.1 安装基础环境包

yum install gcc gcc-c++ autoconf automake libtool glib2-devel libxml2-devel bzip2 bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel asciidoc -y

3.2 创建用户和组

[root@node2 ha]# groupadd haclient
[root@node2 ha]# useradd -g haclient hacluster
[root@node2 ha]# tail -1 /etc/passwd
hacluster:x:1017:1017::/home/hacluster:/bin/bash
[root@node2 ha]# tail -1 /etc/group
haclient:x:1017:

3.3 组件软件下载

官网下载地址 http://www.linux-ha.org/wiki/Downloads

Heartbeat 3.0.6
Cluster Glue 1.0.12
Resource Agents

[root@node2 ~]# wget -O Heartbeat_3.0.6.tar.bz2  http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
--2023-03-01 04:20:57--  http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
Resolving hg.linux-ha.org (hg.linux-ha.org)... 78.142.182.100
Connecting to hg.linux-ha.org (hg.linux-ha.org)|78.142.182.100|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 551953 (539K) [application/x-bzip2]
Saving to: ‘Heartbeat_3.0.6.tar.bz2’100%[================================================================================================>] 551,953      233KB/s   in 2.3s2023-03-01 04:21:04 (233 KB/s) - ‘Heartbeat_3.0.6.tar.bz2’ saved [551953/551953][root@node2 ~]# wget http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2   
[root@node2 ~]# wget https://github.com/ClusterLabs/resource-agents/archive/v3.9.6.tar.gz   
[root@node1 ha]# ll
total 2492
-rw-r--r--  1 root root 451432 Oct 22  2015 0a7add1d9996.tar.bz2
-rw-r--r--  1 root root 551953 Feb 28 10:54 Heartbeat_3.0.6.tar.bz2
-rw-r--r--  1 root root 617790 Mar  1 04:41 v3.9.6.tar.gz

3.4 安装gule

[root@node1 ~]# tar xf 0a7add1d9996.tar.bz2
[root@node1 ~]# cd Reusable-Cluster-Components-glue--0a7add1d9996/
[root@node1 Reusable-Cluster-Components-glue--0a7add1d9996]#./autogen.sh
[root@node1 Reusable-Cluster-Components-glue--0a7add1d9996]#./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
[root@node1 Reusable-Cluster-Components-glue--0a7add1d9996]# make && make install

3.5 安装Resource Agents

[root@node1 ~]# tar xf v3.9.6.tar.gz
[root@node1 ~]# cd resource-agents-3.9.6/
[root@node1 resource-agents-3.9.6]# ./autogen.sh
[root@node1 resource-agents-3.9.6]# ./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
[root@node1 resource-agents-3.9.6]# make && make install

3.6 安装HeartBeat

[root@node1 ~]# tar xf Heartbeat_3.0.6.tar.bz2
[root@node1 ~]# cd Heartbeat-3-0-958e11be8686/
[root@node1 Heartbeat-3-0-958e11be8686]# ./bootstrap
[root@node1 Heartbeat-3-0-958e11be8686]# export CFLAGS="$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib"
[root@node1 Heartbeat-3-0-958e11be8686]# ./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
[root@node1 Heartbeat-3-0-958e11be8686]# make && make install

3.7 配置网卡支持插件文件

[root@node1 ha]# mkdir -pv /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/
mkdir: created directory ‘/usr/local/heartbeat/usr’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf/lib’
mkdir: created directory ‘/usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/’
[root@node1 ha]# cp /usr/lib/ocf/lib/heartbeat/ocf-* /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/#注意：一般启动时会报错因为 ping和ucast这些配置都需要插件支持 需要将lib64下面的插件软连接到lib目录 才不会抛出异常[root@node1 ha]# ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/plugins/RAExec/
‘/usr/local/heartbeat/lib/heartbeat/plugins/RAExec/*’ -> ‘/usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/*’
[root@node1 ha]# ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/
‘/usr/local/heartbeat/lib/heartbeat/plugins/HBauth’ -> ‘/usr/local/heartbeat/lib64/heartbeat/plugins/HBauth’
‘/usr/local/heartbeat/lib/heartbeat/plugins/HBcomm’ -> ‘/usr/local/heartbeat/lib64/heartbeat/plugins/HBcomm’
‘/usr/local/heartbeat/lib/heartbeat/plugins/quorum’ -> ‘/usr/local/heartbeat/lib64/heartbeat/plugins/quorum’

4 配置heartbeat

在主节点上配置

#拷贝三个模版配置文件到 /usr/local/heartbeat/etc/ha.d 目录下

[root@node1 ha]# cd Heartbeat-3-0-958e11be8686/
[root@node1 Heartbeat-3-0-958e11be8686]# cp doc/{ha.cf,haresources,authkeys} /usr/local/heartbeat/etc/ha.d/

4.1 配置ha.cf配置文件

该配置文件是心跳的核心配置

[root@heartbeat-master ~]# vim /usr/local/heartbeat/etc/ha.d/ha.cfdebugfile /var/log/ha-debug #表示调试的日志文件 一般测试建议开启
logfile /var/log/ha-log #表示系统的的日志文件路径
logfacility  local0 #表示使用系统日志与上面只能开启一个
keepalive 2 #主备之间的心跳间隔时间单位:s
deadtime 30 #表示如果连接对方30s还无法连接，表示节点死亡需要考虑vip转移
warntime 10 #表示10s时间未收到心跳时发出警告日志
initdead 120 #有时机器启动后需要一段时间网卡才能正常工作 需要预留一定的时间后，再开始判断心跳检测
udpport 694 #多播的udp端口
#baud 19200 #串行端口的波特率
#serial /dev/ttyS0   # Linux #串口的接口名
#serial /dev/cuaa0   # FreeBSD
#serial /dev/cuad0   # FreeBSD 6.x
#serial /dev/cua/a   # Solaris
#bcast eth0      # Linux #传播心跳的广播网卡信息
#bcast eth1 eth2   # Linux
#bcast le0      # Solaris
#bcast le1 le2    # Solaris
#mcast eth0 225.0.0.1 694 1 0 #多播传送心跳的网卡 多播组 端口 跃点数 是否回环内传送
ucast ens33 192.168.71.253 #设置单播心跳，设置对方的ip地址,此处使用单播
auto_failback on #表示如果主机停止后，从机接管设置为on当主机从新启动后，主机立即接管vip off从机不会释放vip给主机
node  node1 #配置主从的节点信息，要与uname -n保持一致
node  node2
#############################################
#使用ping模式 有时当主机挂掉或者heartbeat挂掉后vip才会转移 有时出现某个进程挂掉 切换需要使用脚本
#ping模式用于测试 如果网卡ping不同 某个主机 就认为当前断网 需要转移vip
#respawn root  /usr/local/heartbeat/libexec/heartbeat/ipfail 表示当ping不通时 自动调用 ipfail这个脚本
#apiauth ipfail gid=haclient uid=hacluster 表示有权限操作ipfail脚本的组和用户
############################################
ping 192.168.71.254
#ping组的所有主机
#ping_group group1 10.10.10.254 10.10.10.253
#respawn userid /path/name/to/run
#指定与heartbeat一同启动和关闭的进程，该进程被自动监视，遇到故障则重新启动。最常用的进程是ipfail，该进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络连接。如果你的系统是64bit，请注意该文件的路径。
#respawn hacluster /usr/local/heartbeat/libexec/heartbeat/ipfail
#apiauth ipfail gid=haclient uid=hacluster

4.2 配置authkeys配置文件

该文件表示发送心跳时 机器用于验证的key的hash算法，节点之间必须配置成一致的密码

[root@node1 ha]# cat /usr/local/heartbeat/etc/ha.d/authkeys
...
#
auth 2										#表示使用id为2的验证 下边需要定义一个2的验证算法
#1 crc
2 sha1 1a2b3c								#id为2的验证加密为sha1,并添加密码
#3 md5 Hello!
[root@node1 ha]# chmod 600 /usr/local/heartbeat/etc/ha.d/authkeys	#更改权限为600

4.3 配置haresources配置文件

该文件表示资源的管理，如果是主机，当主机启动后自动加载该文件中配置的所有启动资源，资源脚本默认在haresources同级目录下的resource.d目录下

指定节点主机名，和VIP地址，以双冒号分隔资源，此处以apache为例进行配置

[root@node1 ha]# tail -1 /usr/local/heartbeat/etc/ha.d/haresources
node1 192.168.71.254 apache::/etc/httpd/conf/httpd.conf

4.4 从节点上准备配置文件

拷贝三个配置好的文件到node2上，只需修改ha.cf配置文件中的单播地址为对方地址即可(ucast ens33 192.168.71.183)。

[root@node2 ha.d]# scp root@192.168.71.183:/usr/local/heartbeat/etc/ha.d/authkeys  .
authkeys                                                                                                100%  647   608.9KB/s   00:00
[root@node2 ha.d]# scp root@192.168.71.183:/usr/local/heartbeat/etc/ha.d/ha.cf  .
ha.cf                                                                                                   100%   10KB 787.7KB/s   00:00
[root@node2 ha.d]# scp root@192.168.71.183:/usr/local/heartbeat/etc/ha.d/haresources  .
haresources                                                                                             100% 5955     4.1MB/s   00:00
[root@node2 ha.d]# ll
total 40
-rw------- 1 root root   647 Mar  1 08:26 authkeys
-rw-r--r-- 1 root root 10496 Mar  1 08:27 ha.cf
-rwxr-xr-x 1 root root   745 Mar  1 05:29 harc
-rw-r--r-- 1 root root  5955 Mar  1 08:27 haresources
drwxr-xr-x 2 root root   101 Mar  1 05:29 rc.d
-rw-r--r-- 1 root root   692 Mar  1 05:29 README.config
drwxr-xr-x 2 root root  4096 Mar  1 05:29 resource.d
-rw-r--r-- 1 root root  2112 Mar  1 05:28 shellfuncs
[root@node2 ha.d]# grep ucast  ha.cf
#       of nodes listed {"node ...} one of {serial, bcast, mcast, or ucast},
#       What UDP port to use for bcast/ucast communication?
#       ucast [dev] [peer-ip-addr]
ucast ens33 192.168.71.183

4.5 安装httpd服务

在每个节点上安装httpd服务并测试，以主节点为例

[root@node1 ~]#  yum install httpd
[root@node1 ~]#  echo "Welcome to svr 183." >>/var/www/html/index.html
[root@node1 ~]#  systemctl start httpd
[root@node1 ~]#  curl 127.0.0.1:88
Welcome to svr 183.

此处笔者服务器由于端口冲突，修改为88

测试httpd服务正常后关闭httpd服务并关闭自启动

[root@node1 ~]#  systemctl stop httpd
[root@node1 ~]#  systemctl disable httpd

4.6 启动heartbeat服务

启动每个节点上heartbeat服务

[root@node2 ha.d]# systemctl enable heartbeat
Created symlink from /etc/systemd/system/multi-user.target.wants/heartbeat.service to /usr/lib/systemd/system/heartbeat.service.
[root@node2 ha.d]# systemctl start heartbeat
[root@node2 ha.d]# systemctl status heartbeat
● heartbeat.service - Heartbeat High Availability Cluster Communication and MembershipLoaded: loaded (/usr/lib/systemd/system/heartbeat.service; enabled; vendor preset: disabled)Active: active (running) since Wed 2023-03-01 08:51:29 EST; 11s agoMain PID: 39209 (heartbeat)...

5 验证

我们访问192.168.71.254:88

5.1 关闭主节点

关闭主节点后，刷新网页，可以看到服务是由从节点提供的

当我们再次开启主节点服务器，服务又会回到主节点提供

对于我们访问的漂移ip，会因为主节点的上下线，在主从节点间自动切换

[root@node1 ~]# ip a
...
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:79:08:6b brd ff:ff:ff:ff:ff:ffinet 192.168.71.183/24 brd 192.168.71.255 scope global noprefixroute dynamic ens33valid_lft 86347sec preferred_lft 86347secinet 192.168.71.254/24 brd 192.168.71.255 scope global secondary ens33:1valid_lft forever preferred_lft foreverinet6 fe80::3872:4f8b:dbfc:1aa2/64 scope link noprefixroutevalid_lft forever preferred_lft forever
...

5.2 使用自带的脚本切换主备节点

主节点

[root@node1 ~]# /usr/local/heartbeat/share/heartbeat/hb_standby
Going standby [all].
[root@node1 ~]# ip a
...
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:79:08:6b brd ff:ff:ff:ff:ff:ffinet 192.168.71.183/24 brd 192.168.71.255 scope global noprefixroute dynamic ens33valid_lft 86137sec preferred_lft 86137secinet6 fe80::3872:4f8b:dbfc:1aa2/64 scope link noprefixroutevalid_lft forever preferred_lft forever
...

从节点

[root@node2 ~]# ip a
...
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN group default qlen 1000link/ether 00:0c:29:09:d2:72 brd ff:ff:ff:ff:ff:ffinet 192.168.71.253/24 brd 192.168.71.255 scope global noprefixroute ens33valid_lft forever preferred_lft foreverinet 192.168.71.254/24 brd 192.168.71.255 scope global secondary ens33:1valid_lft forever preferred_lft foreverinet6 fe80::20c:29ff:fe09:d272/64 scope linkvalid_lft forever preferred_lft forever
...

6 总结

整个集群通过vip提供对外服务，当主节点出现异常的时候，能够自动在从节点启动并提供服务，实现了高可用性。
我们可以部署zabbix进行监控服务器和服务的状况，并通过其他手段进行通知运维人员