NFS搭建

单节点安装配置

服务器

操作系统	IP地址	子网掩码	角色
alma linux9.3	10.168.31.180	16	server
alma linux9.3	10.168.31.181	16	client
alma linux9.3	10.168.31.182	16	client
alma linux9.3	10.168.31.183	16	client

安装

在每台机器上执行下列的命令

dnf install -y nfs-utils rpcbind

配置

NFS配置文件 /etc/exports

1. 挂载目录
   一般来说，会挂载一块高性能磁盘，作为NFS的目录使用。本文未挂载额外磁盘，磁盘挂载请参考此文章，其余相同。
   这里使用数据目录为/nfs，如果没有需要自行创建。

mkdir /nfs

2. 访问的主机

IP	允许范围
10.168.31.180	单个主机
10.168.0.0/16	10.168.31.181
10.168.0.*	10.168.31.182
主机名	DNS A解析 轮询

3. 权限

权限	作用
rw	可读可写
ro	只读
sync	写到磁盘才算完成，安全，慢
async	异步写到远程缓冲区，快，不安全
no_root_squash‌	允许NFS客户端上的root用户对NFS共享目录拥有至高权限
no_all_squash‌	客户端所有用户拥有服务端匿名用户权限

echo '/nfs 10.168.0.0/16(rw,sync,no_root_squash,no_all_squash)' >> /etc/exports

启动并使NFS服务开机自启

systemctl start nfs-server.service
systemctl enable nfs-server.service

客户端挂载

查看是否能发现服务器的共享文件夹

showmount  -e IP

创建挂载目录

mkdir /nfs

临时挂载

NFS客户端挂载的命令格式

# 挂载命令   挂载的格式类型  NFS服务器提供的共享目录　　        NFS客户端要挂载的目录（必须存在）
# mount 	 -t nfs        <server-ip>:/<shared-directory>  /nfs
# 示例：
mount -t nfs 10.168.31.180:/nfs /nfs

自动挂载

# NFS服务器提供的共享目录  		   NFS客户端要挂载的目录（必须存在）  挂载的格式类型   挂载时使用的参数  是否进行备份  fsck检查文件系统的优先级	 
# <server-ip>:/<shared-directory>  /nfs                            nfs             defaults         0            0
# 示例：
echo '10.168.31.180:/nfs /nfs nfs defaults 0 0' >> /etc/fstab

双节点安装配置

服务器

操作系统	IP地址	子网掩码	角色
alma linux9.3	10.168.31.180	16	server
alma linux9.3	10.168.31.181	16	server
alma linux9.3	10.168.31.182	16	client
alma linux9.3	10.168.31.183	16	client
alma linux9.3	10.168.31.171	16	vip

安装

在每台机器上执行下列的命令

dnf install -y nfs-utils rpcbind

同时，对10.168.31.180和10.168.31.181两个服务端做Keepalived负载均衡。具体配置参考Keepalived部署。

配置

服务端

配置NFS服务端

参考单节点服务端配置

配置Keepalived

参考Keepalived部署

配置文件需要在参考文章基础上做修改

mkdir -p  /etc/keepalived
cat <<EOF | tee /etc/keepalived/keepalived.conf
! Configuration File for keepalivedglobal_defs {router_id LVS_DEVEL
}# 增加脚本
vrrp_script chk_nfs {script "/etc/keepalived/nfs_check.sh"   interval 2weight -20  
}
vrrp_instance VI_1 {state MASTER		 		 #主节点interface ens160virtual_router_id 51 #相同id管理同一个虚拟路由priority 100         #优先级advert_int 1authentication {auth_type PASSauth_pass 1111}# 引用脚本track_script {chk_nfs}virtual_ipaddress {10.168.31.171/16 dev ens160 label ens160:1}
}
EOF

编辑nfs_check.sh监控脚本

mkdir -p  /etc/keepalived
cat <<EOF | tee /etc/keepalived/nfs_check.sh
#!/bin/bash
A=\`ps -C nfsd --no-header | wc -l\`
if [ \$A -eq 0 ];thensystemctl restart nfs-server.servicesleep 2if [ \`ps -C nfsd --no-header| wc -l\` -eq 0 ];thenpkill keepalivedfi
fi
EOF
chmod +x /etc/keepalived/nfs_check.sh

安装部署Rsync+Inofity

两台master节点都要操作

1. 安装软件

dnf install -y rsync inotify-tools

inotify-tools无法安装可以先换成阿里源

dnf install -y https://mirrors.aliyun.com/epel/epel-release-latest-9.noarch.rpm
sed -i 's|^#baseurl=https://download.example/pub|baseurl=https://mirrors.aliyun.com|' /etc/yum.repos.d/epel*
sed -i 's|^metalink|#metalink|' /etc/yum.repos.d/epel*
dnf install -y inotify-tools

2. 配置
   在第一个主节点

cat <<EOF | tee /etc/rsyncd.conf
uid = root
gid = root
# 如果"use chroot"指定为true，那么rsync在传输文件以前首先chroot到path参数所指定的目录下。
# 这样做的原因是实现额外的安全防护，但是缺点是需要以roots权限，并且不能备份指向外部的符号连接所指向的目录文件。
# 默认情况下chroot值为true。
use chroot = yes
port = 873
#允许ip访问设置，可以指定ip或ip段
hosts allow = 10.168.0.0/16      
max connections = 0
timeout = 300
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock
log file = /var/log/rsyncd.log
log format = %t %a %m %f %b
transfer logging = yes
syslog facility = local3# 模块名称，和comment对应
[master]
# 要同步的目录
path = /nfs          
# 当前节点模块名称          
comment = master
# 是否允许客户端上传文件              
ignore errors
read only = no                    
list = no
# 指定由空格或逗号分隔的用户名列表，只有这些用户才允许连接该模块
auth users = rsync      
# 保存密码和用户名文件，需要自己生成          
secrets file = /etc/rsync/rsyncd.passwd
EOF# 创建自定义配置文件目录
mkdir /etc/rsync# 密码和用户文件（格式为"用户名:密码"）
cat <<EOF | tee /etc/rsync/rsyncd.passwd
rsync:123456
EOF# 编辑同步密码（注意这个文件和上面的密码和用户文件路径不一样）
# 该文件内容只需要填写从服务器的密码，例如这里从服务器配的用户名密码都是rsync:123456，则主服务器则写123456一个就可以了
cat <<EOF | tee /etc/rsync/slave.passwd
123456
EOF# 设置文件执行权限
chmod 600  /etc/rsync/rsyncd.passwd
chmod 600  /etc/rsync/slave.passwd# 设置开机启动
echo "/usr/bin/rsync --daemon" >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local

另外一个节点的配置需要修改rsyncd.conf文件内模块的名称为slave，其余相同。

测试

rsync -avzP  --progress --delete  --timeout=100 /nfs/  rsync@10.168.31.181::slave  --password-file=/etc/rsync/slave.passwd 

rsync常用命令

# -v，--verbose　　详细模式输出，传输是的进度信息
# -z，--compress　　传输是进行压缩以提高传输效率，--comperess -level = NUM可以按级别压缩
# -a，--archive　　归档模式，表示以递归方式传输文件，并保持所有文件属性（等于-rtopgDl）
# --port 指定端口
# -e 'ssh -p 2222' 指定使用ssh及其端口
# --timeout 超时时间
# --partial-dir 临时目录，传输完毕，移动到正式目录
# --password-file 指定存密码的文件
# --progress 打印进度
# --delete 删除目标目录中源目录没有的文件
# -P 支持断点，综合了--partial --progress两个参数

3. 配置自动同步

在主节点

# 自动同步脚本
cat <<EOF | tee /etc/rsync/rsync_inotify.sh
#!/bin/bash
#配置另外一个节点的IP
host=10.168.31.181
#配置另外一个节点的名称
des=slave
src=/nfs/
password=/etc/rsync/slave.passwd
user=rsync
inotifywait=/usr/bin/inotifywait\$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib /nfs/ \\
| while read files ;dorsync -avzP  --progress --delete  --timeout=100 /nfs/  rsync@10.168.31.181::slave  --password-file=/etc/rsync/slave.passwd  done
EOF# VIP监控脚本
cat <<EOF | tee /etc/rsync/vip_monitor.sh
#!/bin/bash
VIP_NUM=\`ip addr|grep 31.171|wc -l\`
RSYNC_INOTIRY_NUM=\`ps -ef|grep /usr/bin/inotifywait|grep -v grep|wc -l\`
if [ \${VIP_NUM} -ne 0 ];thenecho "VIP在当前NFS节点服务器上" >/dev/null 2>&1if [ \${RSYNC_INOTIRY_NUM} -ne 0 ];thenecho "rsync_inotify.sh脚本已经在后台执行中" >/dev/null 2>&1elseecho "需要在后台执行rsync_inotify.sh脚本" >/dev/null 2>&1/bin/bash -x /etc/rsync/rsync_inotify.sh  >/dev/null 2>&1fi
elseecho "VIP不在当前NFS节点服务器上" >/dev/null 2>&1if [ \${RSYNC_INOTIRY_NUM} -ne 0 ];thenecho "需要关闭后台执行的rsync_inotify.sh脚本" >/dev/null 2>&1ps -ef|grep rsync_inotify.sh|grep -v grep|awk '{print \$2}'|xargs kill -9ps -ef|grep /usr/bin/inotifywait|grep -v grep|awk '{print \$2}'|xargs kill -9elseecho "rsync_inotify.sh脚本当前未执行" >/dev/null 2>&1fi
fi
EOF# 持续执行脚本
cat <<EOF | tee /etc/rsync/rsync_monit.sh
#!/bin/bash
while [ "1" = "1" ]
do/bin/bash -x /etc/rsync/vip_monitor.sh >/dev/null 2>&1
done
EOF# 设置rsync_monit.sh脚本的开机启动
chmod 755 /etc/rsync/rsync_inotify.sh
chmod 755 /etc/rsync/vip_monitor.sh
chmod 755 /etc/rsync/rsync_monit.sh
echo "nohup sh /etc/rsync/rsync_monit.sh > /tmp/rsync_monit.log 2>&1 & " >> /etc/rc.d/rc.local

在从节点

# 自动同步脚本
cat <<EOF | tee /etc/rsync/rsync_inotify.sh
#!/bin/bash
#配置另外一个节点的IP
host=10.168.31.180
#配置另外一个节点的名称
des=master
src=/nfs/
password=/etc/rsync/slave.passwd
user=rsync
inotifywait=/usr/bin/inotifywait\$inotifywait -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib /nfs/ \\
| while read files ;dorsync -avzP  --progress --delete  --timeout=100 /nfs/  rsync@10.168.31.180::master --password-file=/etc/rsync/slave.passwd  done
EOF# VIP监控脚本
cat <<EOF | tee /etc/rsync/vip_monitor.sh
#!/bin/bash
VIP_NUM=\`ip addr|grep 31.171|wc -l\`
RSYNC_INOTIRY_NUM=\`ps -ef|grep /usr/bin/inotifywait|grep -v grep|wc -l\`
if [ \${VIP_NUM} -ne 0 ];thenecho "VIP在当前NFS节点服务器上" >/dev/null 2>&1if [ \${RSYNC_INOTIRY_NUM} -ne 0 ];thenecho "rsync_inotify.sh脚本已经在后台执行中" >/dev/null 2>&1elseecho "需要在后台执行rsync_inotify.sh脚本" >/dev/null 2>&1/bin/bash -x /etc/rsync/rsync_inotify.sh  >/dev/null 2>&1fi
elseecho "VIP不在当前NFS节点服务器上" >/dev/null 2>&1if [ \${RSYNC_INOTIRY_NUM} -ne 0 ];thenecho "需要关闭后台执行的rsync_inotify.sh脚本" >/dev/null 2>&1ps -ef|grep rsync_inotify.sh|grep -v grep|awk '{print \$2}'|xargs kill -9ps -ef|grep /usr/bin/inotifywait|grep -v grep|awk '{print \$2}'|xargs kill -9elseecho "rsync_inotify.sh脚本当前未执行" >/dev/null 2>&1fi
fi
EOF# 持续执行脚本
cat <<EOF | tee /etc/rsync/rsync_monit.sh
#!/bin/bash
while [ "1" = "1" ]
do/bin/bash -x /etc/rsync/vip_monitor.sh >/dev/null 2>&1
done
EOF# 设置rsync_monit.sh脚本的开机启动
chmod 755 /etc/rsync/rsync_inotify.sh
chmod 755 /etc/rsync/vip_monitor.sh
chmod 755 /etc/rsync/rsync_monit.sh
echo "nohup sh /etc/rsync/rsync_monit.sh > /tmp/rsync_monit.log 2>&1 & " >> /etc/rc.d/rc.local

客户端

挂载同单节点挂在，但是挂载IP为配置的VIP