KVM+GFS分布式存储系统构建高可用

一：部署GFS高可用分布式存储环境

1：安装部署 KVM 虚拟化平台

2：部署 GlusterFS

在所有节点上执行如下命令：

（1）关闭防所有节点的防火墙、SELiunx

systemctl stop firewalldsystemctl disable firewalldsetenforce 0

（2）编写 hosts 文件

[root@node1 ~]# cat<<EOF> /etc/hosts192.168.10.101 node1192.168.10.102 node2192.168.10.103 node3192.168.10.104 node4192.168.10.201 kvm01192.168.10.202 kvm02EOF

（3）安装软件

注意：先设置阿里yum仓库

[root@node1 ~]# yum -y install centos-release-gluster
[root@node1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

（4）启动 GlusterFS

在所有节点Gluster执行以下操作

[root@node1 ~]# systemctl start glusterd.service && systemctl enable glusterd.service

（5）在 node1 上添加所有节点

[root@node1 ~]# gluster peer probe node2peer probe: success.[root@node1 ~]# gluster peer probe node3peer probe: success.[root@node1 ~]# gluster peer probe node4peer probe: success.

（6）查看集群状态

[root@node1 ~]# gluster peer status

3：创建 GlusterFS 分布式复制卷

在所有节点创建/data 

[root@node1 ~]# mkdir /data

创建分布式复制卷。

[root@node1 ~]# gluster volume create models replica 2 node1:/data node2:/data node3:/data node4:/data force
查看 models 卷
[root@node1 ~]# gluster volume info models
启动 models 卷
[root@node1 ~]# gluster volume start models

为KVM主机部署GFS存储

KVM挂载 glusterfs 卷(所有kvm主机上都配置)

安装 glusterfs 客户端软件。
[root@kvm01 ~]# yum -y install glusterfs glusterfs-fuse
创建挂载目录，并挂载 models 卷。
[root@kvm01 ~]# mkdir /kvmdata
[root@kvm01 ~]# mount -t glusterfs node1:models /kvmdata/
[root@localhost ~]# vi /etc/fstab
node1:models        /kvmdata     glusterfs  defaults,_netdev  0 0
查看挂载卷。
[root@kvm01 ~]# df -h

在kvm01上安装虚拟机

（1）拷贝qcow2磁盘文件

[root@kvm01 ~]# cp CentOS-7-x86_64-GenericCloud-2009.qcow2 /kvmdata/test01.qcow2

（2）部署虚拟机

[root@kvm01 ~]# yum -y install libguestfs-tools
[root@kvm01 ~]# gpasswd -a qemu root
备注：
该工具提供了virt的高级命令，其中有一个virt-customize命令，可以为系统镜像设置密码。
[root@kvm01 ~]# virt-customize -a /kvmdata/test01.qcow2 --root-password password:aptech
[root@kvm01 ~]# virt-install --name=test01 -r 1024 --vcpus=1 --disk device=disk,bus=virtio,path='/kvmdata/test01.qcow2',size=10 -w bridge:br0 --virt-type=kvm --boot hd

（3）登录测试

测试实时迁移环境

配置kvm01和kvm02的无密码登录环境

[root@kvm01 ~]# ssh-keygen -t rsa[root@kvm01 ~]# ssh-copy-id kvm02[root@kvm01 ~]# ssh-copy-id kvm01[root@kvm02 ~]# ssh-keygen -t rsa[root@kvm02 ~]# ssh-copy-id kvm01[root@kvm02 ~]# ssh-copy-id kvm02

将test01虚拟机从kvm01主机迁移到kvm02主机

[root@kvm01 ~]# virsh migrate --persistent --undefinesource test01 qemu+ssh://kvm02/system[root@kvm01 ~]# virsh list --all

查看kvm02主机上的虚拟机状态

[root@kvm01 ~]# virsh --connect=qemu+ssh://kvm02/system list

将test01从kvm02主机迁移到kvm01主机

[root@kvm01 ~]# virsh --connect=qemu+ssh://kvm02/system migrate --persistent --undefinesource test01 qemu+ssh://kvm01/system

创建虚拟机资源

为配置文件创建共享目录

[root@kvm01 ~]# mkdir /kvmdata/config

将test01的配置文件拷贝到共享目录

[root@kvm01 ~]# cp /etc/libvirt/qemu/test01.xml /kvmdata/config/

取消定义test01虚拟机

[root@kvm01 ~]# virsh shutdown test01[root@kvm01 ~]# virsh undefine test01[root@kvm01 ~]# virsh list --all

重新定义test01虚拟机

[root@kvm02 ~]# virsh define /kvmdata/config/test01.xml
[root@kvm01 ~]# virsh start test01
域 test01 已开始
[root@kvm01 ~]# virsh list --all

部署群集

群集组件的安装（kvm01和kvm02都安装）

设置好阿里的基础源和epel扩展源

[root@kvm01 ~]# yum -y install pcs pacemaker fence-agents-all
[root@kvm01 ~]# passwd hacluster
[root@kvm01 ~]# systemctl start pcsd
[root@kvm01 ~]# systemctl enable pcsd

认证组成群集的节点（只在kvm01上操作）

[root@kvm01 ~]# pcs cluster auth kvm01 kvm02 -u hacluster -p aptech

自动生成配置文件（只在kvm01上操作）

[root@kvm01 ~]# pcs cluster setup --name cluster-kvm kvm01 kvm02

启动群集（只在kvm01上操作）

[root@kvm01 ~]# pcs cluster start --all
[root@kvm01 ~]# pcs cluster enable --all

在任意一个kvm主机上查看pcs群集状态

[root@kvm01 ~]# pcs status

将其中一个节点关闭，查看群集状态

[root@kvm01 ~]# pcs cluster stop kvm01

在另一个节点查看状态

[root@kvm02 ~]# pcs status
Online: [ kvm02 ]
OFFLINE: [ kvm01 ]

7：查看后再开启，让群集正常运行

[root@kvm01 ~]# pcs cluster start kvm01

关闭隔离设备的功能（每个设备都执行）

pcs property set stonith-enabled=false

向群集中添加资源

[root@kvm01 ~]# pcs resource create test01 VirtualDomain hypervisor="qemu:///system" config="/kvmdata/config/test01.xml" migration_transport=ssh meta allow-migrate="true"

查看当前群集状态

[root@kvm01 ~]# pcs status

KVM群集验证

在两台kvm主机上分别查看虚拟机状态

kvm01的状态

kvm02的状态

注意：此时虚拟机在kvm01

删除资源test01的约束

清除某个 pcs 资源只能在某个主机上运行的限制

[root@kvm01 ~]# pcs resource clear test01[root@kvm01 ~]# pcs constraint ##查询限制情况，如下显示结果为无限制Location Constraints:Ordering Constraints:Colocation Constraints:Ticket Constraints:

当把虚拟机迁移到了另一台主机，会出现约束，要想将虚拟机迁移回来，需要先清除约束

手动迁移

[root@kvm01 ~]# pcs resource move test01

kvm01上查看状态

[root@kvm01 ~]# virsh list --all[root@kvm01 ~]# pcs status

kvm02上查看状态

[root@kvm02 ~]# virsh list --all备注：
迁移后，test01运行在kvm02上

将kvm02挂起，模拟故障

如果kvm01上对test01有约束，需要在kvm01上清除约束，才能将test01迁移回来

pcs resource clear test01

查看kvm01中的状态

[root@kvm01 ~]# pcs status
[root@kvm01 ~]# virsh list --all