docker-compose+HAProxy+Keepalived搭建高可用 RabbitMQ 集群

基础环境准备

系统环境：Centos7.6
Docker version： 1.13.1, build 7d71120/1.13.1
Docker Compose version： v2.2.2
三个节点：

10.10.11.79 （这一台做rabbitmq集群根节点）
10.10.11.80  (这台做haproxy+keepalived高可用 master节点)
10.10.11.81  (这台做haproxy+keepalived高可用 backup节点)

RabbitMQ 集群中节点包括内存节点(RAM)、 磁盘节点(Disk， 消息持久化)， 集群中至少有一个 Disk 节点。

10.10.11.79,10.10.11.80做磁盘节点，10.10.11.81做内存节点。

下面开始先搭建普通集群模式，此方案只适用非持久化非持久化队列。

docker-compose安装rabbitmq：

三个节点都创建文件夹/home/rabbitmq,注意挂载目录的权限问题。

节点1 yaml文件（此节点作集群根节点）：

version: '3'
services:rabbitmq:container_name: mcst-rabbitmqimage: rabbitmq:3-managementrestart: alwaysports:- 4369:4369- 5671:5671- 5672:5672- 15672:15672- 25672:25672environment:- TZ=Asia/Shanghai- RABBITMQ_ERLANG_COOKIE=iweru238roseire- RABBITMQ_DEFAULT_USER=mcst_admin- RABBITMQ_DEFAULT_PASS=mcst_admin_123- RABBITMQ_DEFAULT_VHOST=mcst_vhosthostname: rabbitmq1extra_hosts:- rabbitmq1:10.10.11.79- rabbitmq2:10.10.11.80- rabbitmq3:10.10.11.81volumes:- ./data:/var/lib/rabbitmq

注意：三个节点 RABBITMQ_ERLANG_COOKIE 保持一致。一定要有 extra_hosts 配置，否则在搭建集群的过程中会连接不到其他 rabbitmq 节点服务。此节点作为集群根节点。

启动命令：

docker-compose -f mcst-rabbitmq-node1.yaml up -d

停止：

docker-compose -f mcst-rabbitmq-node1.yaml stop

节点2 yaml文件（从节点）：

version: '3'
services:rabbitmq:container_name: mcst-rabbitmqimage: rabbitmq:3-managementrestart: alwaysports:- 4369:4369- 5671:5671- 5672:5672- 15672:15672- 25672:25672environment:- TZ=Asia/Shanghai- RABBITMQ_ERLANG_COOKIE=iweru238roseire- RABBITMQ_DEFAULT_USER=mcst_admin- RABBITMQ_DEFAULT_PASS=mcst_admin_123- RABBITMQ_DEFAULT_VHOST=mcst_vhosthostname: rabbitmq2extra_hosts:- rabbitmq1:10.10.11.79- rabbitmq2:10.10.11.80- rabbitmq3:10.10.11.81volumes:- ./node2-rabbitmq.sh:/home/node2-rabbitmq.sh- ./data:/var/lib/rabbitmq

另外在同目录下面需要编辑一个脚本node2-rabbitmq.sh：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@rabbitmq1
rabbitmqctl start_app

启动命令：

docker-compose -f mcst-rabbitmq-node2.yaml up -d

停止：

docker-compose -f mcst-rabbitmq-node2.yaml stop

进入容器内部：

docker exec -it mcst-rabbitmq bash

执行脚本将当前节点添加到集群中（注意文件执行权限）：

cd  home
sh node2-rabbitmq.sh

执行脚本的时候可能会报这个错误：

Error: unable to perform an operation on node 'rabbit@rabbitmq2'

没有ping通

把节点2的防火墙关闭：

systemctl stop firewalld

重启docker：

systemctl restart docker

重启容器：

docker start mcst-rabbitmq

进入容器重新执行脚本即可：

节点3 yaml文件（从节点）：

version: '3'
services:rabbitmq:container_name: mcst-rabbitmqimage: rabbitmq:3-managementrestart: alwaysports:- 4369:4369- 5671:5671- 5672:5672- 15672:15672- 25672:25672environment:- TZ=Asia/Shanghai- RABBITMQ_ERLANG_COOKIE=iweru238roseire- RABBITMQ_DEFAULT_USER=mcst_admin- RABBITMQ_DEFAULT_PASS=mcst_admin_123- RABBITMQ_DEFAULT_VHOST=mcst_vhosthostname: rabbitmq3extra_hosts:- rabbitmq1:10.10.11.79- rabbitmq2:10.10.11.80- rabbitmq3:10.10.11.81volumes:- ./rabbitmq-ram.sh:/home/rabbitmq-ram.sh- ./data:/var/lib/rabbitmq

同目录下建一个脚本rabbitmq-ram.sh：

rabbitmqctl stop_app
rabbitmqctl reset
rabbitmqctl join_cluster --ram rabbit@rabbitmq1
rabbitmqctl start_app

启动命令：

docker-compose -f mcst-rabbitmq-node3.yaml up -d

进入容器内部：

docker exec -it mcst-rabbitmq bash

执行脚本， 把内存节点到集群中：

sh rabbitmq-ram.sh

如果第三个几点启动的时候报链接不上根节点：

把根节点（10.10.11.79）的网络端口打开：
查看端口是否开放
firewall-cmd --query-port=4369/tcp
开放端口
firewall-cmd --permanent --add-port=4369/tcp
重启防火墙
firewall-cmd --reload

重试：

查看集群状态：

查看：
http://10.10.11.79:15672 进入管理端查看集群状态。
这三节点的个ip 都可以访问，
用户：mcst_admin 密码：mcst_admin_123

将rabbitmq2，rabbitmq3的节点加入rabbitmq1中创建普通集群，集群就已经搭建好了。

Springboot链接一下：

这里使用addresses 链接多个ip。

spring:rabbitmq:
#    rabbitmq集群地址addresses: 10.10.11.79:5672,10.10.11.80:5672,10.10.11.81:5672username: testpassword: 123456#虚拟hostvirtual-host: mcst_vhost

在普通模式的基础上，还把需要的队列做成镜像队列，存在于多个节点来实现高可用(HA)：haproxy+keepalived高可用集群

安装HAProxy

用 HAProxy 作为 RabbitMQ 集群的负载均衡。
因为79是集群的根节点，所以我们在80，81两个节点上建立文件夹/home/haproxy
需要创建两个文件，

1.创建启动容器的mcst-haproxy.yaml 文件：

version: '3'
services:haproxy:container_name: mcst-haproxyimage: haproxy:2.1restart: alwaysports:- 8100:8100- 15670:5670environment:- TZ=Asia/Shanghaiextra_hosts:- rabbitmq1:10.10.11.79- rabbitmq2:10.10.11.80- rabbitmq3:10.10.11.81volumes:- ./haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro

设置 extra_hosts（rabbitmq 集群节点 ip） 和 volumes（使用自定义的配置文件
）

2.yaml文件同级目录下面创建haproxy 配置文件haproxy.cfg：

globallog 127.0.0.1 local0 infomaxconn 4096defaultslog     globalmode    tcpoption  tcplogretries 3option  redispatchmaxconn 2000timeout connect 5stimeout client 120stimeout server 120s# ssl for rabbitmq
# frontend ssl_rabbitmq# bind *:5673 ssl crt /root/rmqha_proxy/rmqha.pem# mode tcp# default_backend rabbitmq# web 管理界面
listen statsbind *:8100mode httpstats enablestats realm Haproxy\ Statisticsstats uri /stats auth admin:admin123
# 配置负载均衡
listen rabbitmqbind *:5670mode tcpbalance roundrobinserver  rabbitmq1 rabbitmq1:5672  check inter 5s rise 2 fall 3server  rabbitmq2 rabbitmq2:5672  check inter 5s rise 2 fall 3server  rabbitmq3 rabbitmq3:5672  check inter 5s rise 2 fall 3

两个节点使用相同的配置。

两个节点都要启动，部署命令：

docker-compose -f mcst-haproxy.yaml up -d

HAProxy Master：10.10.11.80
HAProxy Backup：10.10.11.81

登录 HAProxy 的管理端查看集群状态：

用户：admin
密码：admin123
http://10.10.11.80:8100/

为了防止 HAProxy 单点故障，用 Keepalived 将两个 HAProxy 节点做成一主一备。应用使用 VIP（虚拟IP） 访问 HAProxy 服务时，默认连接主机（Master）的 HAProxy，当主机（Master）上的 HAProxy 故障时，VIP 会漂移到备机（Backup）上，就会连接备机（Backup）上的 HAProxy 服务。

安装 Keepalived

如果其中一个节点的HAProxy 服务挂了，我们也要保证服务是可用的，这样就需要健康检测服务Keepalived，使用keepalived搭建双主热备。

yum安装：

yum clean all
yum install -y keepalived

keepalived常用命令：

systemctl  start  keepalived.service   #启动keepalived
systemctl  stop  keepalived.service   #停止keepalived   
systemctl  status  keepalived.service  #查看keepalived状态

Master （80节点）节点配置：

创建配置文件 /etc/keepalived/keepalived.conf：

vrrp_script chk_haproxy {script "killall -0 haproxy"  # verify haproxy's pid existanceinterval 5                   # check every 2 secondsweight -2                    # if check failed, priority will minus 2
}
vrrp_instance VI_1 {# 主机: MASTER# 备机: BACKUPstate MASTER# 实例绑定的网卡, 用ip a命令查看网卡编号interface ens192# 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样virtual_router_id 51# 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器priority 101# 虚拟IP地址,可以有多个，每行一个virtual_ipaddress {10.10.11.77}track_script {               # Scripts state we monitorchk_haproxy              }
}

Backup（81节点）节点配置：

创建配置文件 /etc/keepalived/keepalived.conf：

vrrp_script chk_haproxy {script "killall -0 haproxy"  # verify haproxy's pid existanceinterval 5                   # check every 2 secondsweight -2                    # if check failed, priority will minus 2
}
vrrp_instance VI_1 {# 主机: MASTER# 备机: BACKUPstate BACKUP# 实例绑定的网卡, 用ip a命令查看网卡编号interface ens192# 虚拟路由标识，这个标识是一个数字(1-255)，在一个VRRP实例中主备服务器ID必须一样virtual_router_id 51# 优先级，数字越大优先级越高，在一个实例中主服务器优先级要高于备服务器priority 100# 虚拟IP地址,可以有多个，每行一个virtual_ipaddress {10.10.11.77}track_script {               # Scripts state we monitorchk_haproxy              }
}

创建完配置，两个节点都要启动 keepalived：

systemctl restart keepalived

通过虚拟ip访问：

http://10.10.11.77:15672
用户：mcst_admin 密码：mcst_admin_123

springboot链接测试：

使用keepalived的虚拟ip链接

spring:rabbitmq:#rabbitmq集群虚拟ip地址host: 10.10.11.77port: 5672username: testpassword: 123456#虚拟hostvirtual-host: mcst_vhost

如果链接不上，检查一下下面几个地方：

1.mq的端口号，是5672，不是访问浏览器时候的15672
2.不要使用默认账户，新建用户添加相关的权限
3.Springboot链接配置种是否配置了virtual-host
4.ip+5672 查看一下服务器网络端口是不是开放了

显示链接成功了：

RabbitMQ 高可用 集群就搭建好了，想试试的动手操作一下吧，整个流程还是比较快的。