redis分布式集群-redis+keepalived+ haproxy

redis分布式集群架构（Redis+Keepalived+Haproxy）至少需要3台服务器、6个节点，一台服务器2个节点。

redis分布式集群架构中的每台服务器都使用六个端口来实现多路复用，最终实现主从热备、负载均衡、秒级切换的目标。

redis分布式集群架构思路为：keepalived给haproxy做高可用,当一台haproxy出现故障时,高可用会将另一台备用的haproxy作为master,继续给后端提供服务,防止单点故障。

部署redis集群

第一步，环境准备。

redis分布式集群架构至少需要3台服务器、6个节点，一台机器2个节点，创建出3个master节点、3个salve节点环境。

第一台服务器：

私网IP：x.x.x.x redis-master 6001 redis-slave 6002

第二台服务器：

私网IP：y.y.y.y redis-master 6001 redis-slave 6002

第三台服务器：

私网IP：z.z.z.z redis-master 6001 redis-slave 6002

第二步，安装redis。（每台服务器都安装）

命令：yum -y install redis

若结果显示“redis-6.0.5-1.11.al8.x86_64”，则说明成功安装了redis-6.0.5。

第三步，启动redis服务。（每台服务器都启动）

命令：systemctl start redis

若结果显示“Active: failed”，则需要把文件/usr/lib/systemd/system/redis.service中的“--daemonize no --supervised systemd”去掉，注释掉“Type=notify”，最后再次启动redis，服务状态为“Active: active (running)。

systemctl stop redis

systemctl restart redis

systemctl daemon-reload

# 设置开机自启动

命令：systemctl enable redis

# 查看服务状态是否为“Active: active (running)”

命令：systemctl status redis

ps -ef | grep redis

netstat -nap | grep  6379

# 服务端启动成功后，启动redis 客户端，查看端口号。

命令：redis-cli

set [key] [value]

get [key]

exit

ps -ef | grep redis

netstat -nap | grep 6379

第四步，在/usr/local中新建/redis/6001/conf、/redis/6001/data、/redis/6001/log、 /redis/6002/conf、/redis/6002/data和/redis/6002/log文件夹。（每台服务器都新建）

命令：mkdir -p /usr/local/redis/{6001,6002}/{conf,data,log}

第五步，将/etc/redis.conf配置文件复制粘贴到文件夹/usr/local/redis/6001/conf。（每台服务器都复制）

命令：cp /etc/redis.conf /usr/local/redis/6001/conf

cp /etc/redis.conf /usr/local/redis/6002/conf

第六步，配置redis.conf。（每台服务器都配置）

redis主编辑配置/usr/local/redis/6001/conf/redis.conf文件，做以下几处修改：

“bind 127.0.0.1”改为“bind 0.0.0.0”，“protected-mode yes”改为“protected-mode no”，“port 6379”改为“port 6001”，“daemonize no”改为“daemonize yes”，“requirepass foobared”改为requirepass "redis123456"，“dir ./”改为“dir /usr/local/redis/6001/data”，“pidfile /var/run/redis_6379.pid”改为“pidfile /usr/local/redis/6001/redis.pid”，“logfile ”改为“logfile /usr/local/redis/6001/log/redis.log”，“appendonly no”改为“appendonly yes”，“# cluster-enabled yes”改为“cluster-enabled yes”，“# cluster-config-file nodes-6379.conf”改为“cluster-config-file /usr/local/redis/6001/conf/nodes.conf”，“# cluster-node-timeout 15000”改为“cluster-node-timeout 5000”。

redis从编辑配置/usr/local/redis/6002/conf/redis.conf文件，做以下几处修改：

“bind 127.0.0.1”改为“bind 0.0.0.0”，“protected-mode yes”改为“protected-mode no”，“port 6379”改为“port 6002”，“daemonize no”改为“daemonize yes”，“requirepass foobared”改为requirepass "redis123456"，“dir ./”改为“dir /usr/local/redis/6002/data”，“pidfile /var/run/redis_6379.pid”改为“pidfile /usr/local/redis/6002/redis.pid”，“logfile ”改为“logfile /usr/local/redis/6002/log/redis.log”，“appendonly no”改为“appendonly yes”，“# cluster-enabled yes”改为“cluster-enabled yes”，“# cluster-config-file nodes-6379.conf”改为“cluster-config-file /usr/local/redis/6002/conf/nodes.conf”，“# cluster-node-timeout 15000”改为“cluster-node-timeout 5000”。

第七步，重新启动redis服务。（每台服务器都重启）

# 关闭redis服务

命令：systemctl stop redis

ps -ef | grep redis

或  ss -tnlp|grep redis

# 重新启动redis服务

命令：/usr/bin/redis-server /usr/local/redis/6001/conf/redis.conf

/usr/bin/redis-server /usr/local/redis/6002/conf/redis.conf

第八步，检查redis启动情况。（每台服务器都检查）

命令：ps -ef | grep redis

或    ss -tnlp|grep redis

 

 

第九步，创建redis集群。

命令：/usr/bin/redis-cli --cluster create x.x.x.x:6001 x.x.x.x:6002 y.y.y.y:6001 y.y.y.y:6002 z.z.z.z:6001 z.z.z.z:6002 --cluster-replicas 1

ps -ef|grep redis

第十步，redis集群验证。

# 连接集群

命令：redis-cli -c -p 6001 -a redis123456

部署keepalived

第一步，环境准备。

redis分布式集群架构选择任意两个节点进行配置，实现主从热备和秒级切换。

keepalived主服务器私网IP：x.x.x.x redis-master 6001 redis-slave 6002

keepalived备服务器私网IP：y.y.y.y redis-master 6001 redis-slave 6002

高可用虚拟IP：v.v.v.v

第二步，安装keepalived。（keepalived主、备服务器都安装）

命令：yum -y install keepalived

若结果显示“keepalived-2.2.4-6.al8.x86_64”，则说明成功安装了keepalived-2.2.4。

第三步，配置keepalived.conf文件。（keepalived主、备服务器都配置）

1）配置Keepalived主服务器中的/etc/keepalivedkeepalived.conf文件，代码如下：

global_defs {router_id redis-master}vrrp_script redis_check {script "/etc/keepalived/scripts/haproxy_check.sh"interval 4weight -5fall 3rise 2}vrrp_instance VI_REDIS {state MASTERinterface eth0virtual_router_id 51priority 150advert_int 1nopreemptauthentication {auth_type PASSauth_pass 1111}track_script {chk_haproxy}virtual_ipaddress {v.v.v.v}}

2）先利用命令“mkdir -p /etc/keepalived/scripts”在Keepalived主服务器创建文件夹。然后在新建文件夹中创建haproxy_check.sh脚本,在脚本中写入下面代码：

#!/bin/bashsystemctl status haproxy | grep runningif [ $? -ne 0 ];thensystemctl stop keepalivedfi

3）配置Keepalived备服务器中的/etc/keepalivedkeepalived.conf文件，代码如下：

global_defs {router_id redis-slave}vrrp_script redis_check {script "/etc/keepalived/scripts/haproxy_check.sh"interval 4weight -5fall 3rise 2}vrrp_instance VI_REDIS {state BAKCUPinterface eth0virtual_router_id 51priority 100advert_int 1nopreemptauthentication {auth_type PASSauth_pass 1111}track_script {chk_haproxy}virtual_ipaddress {v.v.v.v}}

4）先利用命令“mkdir -p /etc/keepalived/scripts”在Keepalived备服务器创建文件夹。然后在新建文件夹中创建haproxy_check.sh脚本,在脚本中写入下面代码：

#!/bin/bashsystemctl status haproxy | grep runningif [ $? -ne 0 ];thensystemctl stop keepalivedfi

第四步，给新建的脚本加上可执行权限。（keepalived主、备服务器都加上）

命令：chmod +x /etc/keepalived/scripts/*.sh

第五步，开启服务验证。

关掉Keepalived主服务器的keepalived服务之后，VIP可以漂移Keepalived备服务器。

部署haproxy

第一步，环境准备。

redis分布式集群架构选择安装keepalived的两个服务器来部署haproxy，haproxy访问6379端口时，轮询访问六个节点。

keepalived主服务器私网IP：x.x.x.x redis-master 6001 redis-slave 6002

keepalived备服务器私网IP：y.y.y.y redis-master 6001 redis-slave 6002

高可用虚拟IP：v.v.v.v

第二步，安装haproxy。

命令：yum -y install haproxy

第三步，配置haproxy.cfg文件。

配置/etc/haproxy/haproxy.cfg文件，在文件中写入下面代码：

globallog                     127.0.0.1 local0chroot                  /var/lib/haproxypidfile                 /var/run/haproxy.pidmaxconn                 4000user                    nobodygroup                   nobodydaemondefaultsmode                     httplog                      globaloption                   dontlognullretries                  3maxconn                  3000contimeout               50000clitimeout               50000srvtimeout               50000listen statsbind                    *:8888stats                   enablestats                   hide-versionstats uri               /haproxystats realm             Haproxy\ statsstats auth              admin:adminstats admin             if TRUElisten  redisbind *:6379mode tcpbalance roundrobinserver redis1 x.x.x.x:6001 checkserver redis2 x.x.x.x:6002 checkserver redis3 y.y.y.y:6001 checkserver redis4 y.y.y.y:6002 checkserver redis5 z.z.z.z:6001 checkserver redis6 z.z.z.z:6002 check

第四步，配置haproxy rsyslog.conf文件。

vim /etc/rsyslog.conf

在/etc/rsyslog.conf文件中做出如下修改：

“# Provides UDP syslog reception# for parameters see http://www.rsyslog.com/doc/imudp.html#module(load="imudp") # needs to be done just once#input(type="imudp" port="514")”修改为“# Provides UDP syslog reception$ModLoad imudp$UDPServerRun 514”；“# Provides TCP syslog reception# for parameters see http://www.rsyslog.com/doc/imtcp.html#module(load="imtcp") # needs to be done just once#input(type="imtcp" port="514")”修改为“# Provides TCP syslog reception$ModLoad imtcp$InputTCPServerRun 514”；添加“# haproxy loglocal0.*                 /var/log/haproxy.log”。

第五步，haproxy访问6379端口时，轮询访问六个节点。

命令：redis-cli -c -p 6379 -h v.v.v.v -a redis123456

测试

经测试，keepalived优先级最高的服务器（私网：x.x.x.x keepalived主+haproxy）中的两个redis节点不能同时被杀死，否则集群会马上停止，但是重启该服务器，集群就会马上恢复。

另两台服务器中的任何一台服务器发生宕机(或者两个redis节点挂掉)都不会影响redis集群的使用。

redis集群负载比较低。

需要注意redis集群缺点：

redis集群模式下只能选择db0，选择其他库会出现类似“(error) ERR SELECT is not allowed in cluster mode”的异常。