Redis群集模式和rsync远程同步

一、Redis群集模式

1.1 概念

1.2 作用

1.2.1 Redis集群的数据分片

1.2.2 Redis集群的主从复制模型

1.3 搭建Redis 群集模式

1.3.1 开启群集功能

1.3.2 启动redis节点

1.3.3 启动集群

1.3.4 测试群集

二、rsync远程同步

2.1 概念

2.2 同步方式

2.3 备份的方式

2.4 Rsync命令

2.4.1 格式

2.4.2 选项

2.5 配置源的两种表达方法

2.5.1 格式一

2.5.2 格式二

2.6 配置过程

2.6.1 关闭防护墙和和核心防护

2.6.2 配置rsync源服务器（192.168.133.10）

2.6.3 建立/etc/rsyncd.conf 配置文件

2.6.4 为备份账户创建数据文件

2.6.5 保证所有用户对源目录/var/www/html 都有读取权限

2.6.6 启动或关闭 rsync 服务程序

2.6.7 在发起端将指定的资源下载到本地/opt 目录下进行备份

---

一、Redis群集模式

1.1 概念

集群，即Redis Cluster，是Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成，Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点：只有主节点负责读写请求和集群信息的维护；从节点只进行主节点数据和状态信息的复制。

1.2 作用

（1）数据分区：数据分区(或称数据分片)是集群最核心的功能。
集群将数据分散到多个节点，一方面突破了Redis单机内存大小的限制，存储容量大大增加；另一方面每个主节点都可以对外提供读服务和写服务，大大提高了集群的响应能力。
Redis单机内存大小受限问题，在介绍持久化和主从复制时都有提及；例如，如果单机内存太大，bgsave和bgrewriteaof的fork操作可能导致主进程阻塞，主从环境下主机切换时可能导致从节点长时间无法提供服务，全量复制阶段主节点的复制缓冲区可能溢出。

（2）高可用：集群支持主从复制和主节点的自动故障转移（与哨兵类似）；当任一节点发生故障时，集群仍然可以对外提供服务。

1.2.1 Redis集群的数据分片

Redis集群引入了哈希槽的概念，Redis集群有16384个哈希槽（编号0-16383），集群的每个节点负责一部分哈希槽，每个Key通过CRC16校验后对16384取余来决定放置哪个哈希槽，通过这个值，去找到对应的插槽所对应的节点，然后直接自动跳转到这个对应的节点上进行存取操作。

以3个节点组成的集群为例：节点A包含0到5460号哈希槽，节点B包含5461到10922号哈希槽，节点C包含10923到16383号哈希槽。

1.2.2 Redis集群的主从复制模型

集群中具有A、B、C三个节点，如果节点B失败了，整个集群就会因缺少5461-10922这个范围的槽而不可以用。为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成，在节点B失败后，集群选举B1位为的主节点继续服务。当B和B1都失败后，集群将不可用。

1.3 搭建Redis 群集模式

所有节点在同一台服务器上模拟：以端口号进行区分：3个主节点端口号：6001/6002/6003，对应的从节点端口号：6004/6005/6006。

cd /etc/redis/
mkdir -p redis-cluster/redis600{1..6}
for i in {1..6}
do
cp /opt/redis-5.0.7/redis.conf /etc/redis/redis-cluster/redis600$i
cp /opt/redis-5.0.7/src/redis-cli /opt/redis-5.0.7/src/redis-server /etc/redis/redis-cluster/redis600$i
done

1.3.1 开启群集功能

cd /etc/redis/redis-cluster/redis6001 #其他5个文件夹的配置文件以此类推修改，注意6个端口都要不一样。vim redis.conf

#bind 127.0.0.1							#69行，注释掉bind 项，默认监听所有网卡
protected-mode no						#88行，修改，关闭保护模式
port 6001								#92行，修改，redis监听端口，
daemonize yes							#136行，开启守护进程，以独立进程启动
cluster-enabled yes						#832行，取消注释，开启群集功能
cluster-config-file nodes-6001.conf		#840行，取消注释，群集名称文件设置
cluster-node-timeout 15000				#846行，取消注释群集超时时间设置
appendonly yes							#700行，修改，开启AOF持久化

1.3.2 启动redis节点

for d in {1..6}
do
cd /etc/redis/redis-cluster/redis600$d
redis-server redis.conf
done

1.3.3 启动集群

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1#六个实例分为三组，每组一主一从，前面的做主节点，后面的做从节点。下面交互的时候 需要输入 yes 才可以创建。--replicas 1 表示每个主节点有1个从节点。

1.3.4 测试群集

redis-cli -p 6001 -c					#加-c参数，节点之间就可以互相跳转

127.0.0.1:6001> cluster slots			#查看节点的哈希槽编号范围

127.0.0.1:6001> cluster keyslot name					#查看name键的槽编号redis-cli -p 6004 -c
127.0.0.1:6004> keys *							#对应的slave节点也有这条数据，但是别的节点没有

二、rsync远程同步

2.1 概念

rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

Rsync 是 Linux 系统下的数据镜像备份工具，使用快速增量备份工具 Remote Sync 可以远程同步， 可以在不同主机之间进行同步，可实现全量备份与增量备份，保持链接和权限，且采用优化的同步算法， 传输前执行压缩，因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制，或者与其他 SSH、rsync 主机同步

2.2 同步方式

（1）完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。 

（2）差量备份：备份上次完全备份以后有变化的数据（他针对的上次的完全备份，他备份过程中不清除存档属性）。

（3）增量备份：备份上次备份以后有变化的数据（他才不管是那种类型的备份，有变化的数据就备份，他会清除存档属性）

2.3 备份的方式

（1）发起端：负责rsync  同步操作的客户机叫做发起端，通知服务器我要备份你的数据

（2）备份源：负责响应来自客户机rsync   同步操作的服务器叫做备份源，需要备份的服务器

（3）服务端：运行rsyncd服务，一般来说，需要备份的服务器

（4）客户端：存放备份数据

2.4 Rsync命令

2.4.1 格式

rsync [选项] 原始位置 目标位置

2.4.2 选项

2.5 配置源的两种表达方法

2.5.1 格式一

用户名@主机地址::共享模块名
rsync -avz backuper@192.168.133.20::wwwroot /opt/

2.5.2 格式二

rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.133.20/wwwroot /opt/

2.6 配置过程

2.6.1 关闭防护墙和和核心防护

systemctl stop firewalld
setenforce 0

2.6.2 配置rsync源服务器（192.168.133.10）

rpm -q rsync    #一般系统已默认安装rsync

2.6.3 建立/etc/rsyncd.conf 配置文件

vim /etc/rsyncd.conf	

uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.133.10								    #监听地址
port 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.133.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

2.6.4 为备份账户创建数据文件

vim /etc/rsyncd_users.db

chmod 600 /etc/rsyncd_users.db

2.6.5 保证所有用户对源目录/var/www/html 都有读取权限

chmod +r /var/www/html/
ls -ld /var/www/html/

2.6.6 启动或关闭 rsync 服务程序

rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 kill $(cat /var/run/rsyncd.pid)  #关闭 rsync 服务
rm -rf /var/run/rsyncd.pid       #关闭 rsync 服务

2.6.7 在发起端将指定的资源下载到本地/opt 目录下进行备份

（1）方法一

rsync -avz backuper@192.168.133.10::wwwroot /opt/

（2）方法二

rsync -avz rsync://backuper@192.168.133.10/wwwroot /opt/