[缓存] - 2.分布式缓存重磅中间件 Redis

1. 高性能

尽量使用短key

不要存过大的数据

避免使用keys *：使用SCAN,来代替

在存到Redis之前压缩数据

设置 key 有效期

选择回收策略(maxmemory-policy)

减少不必要的连接

限制redis的内存大小（防止swap，OOM）

slowLog

使用pipline批量操作数据

2. 高可用

2.1 单机版的高可用

数据持久化：AOF(WAL) & RDB

2.2 Replication-Sentinel模式

也就是哨兵模式。哨兵能对节点进行监控，提醒，自动故障迁移。

缺点：主从模式，切换需要时间，可能会丢数据，而且没有解决 master 写的压力；存储性能没办法横向扩展。

适用场景：缓存大小 < 10G时建议使用一主多从的哨兵模式。 从节点的数量，根据qps来扩展，比如10WQPS，可以有3-4个从节点（只能提高读操作的qps，写的qps不能扩展）。

架构图：

 2.3 Redis-Cluster模式

redis在3.0上加入了 Cluster 集群模式，实现了 Redis 的分布式存储，也就是说每台 Redis 节点上存储不同的数据。

Gossip协议维护节点的元数据信息，进行节点间的信息同步。P2P去中心化的模式。最终一致性。

每个分区有一个master和若干slaver组成。

缺点：对于大型集群来说， 例如200 个使用 3.2.8 版本节点搭建的 Redis 集群，在没有任何客户端请求的情况下，每个节点仍然会产生 40Mb/s 的流量（gossip协议）， 不建议使用官方的 Redis Cluster。

适用场景：如果系统的缓存大小<2000G， 主节点数<200个，建议使用Redis Cluster模式

2.4 Proxy模式

适用于主节点数量 > 200的情况下。有Codis Proxy和Twemproxy Proxy来年各种中间件模式。

数据分片算法：

（1）Codis 代理分片

（2）Twemproxy 代理分片

2.4.1 Redis数据分片

槽位，共16384个槽位。

所有的键根据哈希函数映射到0 ～ 16383，计算公式：slot = CRC16(key)&16383。

3. 主从复制

哨兵模式和集群模式，都需要进行主从复制。

核心流程：

建立连接，数据同步，命令传播

4. 分布式缓存的常见问题

4.1 数据丢失

1.AOF异步刷盘

2.master和slave的数据同步是异步的

5. 数据预热 & 冷热分离

6. 缓存选型

由于 redis 只使用单核，而 memcached 可以使用多核，所以平均每一个核上 redis 在存储小数据时比memcached 性能更高。而在 100k 以上的数据中，memcached 性能要高于 redis。虽然 redis 最近也在存储大数据的性能上进行优化，但是比起 memcached，还是稍有逊色。

7. 缓存过期

7.1 过期策略

TTL, LFU, LRU, Random

7.2 过期删除策略

• 定期删除：将每个设置了过期时间的 key 放入到一个独立的字典中，以后会定期遍历这个字典来删除到期的 key。
• 惰性删除：所谓惰性策略就是在客户端访问这个key的时候，redis对key的过期时间进行检查，如果过期了就立即删除，不会给你返回任何东西。

定期删除是集中处理，惰性删除是零散处理。