Redis知识点整理

第一部分：Redis基础知识点

• 1、数据类型
  • 5种常用基础类型：string,hash,list,set,zset – 字符串，Hash表，List顺序集合，Set无序集合，ZSet有序集合
  • 3中特殊类型：bitmap-字节地图, hyperloglog-统计日志,geospatial-地理位置计算
• 2、底层数据结构
  • String： 基于SDS字典结构
  • Hash表 ： 由zipList/quickList组成，底层有Dict保存
  • List集合： 基于LinkedList数据接口的ZipList和QuickList结构
  • Set集合： intSet和Dict组合，其中Dict由Hashtable和DictEntry和Dict组成
  • ZSet集合：HashTable+SkipList+IntSet
  • 说明:
    • ZipList压缩表用于当元素数量小于128时，用于对集合压缩，减少内存占用，但是虽节省内存但是需要连续空间，会造成内存碎片
    • QuickList则在ZipList上使用LinkedList来避免申请连续空间，减少内存碎片产生
    • SkipList跳表则是采用类似于加索引方式，提升查询效率
• 3、持久化方式
  • rdb快照模式, 数据恢复快，效率高，但是会丢失数据
  • aof命令拼接模式：数据恢复慢，效率低，数据安全
  • 常用RDB+AOF结合方式。
• 4、内存淘汰策略
  • allkey-lru,allkey-lfu,allkey-random,nonvice,volite-lru,volite-lfu,volite-ttl
  • LRU算法：最近最少使用，
    • 底层原理基于HashTable+LinkedList即Hash表和双向链表实现
    • 即HashTable用于快速查找，LinkedList采用后进先出方式，保证最近访问的放在前面，只淘汰尾部即可
  • LFU算法：最近不频繁使用
    • 底层原理使用RedisObject的lru字段的后半部分保存访问的次数
  • TTL算法：对于设置了存活时间(TTL)的key，TTL值越小，越先淘汰
  • Random算法 ：随机算法
• 5、集群方式
  • 主从模式，哨兵模式，代理分片模式，redis-cluster模式
• 6、redis常见问题
  • 缓存雪崩，缓存穿透，缓存击穿，bigkey,hotkey,双写一致性
• 7、redis特性
  • 内存，单线程模型，多路复用，epoll
• 8、redis锁八大机制
  • 加锁，可重入锁，维持加锁-看门狗机制，锁互斥， 手动释放锁，自动释放锁，加锁超时，超时释放锁
• 9、过期策略
  • 定时过期,惰性过期，定期过期
• 10、redis 集群模式
  • 主从模式，哨兵模式，Redis-Clustor
• 11、Redis为什么快？
  • 内存模式+内存淘汰策略：内存模式保证查询快，内存淘汰保证安全
  • 网络模型
    • RESP协议是CS架构，内部数据结构简单，准确
    • epoll，非阻塞的多路复用，基于信号IO驱动
    • 零拷贝
  • 持久化，保证数据安全性
  • 原子事务
• 12、Redis的特性
  • 内存，持久化，事务，Io多路服务，Epoll机制

第二部分：Redis实战场景

1、Redis的应用场景

• 1、分布式缓存：旁路缓存，对象缓存，全页缓存，热点数据缓存
• 2、分布式锁
• 3、分布式Session共享
• 4、分布式唯一ID生成
• 5、分布式限流
• 6、计数器
• 7、排行榜
• 8、位统计功能：签到打卡，用户留存率，用户活跃度
• 9、延时操作：
• 10、点赞，关注和推荐，朋友圈可见
• 11、消息队列
• 12、抽奖
• 13、标签
• 14、过滤（布隆过滤器），筛选
• 15、业务处理：交集，差集，并集

2、Redis问题以及解决方案

• 1、缓存雪崩
  • 原因： 缓存同时过期
  • 方案：
    • (1)加随机过期时间
    • (2)多级缓存
    • (3)限流+读锁
• 2、缓存穿透
  • 原因：大量访问缓存和数据库不存在数据
  • 方案：
    • (1)访问校验
    • (2)Hash拦截
    • (2)布隆过滤
    • (3)空值缓存
    • (4)混合方式解决，即空值短缓存，频繁请求加校验
• 3、缓存击穿
  • 原因：热点数据过期
  • 方案：
    • (1)多级缓存
    • (2)不过期
    • (3)加锁
• 4、热点key问题
  • 原因：热点数据超频繁,造成服务过载
  • 方案：
    • (1)多级缓存
    • (2)集群扩容，分片负载
    • (3)热点分散
• 5、redis大key问题
  • 原因：Hash,List,set,zset等集合由于时间累积造成key过大
  • 方案：
    • (1)定时过期重建key
    • (2)压缩value
    • (3)拆分bigkey
    • (4)定期检查key移除失效元素，进行瘦身
• 6、双写一致性问题
  • 原因：高并发场景下缓存和DB更新导致读写不一致问题
  • 方案：
    - 1、更新cache,更新DB-问题：更新DB失败造成脏数据
    - 2、更新DB，更新Cache-问题：更新Cache失败造成脏数据
    - 3、删除cache,更新DB-问题：高并发场景，会读取到未更新DB的脏数据
    - 4、延迟双删，删除Cache，更新DB，删除Cache：一定程度上可以保证，但是
    - 5、更新DB，延迟更新Cache-通过Canol或MQ方式延迟更新Cache，某种方式来说可以解决更新Cache失败问题

第三部分：深入Redis原理

1、Redis数据类型以及应用场景

• 数据类型
  • string,Hash,List,Set,ZSet,BitMap,Geo,LogLog
• 使用场景：
  • 分布式缓存(旁路缓存，读写缓存)，分布式锁，分布式Session，
  • 计数器，布隆过滤器，限流器
  • 消息队列，秒杀，红包，抽奖.点赞，关注，签到，榜单，

2、持久化机制

• 持久化方式
  • RDB方式:恢复快，文件小，数据安全低
    • RDB持久化：save指定触发后，redis会fork出一个线程，拷贝出当前运行时副本，成功后
  • AOF方式:内容多，文件大，恢复慢，数据安全高
    • AOF大小触发重做后，redis会fork出一个新线程，拷贝出当前运行时数据副本的保存命令，后再执行增量数据命令
• 持久化策略
  • 自动保存，手动保存

3、redis锁机制,事务机制，原子性等

• 锁机制
  • 过程
    • getLock,如果true,则setnx,执行程序，主动释放lock,完成，如果程序超时，通过expire被动释放lock
    • getLock,如果false，则自旋等待已经占有锁线程释放lock
  • 作用：
    • 保证分布式环境下，线程竞争资源的正常运行。
• 原子性
  • redis的原子操作指令：incr和decr,setnx
  • 自定义实现方式
    • 使用Lua脚本
    • 使用事务+监控方式：
      • 1、监控：watch key,2、事务开始：MULTI,3、定义事务原子操作：SET key 100 4、执行事务： EXEC
• 事务机制
  • 原子性，一致性，隔离性，持久性，顺序性
  • Redis事务流程
    • 事务开始 MULTI，WATCH,命令入队，取消入队DISCARD,事务执行 EXEC

2、Redis的数据结构

• SDS 动态字符数组，每个数组由头部，len,freelen组成
• LinkedList 双向链表结构
• ZipList 压缩链表结构，集合长度小于512或长度小于64k时采用压缩表结构
• QuickList 快速链表结构，v3.2以后改进，由linked+ziplist组成，linkedlist保证快速遍历，ziplist保证数据压缩
• hashtable 哈希表结构，redis全局也是hash表结构
• skiplist - 跳表结构-结构上结点之间有多个指针，能够根据key快速跳到对应的位置

3、Redis快速的原因

• 基于内存实现的KV结构，便于快速查找
• 高效的数据结构和数据编码
• 单线程模型，避免线程上下文切换
• 高效的网路传输协议，使用epoll实现IO多路复用机制
• 高效的内存淘汰机制，保证缓存命中率

4、Redis线程模型，IO模型，网络模型等

• 线程模型
  • 单线程模型：即网络请求采用单线程，分为文件事件处理器-包括请求连接，命令请求，命令响应
  • 多线程模型：连接，持久化，语法检查
• 网络Io模型
  • 参考JavaIO模型
• 多路复用
  • 多路是网络请求多路
  • 复用是处理线程复用
• 内存模型
  • 本身内存，数据内存，缓冲内存，碎片内存