redis大key和热key

什么是大key

大key通常是指占用内存空间过大或包含大量元素的键值对。

1. 数据量大：存储的单个值（如字符串、列表、集合、哈希等）本身比较大。比如一个哈希里面有大量的K-V、一个字符串长文本等。
2. 元素数量多：对于列表、集合、有序集合等数据结构，如果他们包含的元素非常多，也是大key。
3. 嵌套结构复杂：当数据结构嵌套了很多层，整体内存占用较多。比如一个哈希里面某些字段又是哈希…。

具体多大才算大key没有固定标准，需要根据redis配置和业务需求来判定。一般来说，字符串类型key对应的value占用空间大于1M，集合类型元素数量超过5000个都可以视为大key。

大key可能产生的原因

1. 程序设计不当或业务数据规模考虑不周
2. 未及时清理垃圾数据
3. 数据结构选择不合理
4. 缺乏监控和管理

大key可能会造成什么影响

1. 内存占用过高：占用大量内存，可能导致redis实例内存使用率升高。内存占用过高会触发redis内存淘汰策略，内存淘汰时可能会导致某些数据被意外删除从而影响正常业务。极端一点，内存耗尽导致redis实例崩溃导致服务中断。
2. 内存碎片：内存碎片会降低内存使用率，使得即使有足够的空闲内存也无法为新数据分配连续的内存空间。
3. 阻塞单线程：redis执行命令的时候是单线程，对大key进行读写操作时会更耗时，也就阻塞了其他的客服端请求。
4. 网络拥塞：大key传输的网络流量就更大，更占网络宽带，导致网络堵塞，影响其他的请求。
5. 主从同步延迟：大key网络传输的时间更长，增加网络传输的时间。
6. 数据倾斜：redis集群中，如果某个节点上大key过多，该节点内存使用率就更高，集群资源就分布不均衡。

如何检测大key

1. bigkeys命令：这是redis自带的命令，扫描整个库并统计每一种数据类型（string、list、set、zset、hash）中最大的那个key。它只能找每种类型最大的那一个key，不能找超过某个阈值的所有key。它是基于scan命令实现的，所以不会阻塞redis服务器。
2. MEMORY USAGE命令（Redis 4.0及以上版本）：它可以返回指定key的内存使用情况（字节为单位）。通过遍历所有的key可以找出大key。但是对于list、set等数据结构，它返回的是近似值，因为它采用抽样方式来估算内存使用。
3. DEBUG OBJECT命令：它返回指定key的详细信息，包含可以的类型、编码方式、序列化后的长度等。但它可能会对redis服务器的性能产生一点的影响，生产环境不建议使用。
4. 使用第三方工具：
   a. redis-rdb-tools：这是python编写的工具，用于解析redis的RDB快照文件，不仅可以提供每个key的大小信息，还能将结果导出为cvs文件。
   b. go-redis-bigkv：基于memory命令开发的go语言工具，用于扫描所有的key，并根据内存大小排序。可以把排序结果输出到txt文件中方便查看。
   c. Redis Bigkeys插件：用于分析redis大key的插件，扫描整个数据库，找出占用内存较大的key并输出。安装配置该插件后可以使用BIGKEYS命令来查找大key。
5. 使用SCAN命令遍历：遍历所有的key，通过设置不同的MATCH和COUNT选项可以控制遍历的速度和范围。遍历过程中可以结合上述的MEMORY USAGE或TYPE等命令来获取每个key的大小和类型信息，从而筛选出大key。

检测大key时，应该尽量避免对redis服务器产生太大的影响。比如在从节点检测、在业务低峰时检测等。

如何优化

1. 拆分大key：将大key拆分成多个小key，减少单个key的内存占用来提高查询性能。
2. 使用压缩算法：对于一些可以压缩的数据类型，可以使用压缩算法来压缩减少内存占用。Redis本身支持一些压缩算法，如LZF（Lempel-Ziv-Fast）压缩算法。
3. 设置过期时间：如果数据不是一直都需要的，可以设置过期时间，让redis自动删除该key，避免长期无效占用内存。
4. 监控预警：建立监控预警机制，及时发现及时处理。可以使用Redis的监控工具，如Redis Insights、Prometheus等，设置对大key和内存使用的监控指标。

删除大key时可能的问题

1. 阻塞redis服务：redis是单线程执行命令的，删除大key时耗时较长会阻塞其他请求。
2. 内存释放问题：直接删除大key会导致大量内存被瞬间释放，对操作系统的的内存管理产生压力。删除大key导致的内存碎片，操作系统在处理这些内存碎片时会消耗一点的cpu资源。
3. 网络流量消耗：存储在redis集群的大key，删除时会产生较大的网络流量。

删除大key的策略

1. 分批删除：对于集合类型的大key，可以分批删除。每次删除一部分元素，最终完全删除这个大key。比如一个有1W元素的list，一次删除1K个元素，元素分多次删除，最终再删除这个key。
2. 使用UNLINK命令：redis4.0版本开始，引入UNLINK命令来异步删除key。它会将key立即从数据库中删除，但实际释放内存的工作是后台线程来异步执行的。可以避免删除大key时阻塞redis的正常服务。
3. 业务低峰时删除：
4. 先重命名再删除：在删除前先将其重命名为一个不被使用的key，使其不会被业务系统访问到，然后再逐步删除这个重命名后的key。避免在删除过程中因为业务系统访问到该key而导致阻塞和错误。

热key

热key是指被频繁访问的key。

热key可能导致的问题

1. 高并发访问：一个key被大量并发访问，对redis服务器性能产生压力。由于redis单线程，高并发访问导致响应变慢甚至无响应。
2. 延迟增加：redis处理大量热key，导致redis服务整体的响应时间增加。
3. 内存压力：频繁访问热key占用大量内存空间，导致redis内存使用率升高。内存使用率升高触发内存溢出甚至崩溃。
4. 负载不均衡：当一个节点存在大量热key时，该节点负载非常高，其他节点相对空闲，导致redis集群整体性能下降，导致某些节点出现性能问题。

解决热key的方法

1. 缓存分片：将热key分散到多个redis节点，减轻单个节点的压力。可以采用hash算法或一致性哈希算法将热key映射到不同的节点。
2. 缓存过期策略：根据业务需求和访问频率设置不同的过期时间。
3. 缓存预热：系统启动时预热一部分热key，将其加载到本地内存中。