Redis篇--常见问题篇4--大Key（Big Key，什么是大Key，影响及使用建议）

1、概述

大Key：通常是指值（Value）的长度非常大，实际上键（Key）长度很大也算。通常来说，键本身不会很长，占用的内存较少，因此判断一个键是否为bigKey主要看它对应的值的大小。
大Key分为两种情况：
（1）、键（Key）非常大
（2）、值（Value）非常大

2、键（Key）非常大

虽然Redis的键可以存储任意字符串（最大限制为512M），但通常情况下，键的长度都比较小。

过长的键会带来以下问题：
（1）、内存占用增加：Redis是内存数据库，键的长度直接影响内存使用。如果键的长度过大且大量存在时，会显著增加内存消耗。
（2）、性能下降：Redis的许多操作（如查找、删除、更新等）都需要对键进行哈希计算或字符串比较。如果键的长度过长，这些操作的时间复杂度会增加，导致性能下降。
（3）、网络传输开销：在客户端与Redis服务器之间传输数据时，过长的键会增加网络带宽的使用，尤其是在分布式系统中，可能会导致网络延迟。

什么时候算作"大键"？
- 一般大键：键的长度应尽量保持在100字节以内。超过这个长度的键可以被视为"大键"。
- 极端情况：如果键的长度超过几千字节，则会对Redis的性能产生明显影响，属于典型的"大键"。

如何避免大键？
（1）、使用简短的键名：尽量使用简短且具有描述性的键名。例如，使用user:12345而不是 user_profile_for_user_with_id_12345。
（2）、使用哈希或编码：对于复杂的键名，可以考虑使用哈希函数（如MD5、SHA1）将长字符串转换为固定长度的哈希值，或者使用Base64编码来缩短键的长度。

3、值（Value）非常大

Redis的值可以是多种类型的数据结构，包括字符串、列表、集合、哈希表、有序集合等。当值的大小非常大时，也会对Redis的性能和内存使用产生负面影响。

过长的值带来的问题
（1）、内存占用增加：大值会占用更多的内存，尤其是在Redis中存储大量大值时，可能会迅速耗尽可用内存。
（2）、性能阻塞：某些Redis操作（如GET、SET、DEL等）在处理大值时可能会阻塞Redis服务器，导致其他请求无法及时处理。例如，DEL一个包含数百万元素的列表或哈希表可能会导致Redis在几秒钟内无法响应其他请求。
（3）、网络传输开销：大值在客户端与Redis服务器之间传输时，会增加网络带宽的使用，可能导致网络延迟或超时。
（4）、备份和持久化压力：大值会增加Redis的RDB快照和AOF日志的大小，导致备份和持久化操作的时间变长，甚至可能引发磁盘I/O瓶颈。

什么时候算作"大值"？
- 一般建议：对于字符串类型的值，建议单个值的大小不要超过1MB。对于复杂数据结构（如列表、哈希表、集合等），建议每个元素的大小也应尽量控制在合理范围内。
- 极端情况：如果单个值的大小超过几十MB或几百MB，则会对Redis的性能产生显著影响，属于典型的"大值"。

如何避免大值？
（1）、分片存储：对于非常大的值，可以考虑将其拆分成多个小块进行存储。例如将一个大列表List拆分成多个较小的列表List存储。
（2）、使用压缩：对于文本或二进制数据，可以考虑使用压缩算法（如Gzip、Snappy）来减少值的大小。
（3）、使用外部存储：对于不适合存储在Redis中的大数据，可以考虑将其存储在其他专门的存储系统中（如Amazon S3、HDFS），并在Redis中只存储指向这些数据的引用（如URL或ID）。
（4）、使用流式处理：对于需要频繁读取或写入大值的场景，可以考虑使用Redis的流式处理功能（如XREAD和XADD），每次进读取部分数据，以避免一次性加载整个大值。

4、其他建议

（1）、优化数据结构：选择合适的数据结构来存储数据。例如，使用ZSET（有序集合）而不是HASH（哈希表）来存储带有权重的数据，或者使用LIST（列表）而不是SET（集合）来存储有序的元素。
（2）期清理过期数据：使用Redis的过期机制（EXPIRE、TTL）定期清理不再需要的大键或大值，避免长期占用内存。

5、如何检测大Key

（1）、使用MEMORY USAGE命令
可以使用MEMORY USAGE命令来检查某个键占用的内存大小。
例如：

MEMORY USAGE my_large_key

解释一下：
如上的示例可以看到键aaa1使用的内存大小是57字节。
我们从下面一行命令可以看到aaa1的键存储的值是zhangsan1，那么为什么Redis会分配57个字节呢？
答案：
因为Redis会为每一个key和value都创建一个对象头以记录key或value的类型，编码方式等附属信息；此外Redis的内存分配器jemalloc会分配比实际长度更大的空间保存数据，确保内存对齐和减少磁盘碎片；在加上各种底层数据结构不同也会占用一定的内存空间等，所以实际分配内存会比预想的大一些。
详细可以参考之前的Redis数据结构架构篇看下。

（2）、使用SCAN命令结合MEMORY USAGE
如果你不确定哪些键是大键，可以结合SCAN和MEMORY USAGE来批量检测。例如，编写一个脚本遍历所有键，并检查每个键的内存占用情况。
scan使用示例：

（3）、用Redis自带的监控工具
Redis提供了INFO memory命令，可以查看当前Redis实例的内存使用情况。你还可以使用Redis的慢查询日志（SLOWLOG）来检测哪些命令在处理大键时花费了较多时间。
命令示例：

说明:
used_memory：Redis分配的总内存量（以字节为单位）。
used_memory_human：used_memory转可读方式大小，方便阅读（如转KB、MB、GB）

（4）、使用第三方监控工具
一些第三方监控工具（如Redis Desktop Manager、RedisInsight、Prometheus + Grafana）可以帮助你实时监控Redis的内存使用情况，并识别出大键。

6、大Key总结

• 大Key的定义：Redis中的"大 Key"既可以指键（Key）非常大，也可以指值（Value）非常大。无论是键还是值，过大的大小都会对Redis的性能和内存使用产生负面影响。通常在使用Redis过程中，不会存在过大的key，但是值却不好说，所以判断一个键是否为bigKey主要还是看它的值的大小。

• 键非常大的影响：键过长会增加内存占用、降低性能，并增加网络传输开销。

• 值非常大的影响：值过大会占用更多内存，导致阻塞操作、增加网络传输开销，并给备份和持久化带来压力。

• 如何避免大Key：通过使用简短的键名、分片存储、压缩数据、使用外部存储等方式，可以有效避免大Key对Redis性能的影响。

• 如何检测大Key：使用MEMORY USAGE、SCAN、INFO memory等命令或工具来检测和处理大 Key。