Redis 源码分析-内部数据结构 robj

Redis 源码分析-内部数据结构 robj

Redis 中，一个 database 内的这个映射关系是用一个 dict 来维护的（ht[0]）。dict 的 key 固定用一种数据结构来表达就够了，即动态字符串 sds。而 value 则比较复杂，为了在同一个 dict 内能够存储不同类型的 value，这就需要一个通用的数据结构，这个通用的数据结构就是robj（全名 redisObject ）。

#define LRU_BITS 24// redis 键值对中的 value 结构体，头占 16 字节，ptr 指针指向真正的数据
typedef struct redisObject {unsigned type: 4;           // 4 bit    数据类型 string、list、setunsigned encoding: 4;       // 4 bit    编码方式 embStr、raw、ziplistunsigned lru: LRU_BITS;     // 24 bit   LRU 时间/* LRU time (relative to global lru_clock) or* LFU data (least significant 8 bits frequency* and most significant 16 bits access time). */int refcount;               // 4 字节     引用次数，主要针对共享对象void *ptr;                  // 8 字节     指向具体实现的指针
} robj;

首先解释下这5个字段的含义：

• type 数据类型，string、list、hash…

/* The actual Redis Object */
#define OBJ_STRING 0    /* String object. */
#define OBJ_LIST 1      /* List object. */
#define OBJ_SET 2       /* Set object. */
#define OBJ_ZSET 3      /* Sorted set object. */
#define OBJ_HASH 4      /* Hash object. */#define OBJ_MODULE 5    /* Module object. */
#define OBJ_STREAM 6    /* Stream object. */

• encoding 编码方式，比如 string 就有 embstr 和 raw 编码方式

#define OBJ_ENCODING_RAW 0     /* Raw representation */
#define OBJ_ENCODING_INT 1     /* Encoded as integer */
#define OBJ_ENCODING_HT 2      /* Encoded as hash table */
#define OBJ_ENCODING_ZIPMAP 3  /* Encoded as zipmap */
#define OBJ_ENCODING_LINKEDLIST 4 /* No longer used: old list encoding. */
#define OBJ_ENCODING_ZIPLIST 5 /* Encoded as ziplist */
#define OBJ_ENCODING_INTSET 6  /* Encoded as intset */
#define OBJ_ENCODING_SKIPLIST 7  /* Encoded as skiplist */
#define OBJ_ENCODING_EMBSTR 8  /* Embedded sds string encoding */
#define OBJ_ENCODING_QUICKLIST 9 /* Encoded as linked list of ziplists */
#define OBJ_ENCODING_STREAM 10 /* Encoded as a radix tree of listpacks */

• lru ‌LRU（Least Recently Used）时间，在 redis 淘汰数据时会用
• refcount 引用计数。它允许 robj 对象在某些情况下被共享，例如 redis 在启动时对于常见的响应指令（ok、error），错误信息，0-9999 的数字对象都进行了创建并复用
• ptr 指针 指向真正的值

接着分析下这个结构体的定义方式

unsigned type: 4

这是 C 语言里的位域定义方法，表示该字段所占的比特数（bit）

最后我们分析可以知道，一个这样的 redisObject 需要占用 4bit + 4bit + 24bit + 4B +8B 即 16 字节空间，注意这个 16 字节

这对我们 redis 的调优有没有什么启发呢？

• 如果我要存一个很短的字符串， 字符串可能不到16字节，但为了描述这个字符串的头结构就占了16字节，内存利用率是不是低了？
• 如果我要存一个数字，8字节就能搞定，还有必要让 ptr 指针去指向一个真实存储这个数字的空间吗？

另外，目前的机器基本都是 64 位架构，通常处理器的缓存行大小是 64 字节（64B），这意味着每次从内存加载数据到缓存时，最小的单位是 64 字节。即使你只需要其中的一部分数据，剩余的部分也会被一并加载到缓存中。redis 中的创建的很多字符串，都会采用 SDS8 的结构（SDS5 无法记录有效容量，对后续拓展不友好），如果 SDS8 点字符串 + redisObject 的头大小，恰好能满足 64B，意味着就不用再去内存中取数据了。

这就是 Redis String 类型 embStr 编码方式：

// <= 44 字节就使用 embStr 的 encoding 类型,否则使用 raw 编码类型
#define OBJ_ENCODING_EMBSTR_SIZE_LIMIT 44// 创建字符串对象的函数
robj *createStringObject(const char *ptr, size_t len) {// 字符串少于44字节,就 embStr 类型编码,否则 raw 类型编码if (len <= OBJ_ENCODING_EMBSTR_SIZE_LIMIT)return createEmbeddedStringObject(ptr, len);elsereturn createRawStringObject(ptr, len);
}

struct __attribute__ ((__packed__)) sdshdr8 {uint8_t len;            // 现有长度 1 字节uint8_t alloc;          // 字符数组的空间长度(不包括结构体头和字符数组最后'\0'的一字节) 1 字节unsigned char flags;    // 标识位 3 bit 用来标识类型,5 bit 暂时无用 1 字节char buf[];             // 真正存放字符串的数组,以 '\0' 结尾,注意其没有指明长度,这是一种特殊写法,柔性数组,初始化分配时不占用内存空间
};

我们来分析一下为什么是 44 字节

redisObject 16 字节

sdshdr8 3 字节

数组最后的’\0’标识 1 字节

64 - 16 - 3 - 1 = 44 字节

指的一提的是，即使刚开始我们创建的是一个 embStr 编码的字符串，只要对其进行 append 操作，编码方式就会变为 raw，原因是变动会执行下面这个函数：

void appendCommand(client *c) {size_t totlen;robj *o, *append;o = lookupKeyWrite(c->db, c->argv[1]);if (o == NULL) {/* Create the key */c->argv[2] = tryObjectEncoding(c->argv[2]);dbAdd(c->db, c->argv[1], c->argv[2]);incrRefCount(c->argv[2]);totlen = stringObjectLen(c->argv[2]);} else {/* Key exists, check type */if (checkType(c, o, OBJ_STRING))return;/* "append" is an argument, so always an sds */append = c->argv[2];totlen = stringObjectLen(o) + sdslen(append->ptr);if (checkStringLength(c, totlen) != C_OK)return;/* Append the value */// 这里在追加值的时候 会把新生成的 str 转为 raw 编码o = dbUnshareStringValue(c->db, c->argv[1], o);o->ptr = sdscatlen(o->ptr, append->ptr, sdslen(append->ptr));totlen = sdslen(o->ptr);}signalModifiedKey(c->db, c->argv[1]);notifyKeyspaceEvent(NOTIFY_STRING, "append", c->argv[1], c->db->id);server.dirty++;addReplyLongLong(c, totlen);
}robj *dbUnshareStringValue(redisDb *db, robj *key, robj *o) {serverAssert(o->type == OBJ_STRING);// 引用计数不为1 或 之前不是 raw 编码if (o->refcount != 1 || o->encoding != OBJ_ENCODING_RAW) {robj *decoded = getDecodedObject(o);// 创建 raw 编码的对象o = createRawStringObject(decoded->ptr, sdslen(decoded->ptr));decrRefCount(decoded);dbOverwrite(db, key, o);}return o;
}

可以通过以下命令来验证

127.0.0.1:6379> set test aaa
OK
127.0.0.1:6379> object encoding test
"embstr"
127.0.0.1:6379> append test b
(integer) 4
127.0.0.1:6379> object encoding test
"raw"