Linux下C/C++ redis协议(RESP)解析

Redis是一个开源的内存键值数据存储，最常用作主数据库、缓存、消息代理和队列。Redis提供了亚毫秒的响应时间，在游戏、金融科技、广告技术、社交媒体、医疗保健和物联网等行业实现了快速而强大的实时应用。

Redis连续五年成为开发人员最喜爱的数据库。开发人员喜欢Redis，因为它的易用性、性能和可扩展性。Redis客户端可用于各种流行的现代编程语言。再加上性能优势，Redis成为缓存、会话管理、游戏、欺诈检测、排行榜、实时分析、地理空间索引、拼车、社交媒体和流媒体应用程序最受欢迎的选择。

使用CLI探索Redis

外部程序使用TCP套接字和Redis特定的协议与Redis进行通信。该协议在Redis客户端库中实现，用于不同的编程语言。然而，为了简化Redis的黑客攻击，Redis提供了一个命令行实用程序，可以用来向Redis发送命令。这个程序叫做redis-cli。

这里我们先看看redis服务器是否开启。
要检查Redis是否正常工作，首先要做的是使用reds-cli发送一个PING命令：

运行reds-cli，后跟一个命令名及其参数，将此命令发送到本地主机6379端口上运行的redis实例。可以更改reds-cli使用的主机和端口，只需尝试–help选项即可检查使用情况信息。

另一种运行redis-cli的方法是不带参数：程序将以交互模式启动。您可以键入不同的命令并查看它们的答复。

保护好你的Redis

默认情况下，Redis绑定到所有接口，并且根本没有身份验证。如果你在一个非常可控的环境中使用Redis，与外部互联网分离，通常与攻击者分离，那没关系。

然而，如果一个未经保护的Redis暴露在互联网上，这将是一个巨大的安全问题。如果您不能100%确定您的环境是否正确安全，请检查以下步骤以使Redis更安全，这些步骤是为了提高安全性而登记的。

1.确保Redis用于监听连接的端口（默认情况下为6379，如果您在集群模式下运行Redis，则为16379，Sentinel为26379）已防火墙，因此无法从外部联系Redis。2.使用设置了bind指令的配置文件，以确保Redis只侦听您正在使用的网络接口。例如，如果您只是从同一台计算机本地访问Redis，则仅使用环回接口（127.0.0.1），依此类推。3.使用requirepass选项可以添加额外的安全层，以便客户端需要使用AUTH命令进行身份验证。4.如果您的环境需要加密，请使用spiped或其他SSL隧道软件来加密Redis服务器和Redis客户端之间的流量。

请注意，在没有任何安全性的情况下暴露在互联网上的Redis实例很容易被利用，所以请确保您理解以上内容，并至少应用一个防火墙层。防火墙就位后，尝试从外部主机连接reds-cli，以证明该实例实际上是不可访问的。

从应用程序（hiRedis）中使用Redis

当然，仅仅从命令行界面使用Redis是不够的，因为目标是从应用程序中使用它。为了做到这一点，您需要下载并安装适用于您的编程语言的Redis客户端库。

hiRedis使用方法一般顺序为先用 redisConnect 连接数据库，然后用 redisCommand 执行命令，执行完后用 freeReplyObject 来释放redisReply对象，最后用 redisFree 来释放整个连接。

...
int main(int argc, char **argv) 
{/* 连接到redis */...redisContext *c = redisConnect(hostname,port);struct timeval timeout = { 1, 500000 }; // 1.5 secondsif (isunix) {c = redisConnectUnixWithTimeout(hostname, timeout);} else {c = redisConnectWithTimeout(hostname, port, timeout);}if (c == NULL || c->err) {if (c) {printf("Connection error: %s\n", c->errstr);redisFree(c);} else {printf("Connection error: can't allocate redis context\n");}exit(1);}printf("Connected to redis\n");// redisFree(c);/* 2 - PING server */redisReply *reply;  /* 临时答复指针 */reply = redisCommand(c,"PING");printf("PING: %s\n", reply->str);/* 3 - Set a key */reply = redisCommand(c,"SET %s %s", "foo", "hello world");printf("SET %s %s \t| %s\n", "foo", "hello world", reply->str);freeReplyObject(reply);     // 释放回复对象/* 3 - Get a key */reply = redisCommand(c,"GET %s","foo");printf("GET %s \t\t| ","foo");printf("%s\n",reply->str);freeReplyObject(reply);/* Set a key using binary safe API */// reply = redisCommand(c,"SET %b %b", "bar", (size_t) 3, "hello", (size_t) 5);// printf("SET (binary API): %s\n", reply->str);// freeReplyObject(reply);redisFree(c);return 0;
}

运行结果：

我们也可以使用 nc 命令来替代 redis-cli 命令行：

什么是 RESP？

Redis 的客户端和服务端之间采取了一种独立名为 RESP(REdis Serialization Protocol) 的协议。通过 tcp流式套接字来进行通讯，为了 防止粘包 因此命令或数据均以 \r\n (CRLF) 结尾，然后根据解析规则解析相应信息。

RESP协议可以序列化多种类型，比如Simple Strings(简单字符串），Errors（错误类型），Integers（整形），Bulk Strings（批量串）和Arrays（数组），但此协议只适用于Redis客户端-服务端之间的通信，Redis集群中节点间通信使用的另一种协议。

RESP协议说明

RESP协议是在Redis 1.2中引入的，但它成为了与Redis 2.0中的Redis服务器通信的标准方式。这是所有Redis客户端都要遵循的协议，我们甚至可以基于此协议，开发实现自己的Redis客户端。

RESP在Redis中用作请求-响应协议的方式如下：

1.客户端将命令作为Bulk Strings的RESP数组发送到Redis服务器。
2.服务器根据命令实现回复一种RESP类型。
3.在RESP中，某些数据的类型取决于第一个字节：+代表简单字符串（Simple Strings）比如OK，PONG（对应客户端的PING命令）-代表错误类型（Errors）:代表整型（Integers）$代表多行字符串（Bulk Strings）*代表数组（Arrays）
此外，RESP能够使用稍后指定的Bulk Strings或Array的特殊变体来表示Null值。
在RESP中，协议的不同部分始终以“\r\n”（CRLF）结束。

RESP抓包验证

我们知道，Redis客户端与server端通信，本身就是基于tcp的一个Request/Response模式。我们不妨用网络抓包工具，拦截客户端与server端传输的数据、一探究竟。抓包使用tcpdump命令，具体参数这里就不多说了，使用的命令是：

tcpdump host 127.0.0.1 and port 6379 -i lo -w redis-packet-test.cap

抓取的结果保存在redis-packet-test.cap，分析工具使用Wireshark，在分析之前，先说下客户端与服务端交互的命令:

1.info，返回redis服务端的相关信息
2.set abc 111，服务端响应OK
3.get abc，返回111
4.lpush abclist 1 2 3，返回 9
5.ee，这是个错误命令，主要看下服务端返回的错误数据格式
接下来我们结合数据包分析下：

redis-cli:

TCP三次握手建立连接的

PSH是发送数据，ACK是响应.

首先发送的命令是info，先看右边部分，可以看到一开始是*1：表示长度为1的数组，后边的··对应左边是0d 0a，其实就是\r\n的16进制表示形式，然后后边$4：代表长度为4的Bulk Strings，也就是info，后边紧跟着info。
info命令返回数据包：$1924：长度为1924的Bulk Strings，后边便是服务器相关信息

set abc 111命令：*3：长度为3的数组，后边是数组里的3个元素：$3··set（长度为3的Bulk Strings）、$3··xfh、$3··111
返回数据：+OK（代表简单字符串‘OK’）简单字符串一般是服务器状态相关，比如’OK’、‘PONG’等；而Bulk Strings可以包含任何内容（比如换行符、控制符）

命令lpush abclist 1 2 3：看到这相信大家都已经明白了，*5代表长度为5的数组，后边紧跟着5个Bulk Strings lpush、xfhlist、1、2、3，而且每个元素的前边都有长度，分别是$5、$7、$1、$1、$1
返回：:9（表示整形数据9）

命令ff，这是个错误命令，redis中没有这个命令，应该返回语法错误

返回：发现前缀是-，对应RESP协议中的错误类型，后边紧跟着ERR unknown command ‘ff’

Linux下C/C++ RESP协议解析

...
int query_parser(const u_char* pkt_data, unsigned int data_len, char **query)
{
...
}
int resp_parser(const u_char* pkt_data, unsigned int data_len, char **resp)
{
...
}
...
void packetHandle(u_char* arg, const struct pcap_pkthdr* header, const u_char* pkt_data)
{
...if ( !pkt_data ){printf ("Didn't grab packet!/n");exit (1);}if (header->caplen < header->len) return;pehdr = (struct ether_header*)pkt_data;pkt_data += *linkhdrlen;piphdr = (struct ip*)pkt_data;pkt_data += IP_HL(piphdr);data_len = ntohs(piphdr->ip_len) - IP_HL(piphdr);switch(piphdr->ip_p){case IPPROTO_TCP:ptcphdr = (struct tcphdr*)pkt_data;data_len = data_len - TCP_OFF(ptcphdr);pkt_data += TCP_OFF(ptcphdr);strcpy(sip, inet_ntoa(piphdr->ip_src));strcpy(dip, inet_ntoa(piphdr->ip_dst));sport = ntohs(ptcphdr->source);dport = ntohs(ptcphdr->dest);break;default:data_len = 0;pkt_data = NULL;break;}if (data_len == 0 || pkt_data == NULL ) return;...signal(SIGINT, bailout);signal(SIGTERM, bailout);signal(SIGQUIT, bailout);
}   ...
int main(int argc, char **argv)
{
...while ((i = getopt(argc, argv, "hi:p:")) != -1) {switch(i){case 'h':Usage();return -1;break;case 'i':option.device = optarg;break;case 'p':option.port = atoi(optarg);break;default:break;}}sprintf(option.bufstr, "port %d", option.port);char *d = getenv("jdebug");if ( d != NULL &&  !strcmp(d, "true")) debug = 1;dbg("debug mode\n");if((pHandle = init_pcap_t(option.device, option.bufstr))){sniff_loop(pHandle, (pcap_handler)packetHandle);}    
...}

运行结果：

If you need the complete source code, please add the WeChat number (c17865354792)

总结

Redis 基于 RESP （Redis Serialization Protocal）协议来完成客户端和服务端通讯的。RESP 本质是一种文本协议，实现简单、易于解析。底层采用的是TCP的连接方式，通过tcp进行数据传输，然后根据解析规则解析相应信息。

Welcome to follow WeChat official account【程序猿编码】
参考：https://redis.io/docs/