haproxy集成国密ssl功能[下]

上接[haproxy集成国密ssl功能上

4. 源码修改解析

  以下修改基本围绕haproxy的ssl_sock.c进行修改来展开的，为了将整个实现逻辑能够说明清楚，下述内容有部分可能就是直接摘抄haproxy的原有代码没有做任何修改，而大部分增加或者修改的内容则进行了特别的说明。

4.1 为bind指令的ssl子命令添加ntls选项解析能力

static struct bind_kw_list bind_kws = { "SSL", { }, {
......{ "force-tlsv10",          bind_parse_tls_method_options, 0 }, /* force TLSv10 */{ "force-tlsv11",          bind_parse_tls_method_options, 0 }, /* force TLSv11 */{ "force-tlsv12",          bind_parse_tls_method_options, 0 }, /* force TLSv12 */{ "force-tlsv13",          bind_parse_tls_method_options, 0 }, /* force TLSv13 */{ "force-ntlsv11",         bind_parse_tls_method_options, 0 }, /* force NTLSv11 */{ "generate-certificates", bind_parse_generate_certs,     0 }, /* enable the server certificates generation */{ "no-ca-names",           bind_parse_no_ca_names,        0 }, /* do not send ca names to clients (ca_file related) */{ "no-sslv3",              bind_parse_tls_method_options, 0 }, /* disable SSLv3 */{ "no-tlsv10",             bind_parse_tls_method_options, 0 }, /* disable TLSv10 */{ "no-tlsv11",             bind_parse_tls_method_options, 0 }, /* disable TLSv11 */{ "no-tlsv12",             bind_parse_tls_method_options, 0 }, /* disable TLSv12 */{ "no-ntlsv11",            bind_parse_tls_method_options, 0 }, /* disable TLSv13 */{ "no-tlsv13",             bind_parse_tls_method_options, 0 }, /* disable NTLSv11 */
......{ NULL, NULL, 0 },
}};

  这里添加了ntls、force-ntlsv11和no-ntlsv11三个指令选项。haproxy 通过INITCALL1(STG_REGISTER, bind_register_keywords, &bind_kws);将指令选项的解析回调函数注册进去，在指令解析的时候将回调对应的选项解析函数。

4.1.1 ntls指令选项解析

  按照上面的配置，ntls的配置选项是交由bind_parse_ntls来解析的，源码如下：

/* parse the "ntls" bind keyword. Returns a set of ERR_* flags possibly with an error in <err>. */
static int bind_parse_ntls(char **args, int cur_arg, struct proxy *px, struct bind_conf *conf, char **err)
{char enc[MAXPATHLEN], sign[MAXPATHLEN], tls[MAXPATHLEN];int cfgerr = 0;int couple_cert = 0;const char *gm_cert_enc, *gm_cert_sign, *tls_cert;gm_cert_enc = gm_cert_sign = tls_cert = NULL;char* err2 = NULL;SSL_CTX *old_ctx = NULL;if (!*args[cur_arg + 1]) {memprintf(err, "'%s' : missing ntls enc certificate location", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}else {gm_cert_enc = args[cur_arg + 1];}if (!*args[cur_arg + 2]) {memprintf(err, "'%s' : missing ntls sign certificate location", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}else {gm_cert_sign = args[cur_arg + 2];}if (*args[cur_arg + 3]) {if (strstr(args[cur_arg + 3], ".pem") != NULL || strstr(args[cur_arg + 3], ".crt") != NULL) {/* 第三个参数必须是以.pem或.crt为扩展名的文件，这样子才会启用tls 和 ntls双证书模式 */couple_cert  = 1;tls_cert     = args[cur_arg + 1];gm_cert_enc  = args[cur_arg + 2];gm_cert_sign = args[cur_arg + 3];}}if (tls_cert) {if ((*tls_cert != '/' ) && global_ssl.crt_base) {if ((strlen(global_ssl.crt_base) + 1 + strlen(tls_cert) + 1) > MAXPATHLEN) {memprintf(err, "'%s' : tls certificate path too long", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}snprintf(tls, sizeof(tls), "%s/%s",  global_ssl.crt_base, tls_cert);}else {strcpy(tls, tls_cert);}/* 加载tls证书 */cfgerr = ssl_sock_load_cert(tls, conf, &err2);if (cfgerr != 0) {memprintf(err, "load enc certificate %s failed, error:%s", tls, err2 ? err2: "" );if (err2) free(err2);return cfgerr;}}else {/* 如果没有tls证书，那么就没有调用ssl_sock_load_cert而创建一个新的ctx，在这里需要将conf->default_ctx置为空，让ssl_sock_load_ntls_cert新创建一个ctx,等ntls的enc和sign证书加载完成后，重新将conf->default_ctx设置回去。*/old_ctx = conf->default_ctx;conf->default_ctx = NULL;}if ((*gm_cert_enc != '/' ) && global_ssl.crt_base) {if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_enc) + 1) > MAXPATHLEN) {memprintf(err, "'%s' : enc certificate path too long", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}snprintf(enc, sizeof(enc), "%s/%s",  global_ssl.crt_base, gm_cert_enc);}else {strcpy(enc, gm_cert_enc);}/* 加载ntls_enc证书 */cfgerr = ssl_sock_load_ntls_cert(enc, conf, 0, &err2);if (cfgerr != 0) {memprintf(err, "load enc certificate %s failed, error:%s",enc, err2 ? err2 : "");if (err2) free(err2);return cfgerr;}if ((*gm_cert_sign != '/' ) && global_ssl.crt_base) {if ((strlen(global_ssl.crt_base) + 1 + strlen(gm_cert_sign) + 1) > MAXPATHLEN) {memprintf(err, "'%s' : sign certificate path too long", args[cur_arg]);return ERR_ALERT | ERR_FATAL;}snprintf(sign, sizeof(sign), "%s/%s",  global_ssl.crt_base, gm_cert_sign);}else {strcpy(sign, gm_cert_sign);}/* 加载ntls_sign证书 */cfgerr = ssl_sock_load_ntls_cert(sign, conf, 1, &err2);if (cfgerr != 0) {memprintf(err, "load sign certificate %s failed, error:%s", sign, err2 ? err2 : "" );if (err2) free(err2);return cfgerr;}// 设置启用国密TLCP协议conf->enable_ntls = 1;/* 重新将default_ctx改成之前的old_ctx */if (old_ctx) {conf->default_ctx = old_ctx;}if (tls_cert) return cfgerr | 0x30000000;         /* 指明消耗3个参数 */elsereturn cfgerr | 0x20000000;         /* 指明消耗2个参数 */
}

  以上代码就是从配置指令中读取加密证书和签名证书，ntls可以同时支持国际和国密证书的加载，如果是双证书的情况，那么需要解析三个参数，所以返回的时候我们需要告诉配置解析框架到底消耗了几个参数，这个通过复用返回的错误值的高4个bit来实现。由于原来的haproxy框架是不支持可变个数参数的，因此，在兼容原始功能逻辑的基础上，需要略微修改一下haproxy的配置解析框架的代码，在cfg_parse-listen.c的cfg_parse_listen函数中，进行如下修改：

int cfg_parse_listen(const char *file, int linenum, char **args, int kwm)
{
......cur_arg = 2;while (*(args[cur_arg])) {static int bind_dumped;struct bind_kw *kw;char *err;kw = bind_find_kw(args[cur_arg]);if (kw) {char *err = NULL;int code, skip = 0;if (!kw->parse) {ha_alert("parsing [%s:%d] : '%s %s' : '%s' option is not implemented in this version (check build options).\n",file, linenum, args[0], args[1], args[cur_arg]);cur_arg += 1 + kw->skip ;err_code |= ERR_ALERT | ERR_FATAL;goto out;}code = kw->parse(args, cur_arg, curproxy, bind_conf, &err);/* skip表示回调函数在配置选项解析过程中，消耗了几个配置参数 */skip = (code >> 28) & 0x0000000F;  /* 从返回值中过滤出错误代码 */ err_code |= code & 0x0FFFFFFF;/* 用来兼容原生逻辑，如果解析函数没有返回了跳过多少个参数，则用配置中的设置 */if (skip == 0) {skip = kw->skip;}if (code & 0x0FFFFFFF) {  /* 如果本次调用配置解析回调函数返回错误了, 那么下面进行错误处理 */if (err && *err) {indent_msg(&err, 2);if (((code & (ERR_WARN|ERR_ALERT)) == ERR_WARN))ha_warning("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);elseha_alert("parsing [%s:%d] : '%s %s' : %s\n", file, linenum, args[0], args[1], err);}elseha_alert("parsing [%s:%d] : '%s %s' : error encountered while processing '%s'.\n",file, linenum, args[0], args[1], args[cur_arg]);if (code & ERR_FATAL) {free(err);cur_arg += 1 + skip;goto out;}}free(err);cur_arg += 1 + skip;continue;}err = NULL;if (!bind_dumped) {bind_dump_kws(&err);indent_msg(&err, 4);bind_dumped = 1;}ha_alert("parsing [%s:%d] : '%s %s' unknown keyword '%s'.%s%s\n",file, linenum, args[0], args[1], args[cur_arg],err ? " Registered keywords :" : "", err ? err : "");free(err);err_code |= ERR_ALERT | ERR_FATAL;goto out;}goto out;
......
}

  函数bind_parse_ntls是通过ssl_sock_load_ntls_cert来将这两个证书加载进bind_conf->default_ctx(ssl配置上下文)，ssl_sock_load_ntls_cert代码如下：

#define FREE_CTX_RETURN(ctx, err)    		\if (ctx_new) {   					\SSL_CTX_free(ctx);  			\bind_conf->default_ctx = NULL; 	\}									\return (err)/* enc_sign = 0 表示加载加密证书  否则表示加载签名证书 */
static
int ssl_sock_load_ntls_cert(char