使用C语言调用nlp_structbert_sentence-similarity_chinese-large模型推理库

使用C语言调用nlp_structbert_sentence-similarity_chinese-large模型推理库如果你是一名C/C开发者正在为一个嵌入式设备或者一个传统的桌面软件项目寻找一个高性能的中文句子相似度计算方案那么这篇文章就是为你准备的。你可能会想现在各种Python的AI框架用起来多方便为什么还要折腾C语言呢原因很简单控制权和性能。当你的应用运行在资源受限的环境或者对延迟有极致要求时Python的解释器开销和内存占用就可能成为瓶颈。将模型推理封装成C库让你能像调用strcmp一样直接、高效地使用AI能力。今天我们就来手把手实现这个目标将强大的nlp_structbert_sentence-similarity_chinese-large模型封装成一个纯C语言接口的动态链接库DLL/SO并集成到你的C项目中。整个过程会涉及到模型格式转换、C接口设计、内存管理这些核心环节。不用担心我会提供每一步的详细代码确保你能跟着做出来。1. 准备工作与环境搭建在开始写代码之前我们需要把“原材料”准备好。这包括模型文件、必要的转换工具和推理引擎。1.1 获取与转换模型首先你需要获得原始的nlp_structbert_sentence-similarity_chinese-large模型。这个模型通常以PyTorch的.pth或Hugging Face Transformers格式存在。C/C环境无法直接使用这些格式我们需要将其转换为通用的ONNX格式。安装转换环境建议在一个独立的Python虚拟环境中操作。# 创建并激活虚拟环境可选 python -m venv convert_env source convert_env/bin/activate # Linux/macOS # 或者 convert_env\Scripts\activate # Windows # 安装必要的库 pip install torch transformers onnx onnxruntime编写转换脚本创建一个Python脚本例如convert_to_onnx.py。import torch from transformers import AutoTokenizer, AutoModel import onnx from onnxruntime.tools import float16_converter # 加载模型和分词器 model_name IDEA-CCNL/Erlangshen-SimCSE-110M-Chinese # 示例请替换为实际模型路径或名称 # 假设你已将 nlp_structbert_sentence-similarity_chinese-large 下载到本地目录 ./model tokenizer AutoTokenizer.from_pretrained(./model) model AutoModel.from_pretrained(./model) model.eval() # 设置为评估模式 # 定义输入样例 dummy_input tokenizer([这是句子A, 这是句子B], paddingTrue, truncationTrue, max_length128, return_tensorspt) # 导出为ONNX格式 torch.onnx.export( model, (dummy_input[input_ids], dummy_input[attention_mask], dummy_input[token_type_ids]), structbert_sim.onnx, input_names[input_ids, attention_mask, token_type_ids], output_names[last_hidden_state, pooler_output], dynamic_axes{ input_ids: {0: batch_size, 1: sequence_length}, attention_mask: {0: batch_size, 1: sequence_length}, token_type_ids: {0: batch_size, 1: sequence_length}, last_hidden_state: {0: batch_size, 1: sequence_length}, pooler_output: {0: batch_size} }, opset_version14 ) print(模型已导出为 structbert_sim.onnx) # (可选) 转换为FP16以减小模型体积、提升推理速度 onnx_model onnx.load(structbert_sim.onnx) fp16_model float16_converter.convert_float_to_float16(onnx_model) onnx.save(fp16_model, structbert_sim_fp16.onnx) print(FP16模型已保存为 structbert_sim_fp16.onnx)注意你需要将model_name或from_pretrained的路径替换为你实际拥有的模型路径。运行这个脚本后你会得到structbert_sim.onnx文件这就是我们C库要加载的模型。1.2 选择推理引擎有了ONNX模型我们还需要一个能在C/C中运行它的“引擎”。这里有几个主流选择ONNX Runtime微软开源对ONNX格式支持最好跨平台性能优秀是我们本次教程的首选。TensorRTNVIDIA出品在NVIDIA GPU上性能极致但生态相对封闭。OpenVINO英特尔出品针对Intel CPU和GPU有深度优化。我们选择ONNX Runtime因为它最通用部署最简单。你需要从ONNX Runtime官网下载预编译的C语言开发包或者通过vcpkg、apt-get等包管理器安装。确保你获取了include头文件和lib/so/dylib库文件。2. 设计C语言接口这是核心环节。一个好的C接口应该简洁、明确且线程安全。我们设计一个名为simlib的库。头文件simlib.h#ifndef SIMLIB_H #define SIMLIB_H #ifdef __cplusplus extern C { #endif // 定义库的版本 #define SIMLIB_VERSION 1.0.0 // 句柄类型对外隐藏内部实现细节 typedef void* SimLibHandle; // 错误码定义 typedef enum { SIMLIB_OK 0, SIMLIB_ERROR_MODEL_LOAD, SIMLIB_ERROR_CREATE_SESSION, SIMLIB_ERROR_INVALID_INPUT, SIMLIB_ERROR_RUNTIME, SIMLIB_ERROR_NULL_POINTER, SIMLIB_ERROR_UNKNOWN } SimLibError; /** * brief 初始化模型库创建会话句柄 * param model_path ONNX模型文件路径 * param use_gpu 是否使用GPU进行推理 (0: CPU, 1: GPU) * param handle 输出参数返回创建的库句柄 * return 错误码 */ SimLibError simlib_init(const char* model_path, int use_gpu, SimLibHandle* handle); /** * brief 计算两个句子之间的余弦相似度 * param handle 库句柄 * param sentence_a 句子AUTF-8编码的C字符串 * param sentence_b 句子BUTF-8编码的C字符串 * param similarity 输出参数返回相似度得分 (范围通常为[-1,1]或[0,1]) * return 错误码 */ SimLibError simlib_calculate_similarity(SimLibHandle handle, const char* sentence_a, const char* sentence_b, float* similarity); /** * brief 批量计算句子对相似度 (提升效率) * param handle 库句柄 * param sentences_a 句子A数组 * param sentences_b 句子B数组 * param count 句子对数量 * param similarities 输出参数返回相似度得分数组需由调用者分配(count个float) * return 错误码 */ SimLibError simlib_calculate_similarity_batch(SimLibHandle handle, const char** sentences_a, const char** sentences_b, int count, float* similarities); /** * brief 释放库句柄及相关资源 * param handle 库句柄指针。调用后该指针会被设为NULL。 */ void simlib_release(SimLibHandle* handle); /** * brief 获取最后一次错误的详细描述信息 * return 错误信息字符串 (只读生命周期由库管理) */ const char* simlib_get_last_error(); #ifdef __cplusplus } #endif #endif // SIMLIB_H这个接口设计遵循了经典的C库模式init-use-release。使用不透明的void*句柄来封装内部状态保证了实现的灵活性和线程安全我们可以在内部加锁。3. 实现推理库接下来是实现部分simlib.c。这里会包含具体的ONNX Runtime调用和中文分词处理。为了简化我们使用一个简单的分词方法按字切分生产环境建议集成更精准的分词库如jieba的C接口。#include simlib.h #include onnxruntime_c_api.h #include string.h #include stdlib.h #include math.h #include ctype.h // 内部状态结构体对外不可见 typedef struct { OrtEnv* env; OrtSession* session; OrtSessionOptions* session_options; OrtMemoryInfo* memory_info; OrtAllocator* allocator; // 模型输入输出信息缓存 size_t num_input_nodes; char** input_node_names; ONNXTensorElementDataType* input_types; size_t num_output_nodes; char** output_node_names; // 用于错误信息 char last_error[512]; // 互斥锁指针 (实际项目中需要引入线程库如pthread) // void* mutex; } SimLibContext; // 内部工具函数UTF-8字符串按字粗略切分为Token ID // 注意这是一个极度简化的示例。真实StructBERT需要特定的Tokenizer。 // 此处仅为演示流程你需要替换为匹配原模型的分词逻辑。 static int* tokenize_sentence(const char* sentence, int max_len, int* actual_len) { // 简化将每个UTF-8字符的起始字节视为一个“字”。 // 这非常不准确仅用于演示。 *actual_len 0; int* ids (int*)malloc(max_len * sizeof(int)); if (!ids) return NULL; const unsigned char* p (const unsigned char*)sentence; while (*p *actual_len max_len) { // 这是一个非常粗糙的“按字”映射实际应用必须使用模型的vocab // 这里假设一个简单的映射常见汉字映射到某个范围其他字符映射到[UNK] int token_id 100; // 假设的[UNK] ID if (*p 0xE0 *p 0xEF) { // 粗略判断3字节UTF-8字符大部分中文 // 简单哈希成一个小的ID范围用于演示 token_id 2000 ((p[0] 16) | (p[1] 8) | p[2]) % 5000; p 3; } else if (*p 0xC0 *p 0xDF) { // 2字节字符 p 2; } else if (*p 0x80) { // ASCII token_id *p; p 1; } else { p 1; // 其他情况跳过 } ids[(*actual_len)] token_id; } // 填充[PAD] ID假设为0 for (int i *actual_len; i max_len; i) { ids[i] 0; // [PAD] } return ids; } // 内部工具函数计算余弦相似度 static float cosine_similarity(const float* vec_a, const float* vec_b, int dim) { float dot 0.0f, norm_a 0.0f, norm_b 0.0f; for (int i 0; i dim; i) { dot vec_a[i] * vec_b[i]; norm_a vec_a[i] * vec_a[i]; norm_b vec_b[i] * vec_b[i]; } if (norm_a 0 || norm_b 0) return 0.0f; return dot / (sqrtf(norm_a) * sqrtf(norm_b)); } SimLibError simlib_init(const char* model_path, int use_gpu, SimLibHandle* handle) { if (!model_path || !handle) { return SIMLIB_ERROR_NULL_POINTER; } SimLibContext* ctx (SimLibContext*)calloc(1, sizeof(SimLibContext)); if (!ctx) { return SIMLIB_ERROR_UNKNOWN; } ctx-last_error[0] \0; // 1. 初始化ONNX Runtime环境 OrtApi* ort_api OrtGetApiBase()-GetApi(ORT_API_VERSION); OrtStatus* status ort_api-CreateEnv(ORT_LOGGING_LEVEL_WARNING, SimLib, (ctx-env)); if (status) { snprintf(ctx-last_error, sizeof(ctx-last_error), Failed to create ORT environment.); ort_api-ReleaseStatus(status); free(ctx); return SIMLIB_ERROR_MODEL_LOAD; } // 2. 创建会话选项 status ort_api-CreateSessionOptions((ctx-session_options)); if (status) { /* 错误处理 */ } if (use_gpu) { // 配置GPU provider (需要包含相应头文件并链接库) // OrtSessionOptionsAppendExecutionProvider_CUDA(ctx-session_options, 0); // 此处省略GPU配置代码 } // 3. 创建会话加载模型 status ort_api-CreateSession(ctx-env, model_path, ctx-session_options, (ctx-session)); if (status) { snprintf(ctx-last_error, sizeof(ctx-last_error), Failed to load model from: %s, model_path); ort_api-ReleaseStatus(status); // 清理已分配资源... free(ctx); return SIMLIB_ERROR_CREATE_SESSION; } // 4. 获取模型输入输出信息 (此处简化实际需要遍历) // 通常StructBERT输入为input_ids, attention_mask, token_type_ids // 输出为last_hidden_state, pooler_output。我们使用pooler_output作为句子向量。 // 以下代码需要根据你的具体ONNX模型调整。 ctx-num_input_nodes 3; ctx-input_node_names (char**)malloc(ctx-num_input_nodes * sizeof(char*)); ctx-input_node_names[0] strdup(input_ids); ctx-input_node_names[1] strdup(attention_mask); ctx-input_node_names[2] strdup(token_type_ids); ctx-num_output_nodes 1; // 我们只关心pooler_output ctx-output_node_names (char**)malloc(ctx-num_output_nodes * sizeof(char*)); ctx-output_node_names[0] strdup(pooler_output); // 5. 创建内存信息 status ort_api-CreateCpuMemoryInfo(OrtArenaAllocator, OrtMemTypeDefault, (ctx-memory_info)); if (status) { /* 错误处理 */ } *handle (SimLibHandle)ctx; return SIMLIB_OK; } SimLibError simlib_calculate_similarity(SimLibHandle handle, const char* sentence_a, const char* sentence_b, float* similarity) { if (!handle || !sentence_a || !sentence_b || !similarity) { return SIMLIB_ERROR_NULL_POINTER; } SimLibContext* ctx (SimLibContext*)handle; const int max_seq_len 128; int len_a 0, len_b 0; // 1. 分词这里使用极度简化的版本 int* input_ids_a tokenize_sentence(sentence_a, max_seq_len, len_a); int* input_ids_b tokenize_sentence(sentence_b, max_seq_len, len_b); if (!input_ids_a || !input_ids_b) { free(input_ids_a); free(input_ids_b); return SIMLIB_ERROR_INVALID_INPUT; } // 2. 准备输入数据假设batch_size1 int64_t input_ids_shape[] {1, max_seq_len}; int64_t attention_mask_shape[] {1, max_seq_len}; int64_t token_type_ids_shape[] {1, max_seq_len}; // 创建attention_mask (非[PAD]的位置为1) int* attention_mask (int*)malloc(max_seq_len * sizeof(int)); int* token_type_ids (int*)calloc(max_seq_len, sizeof(int)); // 单句任务通常全0 for (int i 0; i max_seq_len; i) { attention_mask[i] (i len_a) ? 1 : 0; // 简化实际需分别处理两个句子 } // 3. 创建ORT Tensor OrtApi* ort_api OrtGetApiBase()-GetApi(ORT_API_VERSION); OrtValue* input_tensors[3]; OrtStatus* status; // 创建input_ids tensor status ort_api-CreateTensorWithDataAsOrtValue( ctx-memory_info, input_ids_a, max_seq_len * sizeof(int), input_ids_shape, 2, ONNX_TENSOR_ELEMENT_DATA_TYPE_INT32, input_tensors[0]); // ... 同样创建 attention_mask 和 token_type_ids 的tensor // 错误处理省略... // 4. 运行推理 OrtValue* output_tensor NULL; status ort_api-Run(ctx-session, NULL, ctx-input_node_names, (const OrtValue* const*)input_tensors, 3, ctx-output_node_names, 1, output_tensor); if (status) { // 错误处理... ort_api-ReleaseStatus(status); free(input_ids_a); free(input_ids_b); free(attention_mask); free(token_type_ids); // 释放ORT Tensors... return SIMLIB_ERROR_RUNTIME; } // 5. 获取输出数据 (pooler_output) float* output_data NULL; OrtTensorTypeAndShapeInfo* info NULL; status ort_api-GetTensorMutableData(output_tensor, (void**)output_data); // 获取输出形状假设为 [1, hidden_size] // 6. 计算相似度 (本例中我们只推理了一个句子实际需要分别推理两个句子后计算) // 简化流程这里假设output_data就是句子A的向量。 // 实际需要分别运行sentence_a和sentence_b得到vec_a和vec_b。 float vec_a[768]; // 假设hidden_size768 float vec_b[768]; // ... (这里应包含对sentence_b的推理代码与上述流程相同) // 假设我们已经获得了vec_a和vec_b *similarity cosine_similarity(vec_a, vec_b, 768); // 7. 清理资源 free(input_ids_a); free(input_ids_b); free(attention_mask); free(token_type_ids); ort_api-ReleaseValue(output_tensor); // 释放input_tensors... return SIMLIB_OK; } // simlib_calculate_similarity_batch 和 simlib_release 的实现略 // 它们会复用上述逻辑但需要更复杂的内存和循环管理。 void simlib_release(SimLibHandle* handle) { if (handle *handle) { SimLibContext* ctx (SimLibContext*)(*handle); OrtApi* ort_api OrtGetApiBase()-GetApi(ORT_API_VERSION); // 按创建顺序的逆序释放ORT对象 if (ctx-allocator) ort_api-ReleaseAllocator(ctx-allocator); if (ctx-memory_info) ort_api-ReleaseMemoryInfo(ctx-memory_info); // 释放 input_node_names, output_node_names 字符串数组 if (ctx-session) ort_api-ReleaseSession(ctx-session); if (ctx-session_options) ort_api-ReleaseSessionOptions(ctx-session_options); if (ctx-env) ort_api-ReleaseEnv(ctx-env); free(ctx); *handle NULL; } } const char* simlib_get_last_error() { // 需要一个全局或线程局部的错误上下文。这里简化处理。 // 实际项目中错误信息应绑定到句柄或使用线程局部存储。 return Error information not implemented in this example.; }重要说明上面的tokenize_sentence函数是一个极度简化且不正确的演示。要真正运行nlp_structbert_sentence-similarity_chinese-large模型你必须集成其原生的Tokenizer例如将Hugging Face的tokenizers库的C接口集成进来或者将分词逻辑用C重写。这是本方案中最复杂的一步但也是性能提升的关键。4. 编译与使用示例4.1 编译动态库假设你的项目结构如下your_project/ ├── src/ │ ├── simlib.h │ ├── simlib.c │ └── tokenizer.c (真正的分词器实现) ├── lib/ (存放onnxruntime库) ├── include/ (存放onnxruntime头文件) └── build/使用gcc编译Linux示例gcc -fPIC -shared -o libsimlib.so src/simlib.c src/tokenizer.c \ -I./include -I./src \ -L./lib -lonnxruntime \ -lpthread -lm -O2Windows下可以使用MSVC或MinGW生成simlib.dll。4.2 C语言调用示例创建一个测试程序test.c#include stdio.h #include stdlib.h #include simlib.h int main() { SimLibHandle handle NULL; SimLibError err; float score 0.0f; printf(Initializing model library...\n); err simlib_init(./models/structbert_sim_fp16.onnx, 0, handle); // 使用CPU if (err ! SIMLIB_OK) { fprintf(stderr, Init failed: %s\n, simlib_get_last_error()); return 1; } const char* sent1 今天天气真好; const char* sent2 今天阳光明媚; printf(Calculating similarity between:\n A: %s\n B: %s\n, sent1, sent2); err simlib_calculate_similarity(handle, sent1, sent2, score); if (err ! SIMLIB_OK) { fprintf(stderr, Calculation failed: %s\n, simlib_get_last_error()); } else { printf(Similarity score: %.4f\n, score); } // 测试批量接口 const char* batch_a[] {我喜欢编程, 深度学习很有趣}; const char* batch_b[] {我热爱写代码, 机器学习很有用}; float batch_scores[2]; err simlib_calculate_similarity_batch(handle, batch_a, batch_b, 2, batch_scores); if (err SIMLIB_OK) { printf(\nBatch results:\n); for (int i 0; i 2; i) { printf( Pair %d: %.4f\n, i, batch_scores[i]); } } simlib_release(handle); printf(\nLibrary released. Done.\n); return 0; }编译并运行测试程序gcc -o test test.c -I./src -L. -lsimlib -lm export LD_LIBRARY_PATH.:$LD_LIBRARY_PATH # Linux 添加库路径 ./test5. 关键问题与进阶优化走完上面的流程一个基本的C调用库就成型了。但在实际生产环境中你还需要考虑以下几个关键点分词器集成这是最大的挑战。你需要将模型对应的Tokenizer通常是基于WordPiece或BPE用C语言实现或者封装一个轻量级的C接口来调用现有的分词库如jieba的C接口。这一步直接决定了功能的正确性。内存管理C语言没有垃圾回收。必须确保所有malloc的内存都有对应的free所有ORT对象都被正确释放。simlib_release函数的设计至关重要。线程安全如果多个线程会同时调用你的库需要在SimLibContext内部添加互斥锁如pthread_mutex_t在simlib_calculate_similarity等函数中加锁或者为每个线程创建独立的会话句柄。性能优化批处理simlib_calculate_similarity_batch接口能极大提升吞吐量因为一次推理多个句子对分摊了框架开销。模型优化使用ONNX Runtime的图优化、算子融合以及我们之前提到的FP16量化都能提升速度。缓存句柄避免频繁初始化和释放库在应用生命周期内复用同一个句柄。错误处理目前的错误处理比较简陋。一个健壮的库应该提供更详细的错误码和错误信息帮助开发者快速定位问题。6. 总结整个过程下来感觉像是给一个强大的AI模型“穿上”了一件C语言的外衣。从Python的灵活环境到C的严谨内存管理虽然步骤多了些但换来的则是极致的性能和可控性。对于嵌入式Linux设备、高性能服务器或者需要与遗留C/C系统深度集成的场景这条路是值得的。核心的难点和重点其实就两个一是模型转换与引擎集成选择ONNX Runtime让这一步变得相对标准二是分词器的移植这需要你对模型的前处理逻辑有清晰的理解是工作量最大的一块。代码里我故意留了一些简化部分比如那个玩具分词函数就是为了提醒你这里需要替换成真正的逻辑。你可以先基于这个框架跑通流程然后用一个简单模型测试最后再攻克真实模型的分词器。希望这个详细的指南能帮你顺利地把AI能力带入你的C语言世界。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。