PROJECT MOGFACE 与MySQL集成实战：构建智能问答知识库系统

PROJECT MOGFACE 与MySQL集成实战构建智能问答知识库系统每次看到同事为了找一个产品参数或者历史方案在成堆的文档和聊天记录里翻来翻去我就觉得这时间花得太冤枉了。企业里的知识就像散落的珍珠明明很有价值但就是串不起来用的时候找不到。最近我们团队用PROJECT MOGFACE和MySQL搭了一套智能问答系统算是把这个问题给解决了。简单来说就是把公司所有的文档、手册、会议纪要都“喂”给系统它不仅能理解你问的问题还能从海量资料里精准找出相关的内容最后生成一个清晰、完整的答案。整个过程从数据准备到最终回答都跑在我们自己的服务器上数据安全也有保障。这篇文章我就来分享一下我们是怎么做的把整个搭建过程掰开揉碎了讲清楚。如果你也想给自己团队弄一个“永不疲倦的知识库管家”那跟着下面的步骤走应该能省不少事。1. 系统要解决什么问题先想清楚场景在动手敲代码之前我们得先想明白这个系统到底要用在哪儿。不然很容易做成一个“看起来很美”但没人用的玩具。对我们来说核心就三个场景内部知识查询新员工问“公司的报销流程是什么”系统能直接给出最新的财务制度文档摘要和关键步骤。技术支持助手客服人员遇到客户提问“产品A的某个功能怎么设置”系统能快速定位到对应的产品手册章节和故障排查指南。项目经验沉淀项目经理想参考“类似电商大促的项目风险管理方案”系统能从历史项目复盘报告中找出相关的经验和教训。这些场景背后其实都是同一个需求把非结构化的文本数据文档变成结构化的、可被智能检索的知识。传统的数据库擅长处理“张三的年龄是25”这类规整数据但对“一篇关于项目风险管理的报告”却无能为力。这就需要用到向量数据库和语义检索的技术了。2. 系统架构长什么样一张图看明白整个系统的运转可以分成三个核心阶段我画了个简单的示意图帮你理解[用户提问] ↓ [语义检索模块] → 查询MySQL向量库 → 找到最相关的N个文本片段 ↓ [PROJECT MOGFACE] → 接收检索结果 → 分析、总结、润色 → 生成最终答案 ↓ [答案输出] → 附带参考来源第一阶段知识入库与向量化这是打基础的阶段。我们把散落的Word、PDF、TXT文档通过文本解析工具提取出纯文本。然后使用一个嵌入模型Embedding Model把这些文本转换成“向量”——你可以理解为一串能代表文本含义的数字指纹。最后把这些“文本指纹”和对应的原始文本一起存到MySQL数据库里。这里MySQL不仅存原始文本更重要的是存了向量数据。第二阶段理解问题与检索当用户提出一个问题时系统用同样的嵌入模型把这个问题也转换成一个“问题指纹”。接着在MySQL的向量库里快速计算这个问题指纹和所有“文本指纹”之间的相似度比如用余弦相似度找出最匹配的几个文本片段。这一步就是常说的“语义检索”它不像传统搜索那样只匹配关键词而是能理解含义。第三阶段组织答案与生成检索出来的文本片段可能来自不同文档比较零散。这时候PROJECT MOGFACE就上场了。我们把用户的原问题和检索到的相关文本片段一起交给它。它的任务不是凭空创造而是扮演一个“信息整合专家”的角色根据这些材料组织语言生成一个通顺、准确、完整的答案并且可以注明答案参考了哪些源文件。3. 基础环境搭建让MySQL和PROJECT MOGFACE准备好理论说完了咱们开始动手。首先得把“舞台”搭好。3.1 MySQL安装与配置MySQL是整个系统的“记忆仓库”。安装其实很简单以Ubuntu系统为例# 更新软件包列表 sudo apt update # 安装MySQL服务器 sudo apt install mysql-server -y # 安装完成后运行安全配置脚本 sudo mysql_secure_installation运行安全脚本时它会提示你设置root密码、移除匿名用户、禁止root远程登录等建议都按需配置好尤其是生产环境。安装好后我们需要创建一个专门的数据库和用户来服务我们的知识库系统。# 登录MySQL这里假设你用root密码登录 sudo mysql -u root -p # 创建数据库 CREATE DATABASE smart_knowledge_base CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; # 创建专用用户并授予权限 CREATE USER kb_adminlocalhost IDENTIFIED BY 你的强密码; GRANT ALL PRIVILEGES ON smart_knowledge_base.* TO kb_adminlocalhost; FLUSH PRIVILEGES; # 退出 EXIT;接下来是关键一步让MySQL支持向量相似度计算。虽然MySQL本身不是专业的向量数据库但我们可以利用它的函数和索引来模拟。我们需要创建一个表来存储文本和它的向量。-- 再次登录这次用新建的用户 mysql -u kb_admin -p -- 使用我们创建的数据库 USE smart_knowledge_base; -- 创建知识片段表 CREATE TABLE knowledge_chunks ( id INT AUTO_INCREMENT PRIMARY KEY, source_file VARCHAR(255), -- 来源文件名 chunk_text TEXT, -- 文本片段内容 text_vector JSON, -- 存储向量数据JSON格式 created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ); -- 为了加速向量相似度查询我们可以为向量列添加一个索引 -- 注意这里使用了虚拟列和函数索引MySQL 8.0 ALTER TABLE knowledge_chunks ADD COLUMN vector_norm FLOAT GENERATED ALWAYS AS ( JSON_EXTRACT(text_vector, $[0]) * JSON_EXTRACT(text_vector, $[0]) JSON_EXTRACT(text_vector, $[1]) * JSON_EXTRACT(text_vector, $[1]) -- ... 这里需要根据你的向量维度展开实际中建议用程序计算 JSON_EXTRACT(text_vector, $[n]) * JSON_EXTRACT(text_vector, $[n]) ) STORED; CREATE INDEX idx_vector_norm ON knowledge_chunks(vector_norm);说明上面用虚拟列和JSON_EXTRACT是一种简化演示。在实际生产环境中对于高维向量更常见的做法是将向量序列化成BLOB存储并使用专门的向量计算函数或插件如MySQL 8.0的L2_Distance配合MEMBER OF来优化。但对于入门和中等规模数据上述思路可以工作。3.2 PROJECT MOGFACE服务部署PROJECT MOGFACE作为生成答案的“大脑”我们需要把它跑起来。假设你已经下载了其Docker镜像或源码。# 假设使用Docker部署请根据官方文档调整镜像名和端口 docker pull your_mogface_image:latest docker run -d --name mogface_service \ -p 8000:8000 \ -v /path/to/your/models:/app/models \ your_mogface_image:latest # 检查服务是否运行 curl http://localhost:8000/health部署成功后你会得到一个API端点比如http://你的服务器IP:8000/v1/chat/completions后续我们的程序就通过这个接口和MOGFACE对话。4. 核心模块实现让系统跑起来环境好了我们来写核心代码。我会用Python来演示因为它生态丰富写起来快。4.1 知识入库管道把文档变成向量这个脚本负责读取文档切分文本调用模型生成向量然后存入MySQL。# knowledge_ingestion.py import os import json import mysql.connector from typing import List import PyPDF2 # 用于PDF需要安装 pypdf2 from docx import Document # 用于Word需要安装 python-docx from sentence_transformers import SentenceTransformer # 用于生成向量需要安装 sentence-transformers # 配置 MODEL_NAME all-MiniLM-L6-v2 # 一个轻量且效果不错的句子向量模型 DB_CONFIG { host: localhost, user: kb_admin, password: 你的密码, database: smart_knowledge_base } # 1. 加载嵌入模型 print(加载嵌入模型...) embedder SentenceTransformer(MODEL_NAME) # 2. 连接数据库 conn mysql.connector.connect(**DB_CONFIG) cursor conn.cursor() def extract_text_from_file(file_path: str) - str: 从不同格式文件中提取文本 ext os.path.splitext(file_path)[1].lower() text try: if ext .pdf: with open(file_path, rb) as f: reader PyPDF2.PdfReader(f) for page in reader.pages: text page.extract_text() \n elif ext .docx: doc Document(file_path) for para in doc.paragraphs: text para.text \n elif ext .txt: with open(file_path, r, encodingutf-8) as f: text f.read() else: print(f暂不支持的文件格式: {ext}) except Exception as e: print(f读取文件 {file_path} 时出错: {e}) return text def split_into_chunks(text: str, chunk_size: int 500, overlap: int 50) - List[str]: 将长文本按固定大小切分保留重叠部分保证上下文连贯 words text.split() chunks [] for i in range(0, len(words), chunk_size - overlap): chunk .join(words[i:i chunk_size]) chunks.append(chunk) if i chunk_size len(words): break return chunks def process_document(file_path: str): 处理单个文档提取、切分、向量化、入库 print(f处理文档: {file_path}) raw_text extract_text_from_file(file_path) if not raw_text: return text_chunks split_into_chunks(raw_text) for chunk in text_chunks: # 生成向量 (这里得到的是numpy数组需要转成list) vector embedder.encode(chunk).tolist() # 将向量转换为JSON字符串存入MySQL vector_json json.dumps(vector) # 插入数据库 sql INSERT INTO knowledge_chunks (source_file, chunk_text, text_vector) VALUES (%s, %s, %s) val (os.path.basename(file_path), chunk, vector_json) cursor.execute(sql, val) conn.commit() print(f 已入库 {len(text_chunks)} 个文本片段。) # 主流程遍历文档目录 docs_directory ./企业文档 for filename in os.listdir(docs_directory): file_path os.path.join(docs_directory, filename) if os.path.isfile(file_path): process_document(file_path) cursor.close() conn.close() print(知识库数据入库完成)4.2 智能检索与问答引擎这是系统的“心脏”它接收用户问题检索然后调用MOGFACE生成答案。# qa_engine.py import json import mysql.connector import requests from sentence_transformers import SentenceTransformer import numpy as np # 配置 MODEL_NAME all-MiniLM-L6-v2 DB_CONFIG { host: localhost, user: kb_admin, password: 你的密码, database: smart_knowledge_base } MOGFACE_API_URL http://localhost:8000/v1/chat/completions # 加载模型连接数据库 embedder SentenceTransformer(MODEL_NAME) db_conn mysql.connector.connect(**DB_CONFIG) def retrieve_relevant_chunks(question: str, top_k: int 5): 检索最相关的文本片段 # 将问题转换为向量 question_vector embedder.encode(question).tolist() # 这里是一个简化的相似度计算示例。 # 实际中对于大规模数据应在数据库层使用向量索引进行近似最近邻搜索。 cursor db_conn.cursor(dictionaryTrue) # 先取出所有片段仅用于演示数据量大时不可行 # 生产环境应使用向量数据库如Milvus, Pinecone或MySQL的向量搜索插件。 cursor.execute(SELECT id, chunk_text, text_vector FROM knowledge_chunks) all_chunks cursor.fetchall() similarities [] for chunk in all_chunks: chunk_vector json.loads(chunk[text_vector]) # 计算余弦相似度 sim np.dot(question_vector, chunk_vector) / (np.linalg.norm(question_vector) * np.linalg.norm(chunk_vector)) similarities.append((sim, chunk[chunk_text], chunk[id])) # 按相似度排序取前top_k个 similarities.sort(keylambda x: x[0], reverseTrue) top_chunks [chunk[1] for chunk in similarities[:top_k]] top_ids [chunk[2] for chunk in similarities[:top_k]] cursor.close() return top_chunks, top_ids def generate_answer_with_mogface(question: str, context_chunks: list): 调用PROJECT MOGFACE API生成答案 # 构建提示词Prompt告诉MOGFACE它的角色和任务 system_prompt 你是一个专业的企业知识库助手。请严格根据用户提供的参考资料来回答问题。如果资料中没有相关信息请直接说明“根据现有资料无法回答该问题”。答案应简洁、准确并可以注明参考了哪些资料片段。 # 将检索到的上下文拼接起来 context_text \n\n---\n\n.join([f参考资料片段 {i1}: {chunk} for i, chunk in enumerate(context_chunks)]) user_prompt f 用户问题{question} 请参考以下资料片段来回答问题 {context_text} 请生成最终答案 payload { model: mogface, # 根据实际模型名调整 messages: [ {role: system, content: system_prompt}, {role: user, content: user_prompt} ], temperature: 0.2, # 温度调低让答案更稳定、更基于事实 max_tokens: 1000 } try: response requests.post(MOGFACE_API_URL, jsonpayload, timeout30) response.raise_for_status() result response.json() answer result[choices][0][message][content] return answer.strip() except Exception as e: return f调用问答模型时出错: {e} def ask_question(question: str): 主问答函数 print(f\n用户提问: {question}) print(正在检索相关知识...) relevant_chunks, chunk_ids retrieve_relevant_chunks(question) if not relevant_chunks: print(知识库中未找到相关信息。) return print(f检索到 {len(relevant_chunks)} 个相关片段。) print(正在生成答案...) final_answer generate_answer_with_mogface(question, relevant_chunks) print(\n *50) print(智能助手回答) print(final_answer) print(*50) # 可以在这里将答案和关联的chunk_ids记录到日志或另一个表中用于后续分析和优化 # 示例对话 if __name__ __main__: while True: user_input input(\n请输入您的问题 (输入退出结束): ) if user_input.lower() in [退出, exit, quit]: break ask_question(user_input) db_conn.close()5. 让系统更健壮一些实战经验代码能跑起来只是第一步真要放到实际环境用还得考虑下面这些事。数据同步与更新知识不是一成不变的。我们写了个简单的定时任务脚本监控文档目录的变化新增、修改然后自动触发knowledge_ingestion.py里的处理逻辑更新或新增对应的向量到数据库。对于删除的文件也需要有逻辑去清理数据库中对应的记录。检索精度优化直接用向量相似度有时候会“跑偏”。我们做了两件事一是优化文本切分尝试按段落、按标题切分而不是固定字数让每个文本片段语义更完整二是引入混合检索除了向量检索也保留了对关键词如产品型号、特定编号的传统数据库LIKE查询两者结果取并集或加权融合效果提升很明显。回答质量控制PROJECT MOGFACE有时候会“放飞自我”基于检索到的片段胡编乱造。我们在提示词Prompt里加强了约束明确要求“严格根据参考资料回答”并让它在答案末尾附上“参考自文档《XXX》”之类的来源信息。同时在系统后台我们记录了每一个问题的检索片段和生成答案人工定期抽查把答得不好的案例挑出来分析是检索不准还是生成不好反过来优化前两步。性能与扩展当知识库文档超过万份时在MySQL里做全表扫描计算向量相似度会非常慢。这时就需要考虑迁移到专业的向量数据库如Milvus、Qdrant或者使用MySQL的向量索引插件。把向量检索这部分压力分离出去MySQL只负责存原始文本和元数据整个系统的响应速度会快上一个数量级。6. 总结回过头看这套基于PROJECT MOGFACE和MySQL的智能问答系统搭建起来并没有想象中那么复杂。核心思路就是“向量化存储语义化检索智能化生成”。MySQL在这里扮演了一个可靠、通用的存储角色虽然在高性能向量检索上需要一些技巧或外部组件辅助但对于很多中小型知识库场景来说它完全能够胜任。最大的体会是业务场景的梳理和高质量的知识灌入比技术选型更重要。你喂给系统的文档是否清晰、准确、结构良好直接决定了最终答案的质量。另外提示词工程Prompt Engineering对于控制大模型生成答案的稳定性和准确性效果是立竿见影的。这套方案就像一个乐高底座你可以在上面叠加很多东西。比如加入用户反馈机制让系统越用越聪明或者对接企业微信、钉钉做成一个聊天机器人。希望我们踩过的坑和总结的经验能帮你更快地搭建起属于自己团队的智能知识中枢。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。