基于Go + gin+gorm+ rag+千问大模型 + pgvector 构建市场监管智能问答智能体

基于Go 千问大模型 pgvector构建市场监管智能问答智能体一、项目背景随着放管服改革的深入推进市场监管领域政策法规不断更新企业和公众对政策咨询的需求日益增长。传统的政策咨询模式存在响应慢、效率低、准确性差等问题已无法满足新时代市场监管的需求。本文基于Go语言、千问大模型、pgvector向量数据库和RAG技术构建了一套完整的市场监管智能问答智能体系统实现法规智能解析、执法文书自动生成、知识库管理等核心功能。二、技术架构2.1 技术栈技术组件选型说明后端框架Go Gin高性能Web框架支持SSE流式输出ORM框架GORMGo语言最流行的ORM库数据库PostgreSQL pgvector关系数据库 向量检索扩展大模型千问大模型(Qwen)阿里云通义千问支持流式调用前端框架Vue 3 Element Plus现代化前端框架良好的用户体验部署容器Docker Docker Compose一键部署环境隔离2.2 系统架构图┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ 前端Vue │────▶│ Gin服务 │────▶│ PostgreSQL│ │ ElementUI │◀────│ (SSE流式) │◀────│ pgvector │ └─────────────┘ └─────────────┘ └─────────────┘ │ ▼ ┌─────────────┐ │ 千问大模型 │ │ (Qwen API) │ └─────────────┘三、核心功能实现3.1 数据库设计知识库主表CREATETABLEknowledge_base(id BIGSERIALPRIMARYKEY,nameTEXTNOTNULL,descriptionTEXT,categoryTEXT,statusINTEGERNOTNULLDEFAULT1,create_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP,update_timeTIMESTAMPDEFAULTCURRENT_TIMESTAMP);知识库分块表支持向量检索CREATETABLEknowledge_chunks(id BIGSERIALPRIMARYKEY,knowledge_doc_idBIGINTNOTNULL,chunk_idTEXTNOTNULL,contentTEXTNOTNULL,extTEXT,statusINTEGERNOTNULLDEFAULT1,created_atTIMESTAMPDEFAULTCURRENT_TIMESTAMP,updated_atTIMESTAMPDEFAULTCURRENT_TIMESTAMP,embedding vector(1536)-- 向量字段);3.2 RAG检索增强生成RAG的核心思想是在大模型生成答案前先从知识库中检索相关文档作为上下文输入给大模型从而提升回答的准确性和专业性。// RAG服务核心代码func(r*RAGService)AnswerStream(ctx context.Context,querystring,sendEventfunc(string))error{// 1. 向量检索相关文档docs,err:r.Retrieve(ctx,query,r.TopK)iferr!nil{returnerr}// 2. 构建System PromptsystemPrompt:buildQAPrompt(query,docs)// 3. 流式调用大模型returnCallLLMStream(systemPrompt,query,func(chunkstring){sendEvent(chunk)// 实时推送})}3.3 向量检索优化func(r*RAGService)Retrieve(ctx context.Context,querystring,topKint)([]models.LawDocument,error){// 生成查询向量带缓存emb,err:r.getOrGenerateEmbedding(query)iferr!nil{returnnil,err}vardocs[]models.LawDocument// 使用pgvector的余弦距离排序并过滤低相似度结果errr.DB.WithContext(ctx).Model(models.LawDocument{}).Select(id, title, content, source).Where(embedding ? ?,pgvector.NewVector(emb),r.SimilarityThreshold).Order(embedding ?,pgvector.NewVector(emb)).Limit(topK).Find(docs).Errorreturndocs,err}3.4 PDF知识库构建系统支持上传PDF文档自动解析、分块、向量化后存入知识库func(s*PDFUploadService)UploadPDFWithKnowledgeBase(ctx context.Context,knowledgeBaseIDuint,fileNamestring,fileData[]byte,)(int,error){// 1. 提取PDF文本text,err:ExtractTextFromPDF(fileData)// 2. 文本分块每块500字符重叠50字符chunks:ChunkText(text,500,50)// 3. 生成向量并批量入库for_,chunk:rangechunks{embedding,_:GenerateEmbedding(chunk.Content)chunkModel:models.KnowledgeChunk{Content:chunk.Content,Embedding:embedding,}chunkModelsappend(chunkModels,chunkModel)}// 4. 批量插入数据库returns.DB.CreateInBatches(chunkModels,100).Error}3.5 SSE流式输出为了提升用户体验系统采用SSEServer-Sent Events实现大模型答案的实时流式输出func(qc*QAController)Ask(c*gin.Context){// 设置SSE响应头c.Writer.Header().Set(Content-Type,text/event-stream)c.Writer.Header().Set(Cache-Control,no-cache)c.Writer.Header().Set(Connection,keep-alive)sendEvent:func(datastring){c.Writer.Write([]byte(fmt.Sprintf(data: %s\n\n,data)))c.Writer.Flush()}// 调用流式问答qc.RAG.AnswerStream(c.Request.Context(),req.Question,sendEvent)}四、项目部署4.1 Docker Compose一键部署version:3.8services:postgres:image:pgvector/pgvector:pg16environment:POSTGRES_USER:postgresPOSTGRES_PASSWORD:yourpasswordPOSTGRES_DB:market_intelports:-5432:5432volumes:-postgres_data:/var/lib/postgresql/dataapp:build:.ports:-8080:8080depends_on:-postgresenvironment:DB_HOST:postgresQIANWEN_API_KEY:${QIANWEN_API_KEY}4.2 启动命令# 设置环境变量exportQIANWEN_API_KEYsk-xxx# 一键启动docker-composeup-d# 查看日志docker-composelogs-fapp五、核心优化策略5.1 向量缓存机制对于相同或相似的问题缓存查询向量减少API调用varembeddingCachecache.New(5*time.Minute,10*time.Minute)func(r*RAGService)getOrGenerateEmbedding(textstring)([]float64,error){ifcached,found:embeddingCache.Get(text);found{returncached.([]float64),nil}emb,err:GenerateEmbedding(text)iferrnil{embeddingCache.Set(text,emb,cache.DefaultExpiration)}returnemb,err}5.2 相似度阈值过滤只返回余弦距离低于阈值的文档避免低质量结果影响回答质量Where(embedding ? ?,pgvector.NewVector(emb),0.8)5.3 PDF文本清理处理PDF提取中的编码问题确保文本有效的UTF-8funcsanitizeUTF8(sstring)string{if!utf8.ValidString(s){sstrings.ToValidUTF8(s,)}varresult strings.Builderfor_,r:ranges{ifrutf8.RuneError{continue}result.WriteRune(r)}returnresult.String()}六、性能测试结果测试场景响应时间说明向量检索50ms使用pgvector HNSW索引大模型首字2s千问大模型首Token延迟PDF上传(10MB)15s含解析、分块、向量化并发问答(10)3s平均响应时间七、项目亮点智能问答基于RAG技术打破传统关键词检索局限实现即问即答执法辅助自动识别违法行为生成《检查记录表》《责令整改通知书》等执法文书语音驱动支持语音输入实现一语即中的的监管新模式知识库持续优化通过用户反馈机制不断优化提示词和知识库质量流式输出SSE技术实现实时响应用户体验流畅八、总结本文基于Go语言和千问大模型结合RAG技术构建了一套完整的市场监管智能问答系统。系统实现了法规智能解析、执法文书自动生成、知识库管理、语音输入等核心功能有效提升了市场监管咨询服务的响应效率和准确度。未来将持续优化引入更多大模型适配如GPT、Claude增加多轮对话能力优化向量检索算法HNSW索引实现用户行为分析和个性化推荐作者简介资深后端开发工程师专注于Go语言、大模型应用和云原生技术。欢迎技术交流。