山东大学软件学院项目实训（四）

本周工作内容RAG知识库接入评估闭环实现一、RAG知识库接入1.1 向量库初始化此前我已经完成了基于ChromaDB的向量库的搭建、阿里云embedding模型配置、雅思作文数据集的处理与导入在初始化阶段采用了懒加载模式在第一次使用向量库时初始化不会浪费资源。1.2 Top-K检索实现我了解到向量库检索增强的核心是根据用户作文召回最相关的K条知识我实现了Top-K检索功能查询时只返回最相似的K条其中top_k5检索流程将用户作文文本向量化在ChromaDB中计算余弦相似度返回相似度最高的Top-K条知识将检索结果格式化为上下文文本二、评估功能优化2.1 作文评估接口我优化了/api/assessments接口在原本调用大模型生成评估结果的基础上用知识库检索来增强评分。2.2 异步评估流程调用大模型RAG检索的评估任务耗时较长我采用了异步任务模式用户提交作文后立即返回assessmentID和预计完成时间后台异步执行评估流程前端通过轮询GET /api/assessments/{id}获取进度。2.3 RAG结果注入评分Agent在评估流程中我与多Agent协作功能的负责同学沟通确认了评估接口的输入输出格式确保RAG检索结果能够正确注入到多Agent调度器中。三、遇到的技术问题与解决方法3.1 API限流问题批量导入数据时DashScope Embedding API触发限流导致导入失败。解决方法将batch_size从50降低到10。3.2 数据ID生成策略最开始使用“类型标题”作为唯一ID导致不同作文因为标题相似被错误覆盖。解决方法在ID生成中加入内容的哈希值确保唯一性。四、个人感悟与反思4.1 RAG的本质本周开发中我深入理解了RAG的核心价值不是让大模型记住所有知识而是在回答问题时现查相关知识这种方式的好处是知识可以随时更新不需要重新训练模型而且可以引用数据集来源增加评估结果的可信度答案有据可依减少大模型幻觉。4.2 异步任务设计异步任务设计在提升用户体验方面具有必要性因为评估任务调用大模型API需要10-30秒如果采用同步方式用户需要长时间等待页面响应采用异步轮询的方式用户体验更好也避免了HTTP超时问题。4.3 数据质量RAG的效果很大程度上取决于知识库的质量本周导入的数据集包含真实雅思作文和评语为后续的评估准确性打下了基础如果使用低质量数据检索结果不相关评估效果会大打折扣。五、小结本周完成了RAG知识库的接入和评估接口的实现成功将“提交作文-RAG检索-大模型评估-返回结果”的完整链路打通。下周将集中开发评估历史记录存储和错误分类统计等功能。