RAG系统的需求分析

这个是一个基于私有知识库的智能对话平台允许用户上传文档构建专属知识库并通过自然语言交互的方式查询和获取知识。它结合了大语言模型和向量检索技术让用户通过对话的形式与自己的知识库进行高效交互应用场景个人用户场景:学习助手学生可以上传课堂笔记、教材构建个人知识库研究工具实验室拟整理论文资料进行跨文献知识连接与发现创作辅助作家内容创作者管理素材获取灵感和参考企业用户企业知识管理整合公司制度、流程文档、技术文档等内部知识新员工培训加速新员工学习曲线快速掌握公司业务知识技术支持技术团队快速解锁产品文档、AP文档故障处理方案客服服务教师整理教学资料为学生提供专业个人辅导专业领域场景法律咨询律师整理法规判列文档辅助法律分析医疗参考医生整理医学文件、诊疗指南、临床辅助决策教育培训教师整理教学资料为学生提供个性化辅导这个项目解决了哪些痛点的从技术的角度来看专业的企业知识管理存在很多重点最明显的就是信息孤岛问题。各个部门的文档分散在不同的系统中有的在文件有的在共享文件夹还有的在各种云盘中。员工想要找一个资料得在好几个地方翻来翻去效率低。而我们这个系统可以解决这个问题它不仅支持各种各样的文档形式还用Apache Tika这个强大的文档解析库来提取文本内容更重要的是他引入了组织标签的概念让不同部门的文档可以有序管理保证权限隔离Query(SELECT u FROM User u WHERE u.orgTags LIKE %:orgTag%)大文件上传传统的上传方式经常出现网络不稳定就上传失败得重来。而我们这个项目使用了分片上传技术把大文件切成一小块一小块的上传public void uploadChunk(String fileMd5, int chunkIndex, long totalSize, String fileName, MultipartFile file, String orgTag, boolean isPublic, String userId) throws IOException { logger.info([uploadChunk] 开始处理分片上传请求 fileMd5: {}, chunkIndex: {}, totalSize: {}, fileName: {}, fileMd5, chunkIndex, totalSize, fileName); // 检查分片是否已上传 if (isChunkUploaded(fileMd5, chunkIndex)) { logger.info(分片已存在跳过上传 fileMd5: {}, chunkIndex: {}, fileMd5, chunkIndex); return; } // 上传分片到MinIO String chunkPath String.format(%s/chunk_%d, fileMd5, chunkIndex); minioClient.putObject(PutObjectArgs.builder() .bucket(bucketName) .object(chunkPath) .stream(file.getInputStream(), file.getSize(), -1) .build()); // 在Redis中标记分片已上传 markChunkUploaded(fileMd5, chunkIndex); }我们使用了redis的BitMap来记录哪些上分片已经上传即使网络中断也能从断点续传不用从头开始传统关键词检索的时候经常出现这种情况我们明明知道这个文档有过相关的内容但是又是搜索不出来。因为你用的词和文档里面的不一样。而这个项目我们采用了混合检索的方式把ES的全文检索和向量语义搜索结合起来这样即使我们使用的词不完全匹配系统也能理解我们的意图找到相关文档/** * 执行向量化操作 * param fileMd5 文件指纹 * param userId 上传用户ID * param orgTag 组织标签 * param isPublic 是否公开 */ public void vectorize(String fileMd5, String userId, String orgTag, boolean isPublic) { // 获取文件分块内容 ListTextChunk chunks fetchTextChunks(fileMd5); if (chunks null || chunks.isEmpty()) { return; } // 提取文本内容 ListString texts chunks.stream() .map(TextChunk::getContent) .toList(); // 调用外部模型生成向量 Listfloat[] vectors embeddingClient.embed(texts); // 构建 Elasticsearch 文档并存储 ListEsDocument esDocuments IntStream.range(0, chunks.size()) .mapToObj(i - new EsDocument( UUID.randomUUID().toString(), fileMd5, chunks.get(i).getChunkId(), chunks.get(i).getContent(), vectors.get(i), deepseek-embed, // 更新为 DeepSeek 的模型版本 userId, orgTag, isPublic )) .toList(); elasticsearchService.bulkIndex(esDocuments); // 批量存储到 Elasticsearch }public void processMessage(String userId, String userMessage, WebSocketSession session) { logger.info(开始处理消息用户ID: {}, 会话ID: {}, userId, session.getId()); try { // 1. 获取或创建会话 ID String conversationId getOrCreateConversationId(userId); logger.info(会话ID: {}, 用户ID: {}, conversationId, userId); // 为当前会话创建响应构建器 responseBuilders.put(session.getId(), new StringBuilder()); // 创建一个CompletableFuture来跟踪响应完成状态 CompletableFutureString responseFuture new CompletableFuture(); responseFutures.put(session.getId(), responseFuture); // 2. 获取对话历史 ListMapString, String history getConversationHistory(conversationId); logger.debug(获取到 {} 条历史对话, history.size()); // 3. 执行带权限过滤的混合搜索 ListSearchResult searchResults searchService.searchWithPermission(userMessage, userId, 5); logger.debug(搜索结果数量: {}, searchResults.size()); // 4. 构建上下文 String context buildContext(searchResults, session.getId()); // 5. 调用 DeepSeek API 并处理流式响应 logger.info(调用DeepSeek API生成回复); deepSeekClient.streamResponse(userMessage, context, history, chunk - { // 累积响应内容 StringBuilder responseBuilder responseBuilders.get(session.getId()); if (responseBuilder ! null) { responseBuilder.append(chunk); } sendResponseChunk(session, chunk); }, error - { // 处理错误并完成future handleError(session, error); // 发送响应完成通知错误情况 sendCompletionNotification(session); responseFuture.completeExceptionally(error); // 清理会话响应构建器 responseBuilders.remove(session.getId()); responseFutures.remove(session.getId()); });项目包含的业务模块用户管理模块文档上传与解析模块知识库检索模块聊天助手模块聊天记录模块文档管理与组织模块疑问解答Embedding它是一种将离散数据转换为低维向量的技术通过神经网络学习将高维数据映射到低维连续空间同时保留数据间的语义关系的信息技术解决维度灾难问题减少计算和存储成本使计算机能够理解文本语义相似文本在下载空间中相近知识语义相关计算、搜索推荐等应用功能BitMap是什么其是一种数据结构其基本的思想是用bit作为标记某个元素对应的值采用空间换时间的方法实现高效存储和查询核心特点:每个元素仅有一个bit特标示位相比于传统存储方式能极大节省内存空间适用于海量数据去重问题如上一行数据的排查典型应用:数据库索引如oracle的位图索引用户标签系统如存储10亿用户的ID文件上传状态记录如redis中的bitmap标记分片上传状态图像处理作为图像格式存在如果在高并发场景下发现服务器频繁Full GC随导致系统延迟飙升你会从哪方面排查在高并发场景下排查频繁Full GC导致延迟飙升我会从以下几个方向系统排查堆内存配置优化检查堆内存分配比例确保-Xms和-Xmx设置相同避免动态扩容优化新生代与老年代比例(-XX:NewRatio)通常2:3较合适调整Eden与Survivor区比例(-XX:SurvivorRatio)推荐6-8限制元空间大小防止Metaspace泄漏GC算法选择与调优从默认Parallel ScavengeSerial Old切换到G1垃圾收集器考虑使用JDK 11的ZGC暂停时间可控制在10ms以内禁用UseAdaptiveSizePolicy避免JVM自适应调整引发Full GC添加GC日志参数(-XX:PrintGCDetails)进行详细分析对象生命周期管理分析对象是否过早晋升到老年代检查大对象直接分配问题查找内存泄漏点特别是静态变量和缓存使用对象池技术减少对象创建系统资源监控监控CPU、内存、SWAP使用情况分析Full GC触发时系统资源变化使用jstat、jmap、jstack等工具分析JVM状态代码层面优化检查HashMap等集合类使用是否合理减少循环内对象创建预分配slice/map等集合容量避免对象逃逸到堆这个项目为什么用websocket而不用用 SSE双向通信能力WebSocket支持双向实时通信客户端↔服务端。用户可能需要实时发送中断指令、调整提问或触发新操作如“重新回答”“切换模型”而AI的流式响应需即时反馈。SSE仅支持服务端单向推送无法满足用户主动交互的需求。SSE仅支持服务端→客户端单向推送无法处理用户实时输入。连接稳定性与状态管理WebSocket长连接更稳定适合高频交互场景如对话中频繁发送/接收消息。连接状态可被程序主动管理如心跳检测、异常重连。SSE依赖HTTP长连接但网络波动易导致连接中断且重连机制较弱。无原生连接状态管理需额外实现复杂逻辑。协议效率与性能WebSocket基于 TCP 的二进制协议数据帧开销小仅2字节头部适合传输大量实时数据如长文本流。传输效率高延迟低尤其适合低延迟交互场景。SSE基于 HTTP需携带HTTP头部如Content-Type: text/event-stream数据量较大时效率较低。文本格式如data: {...}需额外解析性能略逊。流式响应的实时性WebSocket支持真正的逐块流式输出AI生成内容时立即推送无需等待完整响应。用户可实时看到内容生成过程体验接近ChatGPT。SSE虽然也能流式推送但依赖HTTP分块传输Transfer-Encoding: chunked在复杂网络环境下可能存在延迟或丢包。扩展性与协议灵活性WebSocket协议独立于HTTP可承载任意类型数据文本、二进制便于未来扩展如语音、视频交互。支持自定义子协议如chat、file-transfer适配不同业务场景。SSE仅支持文本格式扩展性有限难以支持复杂交互需求。为何不选SSE虽然SSE实现简单原生浏览器API支持且适合单向数据推送如股票行情、日志流但派聪明的核心场景是双向对话用户需实时提问、修改问题、中断回答。AI需即时响应并流式输出答案。 WebSocket的双向性、低延迟和稳定性完美匹配这一需求而SSE单向推送的特性无法满足交互式对话的完整流程。总结特性WebSocketSSE通信方向双向客户端↔服务端单向服务端→客户端协议效率高二进制协议低开销中HTTP头部开销大连接稳定性强长连接可主动管理弱依赖HTTP易断线实时性极高逐块推送延迟低较高依赖HTTP分块扩展性强支持任意数据类型有限仅文本在派聪明中WebSocket 是实现“实时对话流式响应”的最优解兼顾了交互性、性能和用户体验而SSE更适合单向数据广播场景。