RAG向量知识库搭建教程（零基础通用版）

什么是RAG知识库RAGRetrieval-Augmented Generation 检索增强生成简单来说把你的文档PDF、TXT、Word等切成小块每一块转换成一个384维的数字向量当你提问时问题也转成向量找到最相似的文档块返回给你核心优势✅语义理解搜会话切换能找到session switch✅模糊查询不需要记住精确关键词✅跨语言中文问题能找到英文文档反之亦然✅概念匹配理解相关概念之间的联系技术原理【离线构建阶段】 文档 → 提取文本 → 分块(500字符) → 向量编码(384维) → 存储到索引文件 【在线查询阶段】 用户问题 → 向量编码 → 计算相似度 → 返回Top3最相关文档相似度计算余弦相似度similarity (向量A · 向量B) / (||向量A|| × ||向量B||) 范围0.0 ~ 1.0越接近1越相似准备工作硬件要求最低配置CPU任意构建会慢一些内存8GB硬盘文档大小 × 3例如10GB文档需要30GB空间推荐配置CPU多核处理器内存16GBGPU可选加速构建但不是必须软件要求Python 3.8 或更高版本文本编辑器记事本、VSCode等目录结构示例我的知识库/ ├── 文档1/ │ ├── file1.pdf │ ├── file2.txt │ └── file3.docx ├── 文档2/ │ └── ... └── 构建脚本将放在这里支持的文档格式✅ PDF推荐✅ TXT✅ Word.docx⚠️ 扫描版PDF需要先OCR识别文字第一步整理文档1.1 检查文档格式PDF文档原生PDF可复制文字✅ 直接使用扫描版PDF图片❌ 需要先OCR识别检查方法用PDF阅读器打开尝试复制一段文字如果能复制说明是原生PDF如果不能复制需要OCR处理TXT文档确保是UTF-8编码用记事本打开 → 另存为 → 选择UTF-8编码1.2 OCR处理如果需要如果有扫描版PDF推荐工具Adobe Acrobat识别文本功能ABBYY FineReader在线工具https://www.ilovepdf.com/ocr-pdf第二步安装依赖2.1 安装Python包打开命令行Windows按WinR输入cmd运行pipinstallsentence-transformers numpy PyPDF2 python-docx说明sentence-transformers向量编码模型numpy数学计算库PyPDF2PDF文本提取python-docxWord文档提取2.2 验证安装python-cimport sentence_transformers; print(安装成功)如果显示安装成功说明依赖已就绪。2.3 模型自动下载第一次运行时会自动下载模型约120MB模型名称paraphrase-multilingual-MiniLM-L12-v2下载位置~/.cache/huggingface/只需下载一次以后所有项目都能用如果下载很慢# 使用国内镜像setHF_ENDPOINThttps://hf-mirror.com第三步构建索引3.1 创建构建脚本在你的知识库根目录创建文件build_rag.py#!/usr/bin/env python3通用RAG索引构建工具 - 支持PDF/TXT/DOCXimportpickleimportnumpyasnpfrompathlibimportPathfromsentence_transformersimportSentenceTransformer# 配置区域 ROOTPath(__file__).parent EXCLUDE_DIRS{构建脚本,__pycache__,.git}# 排除的目录CHUNK_SIZE500# 每块文本大小字符OVERLAP50# 重叠大小字符# print(*60)print(RAG索引构建工具)print(*60)# 加载模型print(\n[1/5] 加载向量编码模型...)modelSentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2,devicecpu)print(✓ 模型加载完成)# 文本提取函数defextract_text_from_pdf(pdf_path):从PDF提取文本try:fromPyPDF2importPdfReader readerPdfReader(pdf_path)textforpageinreader.pages:textpage.extract_text()\nreturntextexceptExceptionase:print(f ✗ PDF提取失败:{pdf_path.name}-{e})returndefextract_text_from_docx(docx_path):从Word文档提取文本try:fromdocximportDocument docDocument(docx_path)text\n.join([para.textforparaindoc.paragraphs])returntextexceptExceptionase:print(f ✗ Word提取失败:{docx_path.name}-{e})returndefextract_text_from_txt(txt_path):从TXT提取文本try:returntxt_path.read_text(encodingutf-8)exceptUnicodeDecodeError:try:returntxt_path.read_text(encodinggbk)exceptExceptionase:print(f ✗ TXT读取失败:{txt_path.name}-{e})return# 扫描文档print(\n[2/5] 扫描文档...)files[]forpatternin[*.pdf,*.PDF,*.txt,*.TXT,*.docx,*.DOCX]:forfileinROOT.rglob(pattern):ifany(exinfile.partsforexinEXCLUDE_DIRS):continueiffile.stat().st_size100:# 跳过太小的文件continuefiles.append(file)print(f✓ 找到{len(files)}个文档)iflen(files)0:print(✗ 错误没有找到文档请检查目录)exit(1)# 文本分块函数defchunk_text(text,chunk_size500,overlap50):将长文本切分成小块iflen(text)chunk_size:return[text]iftext.strip()else[]chunks[]start0whilestartlen(text):endmin(startchunk_size,len(text))chunktext[start:end].strip()ifchunk:chunks.append(chunk)ifendlen(text):breakstartend-overlapreturnchunks# 处理文件并分块print(\n[3/5] 提取文本并分块...)all_chunks[]all_sources[]fori,fileinenumerate(files,1):# 根据文件类型提取文本iffile.suffix.lower().pdf:textextract_text_from_pdf(file)eliffile.suffix.lower().docx:textextract_text_from_docx(file)else:# .txttextextract_text_from_txt(file)ifnottext.strip():continue# 分块chunkschunk_text(text,CHUNK_SIZE,OVERLAP)relative_pathstr(file.relative_to(ROOT))forchunkinchunks:all_chunks.append(chunk)all_sources.append(relative_path)ifi%500:print(f 进度:{i}/{len(files)}文件)print(f✓ 总共{len(all_chunks)}个文本块)# 生成向量print(\n[4/5] 生成向量这可能需要几分钟...)embeddingsmodel.encode(all_chunks,convert_to_tensorFalse,show_progress_barTrue,batch_size32)print(f✓ 向量维度:{embeddings.shape})# 保存索引print(\n[5/5] 保存索引文件...)index_data{embeddings:embeddings,chunks:all_chunks,sources:all_sources}output_fileROOT/rag_index.pklwithopen(output_file,wb)asf:pickle.dump(index_data,f)print(f✓ 索引已保存:{output_file})print(f✓ 文件大小:{output_file.stat().st_size/1024/1024:.1f}MB)print(\n*60)print(构建完成)print(*60)print(f文档数量:{len(files)})print(f文本块数:{len(all_chunks)})print(f索引文件: rag_index.pkl)print(\n下一步运行 python query_rag.py 测试查询)3.2 运行构建python build_rag.py预计时间100个文件2-5分钟1000个文件20-40分钟取决于CPU性能和文档大小输出文件rag_index.pkl索引文件包含所有向量和文本第四步测试查询4.1 创建查询脚本创建文件query_rag.py#!/usr/bin/env python3RAG查询脚本importsysimportpickleimportnumpyasnpfrompathlibimportPathfromsentence_transformersimportSentenceTransformer ROOTPath(__file__).parent# 加载模型print(加载模型...)modelSentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2,devicecpu)# 加载索引print(加载索引...)withopen(ROOT/rag_index.pkl,rb)asf:datapickle.load(f)print(f索引包含{len(data[chunks])}个文本块\n)defsearch(query,top_k3):检索最相关的文档# 问题向量化query_embmodel.encode([query],convert_to_tensorFalse)[0]# 计算相似度scoresnp.dot(data[embeddings],query_emb)/(np.linalg.norm(data[embeddings],axis1)*np.linalg.norm(query_emb))# 获取Top-Ktop_indicesnp.argsort(scores)[::-1][:top_k]# 输出结果print(*80)print(f查询{query})print(*80)fori,idxinenumerate(top_indices,1):print(f\n[{i}] 相似度:{scores[idx]:.3f})print(f来源:{data[sources][idx]})print(f内容:{data[chunks][idx][:400]})print(-*80)if__name____main__:iflen(sys.argv)2:queryinput(请输入查询: )else:querysys.argv[1]# 输出到文件避免编码问题sys.stdoutopen(ROOT/query_result.txt,w,encodingutf-8)search(query,top_k3)sys.stdout.close()print(结果已保存到 query_result.txt,filesys.__stdout__)4.2 测试查询python query_rag.py你的问题查看结果# Windowstypequery_result.txt# 或用记事本打开notepad query_result.txt相似度判断标准0.7 高相关结果可信0.5-0.7 中等相关需要人工判断0.5 低相关结果不可靠第五步配置AI使用5.1 创建AI使用指南创建文件AI_AGENT_GUIDE.md内容参考已提供的模板确保包含RAG检索调用方法结果展示格式文件链接规范相似度判断标准5.2 告诉AI如何使用在与AI对话时发送我有一个知识库位于D:\我的知识库 请按照 AI_AGENT_GUIDE.md 的指引使用这个知识库回答我的问题。 当我询问相关问题时 1. 运行 python query_rag.py 我的问题 2. 读取 query_result.txt 获取RAG检索结果 3. 根据相似度和文件路径使用Grep精确搜索关键词 4. 综合RAG和Grep的结果回答我 5. 必须提供可点击的文件链接常见问题Q1: 构建时提示模型下载失败原因网络问题无法访问Hugging Face解决# 使用国内镜像setHF_ENDPOINThttps://hf-mirror.com python build_rag.pyQ2: 构建时提示内存不足原因文档太多内存不够解决减小batch_size脚本中改为16或8分批处理文档先处理一部分增加虚拟内存Q3: 查询结果乱码原因Windows命令行编码问题解决查询结果已自动保存到query_result.txt用记事本或VSCode打开查看不要直接在cmd中查看Q4: PDF提取的文本质量差原因扫描版PDF或图片PDF解决使用OCR工具先识别文字推荐Adobe Acrobat、ABBYY FineReaderQ5: 相似度都很低0.5原因问题表述和文档用词差异大文档中确实没有相关内容解决换个问法使用文档中的术语检查文档是否包含相关内容考虑补充相关文档Q6: 如何更新知识库添加新文档把新文档放到文档目录重新运行python build_rag.py会重新构建整个索引注意目前不支持增量更新每次都是全量重建建议定期如每月统一更新部署到新电脑方法1完整迁移推荐需要复制的文件我的知识库/ ├── rag_index.pkl ← 必须 ├── query_rag.py ← 必须 ├── AI_AGENT_GUIDE.md ← 必须 ├── 原始文档目录/ ← 可选如果需要Grep原文 └── 知识库搭建教程.md ← 可选参考文档新电脑操作安装Python 3.8安装依赖pip install sentence-transformers numpy复制上述文件到任意目录如D:\知识库修改AI_AGENT_GUIDE.md中的路径测试python query_rag.py 测试问题注意模型会在首次运行时自动下载120MB索引文件.pkl可以直接使用无需重建如果只用RAG检索原始文档可以不复制方法2仅索引文件最小化如果只需要RAG检索功能最小化部署复制文件rag_index.pklquery_rag.py大小通常几百MB限制无法使用Grep精确搜索原文总结你已经学会了✅ RAG向量检索的原理✅ 如何准备和整理文档✅ 如何构建索引✅ 如何查询和使用知识库✅ 如何配置AI使用知识库✅ 如何部署到新电脑下一步测试查询多试几个问题熟悉相似度判断配置AI让AI按照指南使用知识库补充文档发现缺失的内容及时补充定期更新每月重建一次索引技术支持向量模型https://huggingface.co/sentence-transformersPython文档https://docs.python.org/zh-cn/3/参考资源开源项目RAG Skill示例https://github.com/ConardLi/rag-skill完整的RAG实现参考向量检索最佳实践技术文档Sentence Transformershttps://www.sbert.net/NumPy文档https://numpy.org/doc/