不用向量数据库的_RAG，居然跑得更准了？

PageIndex是一种创新的RAG技术彻底摒弃传统向量数据库从文档结构构建层次化索引。受AlphaGo启发通过推理路径而非相似度检索让模型像翻书一样找答案。特别适合专业长文档分析保持上下文连续性和逻辑性在金融等领域测试达98.7%准确率。三步即可将文档转为可推理索引可作为独立底座接入各种RAG系统。最近在翻 RAG 相关项目时看到一个挺反直觉的思路忍不住多看了几眼它就是——PageIndex它做了一件不一样的事把向量数据库从 RAG 里彻底拿掉了不是“少用”也不是“可选”而是从设计一开始就假设检索这一步不一定非要靠相似度向量 RAG 的老问题如果你平时主要在处理财报、招股书、监管文件或者各种技术规范、专业教材那大概率遇到过这种情况向量检索给你的段落“看起来很像”但一问深一点答案却感觉总是差那么一口气问题往往不在 embedding而在于一个被忽略很久的事实相似度并不等于相关性。尤其是那些需要跨章节理解、顺着逻辑一路推下去的问题向量 RAG 很容易把你带到一个“似是而非”的位置PageIndex 想解决的正是这种场景。PageIndex 在做什么让模型像人一样“翻书”PageIndex 并没有去优化向量效果也没有试图用更复杂的 chunk 策略而是直接换了一条路走。它从文档本身的结构出发把整份文档整理成一个层次清晰的索引让模型先理解目录和章节之间的关系再一步步缩小范围判断接下来更可能相关的部分在哪里。整个检索过程更像是在不断做选择题这一问更像属于哪一章是不是应该继续往下翻而不是在一堆零散文本里比对“像不像”。这种设计思路受到了 AlphaGo 树搜索的启发本质上是用推理路径来完成检索而不是用距离来筛选文本。为什么它在专业长文档上特别有优势这种基于结构和推理的方式在面对专业长文档时优势会非常明显。一方面它不会把一个完整的论证过程切碎模型拿到的上下文始终是连续、有逻辑的另一方面检索的每一步都有明确的来源位置可以回溯到具体章节和页码可解释性也更强。官方给出的结果也很有说服力基于 PageIndex 构建的推理型 RAG 系统在 FinanceBench 基准测试中达到了98.7% 的准确率明显高于传统向量 RAG 的表现至少在金融这种强结构、强逻辑的场景下这条路线已经被验证过是可行的。快速上手三步把文档变成“可推理的索引”从使用角度看PageIndex 的上手并不复杂你可以把它理解成一个“文档理解前处理”的工具1. 安装依赖pip3 install --upgrade -r requirements.txt2. 设置OpenAI API密钥在项目根目录创建.env文件添加CHATGPT_API_KEYyour_openai_key_here3. 运行PageIndex处理PDFpython3 run_pageindex.py --pdf_path /path/to/your/document.pdf这一步的核心不是切文本而是让模型先读目录、理解章节关系再生成一份可以被逐层导航和推理的索引结构。后续无论你是做问答还是做 Agent 调用这个结构都会成为检索的基础。如果你处理的是 Markdown 文档也可以直接指定--md_pathPageIndex 会按# / ## / ###的层级自动识别结构这种情况下体验会更自然。可选参数•--model使用的OpenAI模型默认gpt-4o-2024-11-20•--toc-check-pages检查目录的页数默认20•--max-pages-per-node每个节点的最大页数默认10•--max-tokens-per-node每个节点的最大token数默认20000•--if-add-node-id是否添加节点ID默认是•--if-add-node-summary是否添加节点摘要默认是•--if-add-doc-description是否添加文档描述默认是生成之后可以怎么用PageIndex 并不会强行绑定某个具体的 RAG 框架。你可以把生成的索引结构接进自己的 Agent 系统也可以作为推理型 RAG 的检索层使用甚至通过 API 或 MCP 的方式暴露给其他服务。它更像是一个文档理解底座而不是一整套“开箱即用”的解决方案。最后PageIndex 并不是要否定向量 RAG。但它清楚地提醒了一件事当我们处理的文档足够长、足够专业时RAG 的瓶颈往往不在 embedding而在模型是否真正理解了文档的结构和逻辑脉络。如果你正在折腾专业文档分析、金融或合规类 RAG这个项目非常值得你认真看一眼。项目地址https://github.com/VectifyAI/PageIndex大模型入门学习教程 附PDF文档现在国内外关于大模型入门教程做的比较好的并不多这其实也是一件好事有难度和有门槛才能避免烂大街现在大模型入门教程热度最高的包括李宏毅老师、吴恩达老师、Datawhale开源社区等选择合适的入门学习教程能少走弯路抓住核心内容快速达到前沿的水平甚至是发表大模型相关的论文都是可以的这一期主要是给大家推荐李宏毅老师的最新课程大模型入门学习教程这个教程的主要内容如下总共11讲第1讲总体介绍这一讲主要介绍现在大模型作为生成式人工智能其发展的历史过程以及大模型落地的主要应用方向了解大模型主要学习什么内容难度不大简单看一下就行第2讲提示词和AI代理人首先介绍什么是提示词工程提示词就是人类和大模型交互的语言对于大模型的引导需要通过提示词来完成然后介绍如何引导模型进行思考比如COT是什么在模型训练过程中提供额外信息第3讲生成策略同一个问题多次询问大模型大模型会给出不同的回答如何提高回复的准确率以及稳定性是一个重要的大模型生成策略。了解大模型的生成概率与什么有关比如top_p, top_ktemperature等第4讲深度学习和Transformer这一部分先介绍一些深度学习基础内容大模型的模型都是深度学习模型了解深度学习中基础内容是有必要的比如损失函数反向传播梯度下降等然后介绍大模型的基础框架transformertransformer模型结构一定要非常熟悉很重要第5讲大模型评估和道德问题这一部分先介绍大模型的评估标准现在有很多benchmark从各个方面来评测大模型的不同能力评估指标很多开源的模型往往会选择有利于自己的指标进行展示然后介绍大模型中存在的道德问题因为大模型不能随意生成一些不符合道德社会文明的内容第6讲AI的可解释性给大模型一个输入只能得到一个输出但是我们并不清楚大模型的思考过程是怎么样的这个问题大模型是怎么思考的提升大模型的可解释性有助于后续研究如何提升大模型的推理性能像COT就是显式展示大模型的思考过程然后还可以让语言模型来解释语言模型第7讲视觉大模型常说的大模型都指的是文本大模型输入是文本输出也是文本而现实世界中可能我们的输入既有文本又有图片和视频输出也可能是多样化的视觉大模型就是能解决文本和视觉两种模态的大模型第8讲GPT-4o前面都是关于大 模型的理论这一部分是拆解一个完整的大模型是怎么样的以GPT-4o为例进行说明GPT**-4o是首个端到端多模态通用模型**是迈向AGI的一步能够实现文本音频和图片的多模态交互上面就是大模型的入门教程的所有内容学完这些可以去看看关于大模型微调大模型训练大模型推理加速RAG和Agent等相关的内容后面最好整一两个项目来实践一下上述资料获取1. 关注公众号【大模型应用开发LLM】领取即可获取2. 这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】