向量数据库要凉？Karpathy Markdown 新方案深度解析（非常硬核），知识库架构从 0 到 1，收藏这一篇就够了！

你 vibe code 了一整天。Claude 终于搞懂了你的项目架构——哪个模块怎么通信、那个诡异的 bug 根因是什么。你松了口气合上电脑。第二天打开新对话。白板。它什么都不记得了。你得重新花 20 分钟解释我们昨天在干什么。这感觉像什么像跟一个得了顺行性遗忘症的天才同事合作——他什么都能干但每天早上都从零开始。Karpathy 也受够了。就是那个给 “vibe coding” 命名的人OpenAI 联合创始人前 Tesla AI 总监。2026 年 4 月他在 X 上公开了自己的解法。不是 RAG。不是向量数据库。一个 Markdown 文件夹加一个 LLM 当图书管理员。这篇文章讲三件事RAG 的真正边界在哪、Karpathy 这套东西怎么运作、什么场景下你可以不用向量数据库。RAG 三年了它到底解决了什么先别急着判死刑。说一件东西死了之前得搞清楚它活着的时候干了什么。RAG——检索增强生成——是过去三年怎么让 LLM 用上自己数据的标准答案。一句话说完流程文档切块 → 转向量 → 存数据库 → 用户提问时检索 → 把结果塞进上下文 → LLM 生成回答。管用。它确实解决了 LLM 最大的先天缺陷知识有截止日期碰不到你的私有数据。10 万份内部文档切块、嵌入、存进 Pinecone 或 Milvus用户一问就捞。业界常见配置384 token 分块配 64 token 重叠。一些社区基准测试报告了约 92% 的单块命中率但这个数字因数据集、嵌入模型和查询类型差异很大——把它当参考量级别当金标准。RAG 自己也没闲着。2026 年已经推到 RAG 2.0四个方向的升级•混合检索关键词匹配BM25和向量搜索同时跑用倒数排名融合合并结果——因为纯向量搜索精确匹配经常翻车•GraphRAG知识图谱捕捉实体关系支持 A → B → C 的多跳推理•Agentic RAGAgent 动态规划检索策略先拆问题再决定查哪个库•端到端评估终于有了从检索质量到生成质量的全链路打分看完这个升级清单你可能觉得 RAG 在变强。换个角度想这些升级说明经典 RAG 确实有场景覆盖不到的地方。但如果你的需求本身就不在这些场景里呢RAG 的三个暗伤用过 RAG 的人多少都碰到过这些只是 RAG 布道者不太爱聊。向量检索不够透明你问 AI 一个问题它从数据库里捞出 5 段文本来参考。凭什么是这 5 段能查吗能。你可以看 chunk 内容、相似度分数、甚至做 query trace。但这跟打开一个 .md 文件直接读之间的审计成本差了一个数量级。向量嵌入本质上是高维坐标两段文本距离近不等于语义真的相关——可能只是碰巧用了类似的词汇模式。你漏了关键信息排查起来远比翻文件夹费劲。这不是说 RAG 不可审计——而是审计的门槛和成本比直接读文件高得多。老板问AI 的回答基于哪些数据用 RAG 你得解释什么是 cosine similarity用 Markdown wiki你把文件路径甩过去就行。知识不积累这个最致命。周一你问了 AI 一个问题它推理出一个结论。周三你问相关问题——它不记得周一的结论从零开始检索、从零推理。上次的思考成果全丢了。RAG 本质上是无状态的。数据库里存的是原始文档块不是推理结论不是关系网络不是任何形式的理解。像一个研究员每天早上醒来都忘了昨天的笔记。原始论文还在但积累没有。公平地说RAG 的设计目标就不是积累——它是检索管道不是笔记系统。但如果你的需求恰好是积累而不只是检索这个不是 bug 是 feature的回答就不够用了。复杂度是规模的代价看一眼 RAG 2.0 的完整架构智能路由层 → 多路召回向量 关键词 图谱→ 重排序交叉编码器→ 上下文压缩 → LLM 生成。五个组件每个有自己的配置、故障模式和运维开销。向量库挂了检索偏了。重排序模型更新生成质量波动。分块策略一换嵌入全部重建。公平地说这些复杂度不是乱加的——处理百万级异构文档你确实需要这些组件协作。问题在于如果你的知识库只有几百到几千篇文档这些组件里的大部分你根本用不上但搭建和运维的成本你一样得承担。这就像一个人只需要骑自行车去超市却被告知标准方案是开一辆半挂卡车。卡车本身没错错的是拿卡车去买菜。Karpathy 的做法LLM 自己当图书管理员他没有去改进 RAG直接绕过了。整套方案叫 LLM Knowledge Base只有三步全部基于 Markdown 文件。第一步Data Ingest所有上游素材——论文、仓库、网页、数据集——扔进一个raw/目录。他用 Obsidian Web Clipper 把网页直接剪藏成 Markdown连图片都本地化方便视觉模型读图。这一步没什么智能就是有纪律地把东西存成 LLM 能直接读的格式。第二步Compilation核心在这。LLM 不是去索引文件而是编译它们。它读raw/里的原始素材然后写出一套结构化的 wiki• 每个来源一页摘要• 核心概念写成百科式条目• 相关概念之间建反向链接RAG 的 LLM 是检索器——接受指令去仓库找东西。Karpathy 的 LLM 是编辑——主动把散乱信息编纂成有组织的知识体系。区别在哪RAG 是把书堆在仓库里需要时搜。Karpathy 是雇了个图书管理员把书读一遍写出目录、索引和导读。第三步Active LintingWiki 写完不算完。LLM 定期跑健康检查• 扫描描述不一致的地方• 找出缺失的链接• 标记过时信息• 发现新的关联有人描述这个过程是自我修复的活知识库。Wiki 不会退化——它在持续进化。Karpathy 目前的规模约 100 篇文章约 40 万字。这个量级上LLM 靠目录页和摘要文件导航绰绰有余。向量数据库多余。他自己说的“You rarely ever write or edit the wiki manually; it’s the domain of the LLM.”——你很少手动碰 wiki那是 LLM 的活儿。Lex Fridman 用着差不多的方案还加了花样让 LLM 生成动态 HTML 仪表盘做可视化甚至在 7-10 英里长跑时创建一个临时迷你知识库通过语音对话。跑完wiki 用完就扔。不过别把 Wiki 想得太理想。LLM 编译也可能写入错误——而且跟 RAG 的无状态不同这个错误会持久留在 .md 文件里参与后续编译。RAG 的问题是知识不积累Wiki 的镜像问题是错误也会积累。Karpathy 的 Active Linting 能纠正一部分但不是万能的。建议关键条目定期人工抽检别把信任全交给机器。想体验一下打开 Obsidian装个 Web Clipper剪藏 3 篇文章到 raw/ 里——5 分钟的事。仓库还是图书馆——你选哪个速查表经典 RAGLLM 知识库存什么文档切片的向量编纂好的百科条目谁在干活嵌入模型 检索器LLM 当编辑知识形态碎片化按相似度临时拼凑结构化持续积累和自修复审计透明度可查但门槛高需理解嵌入直接读 .md 文件核心假设“找到相关的就够了”“理解了才算数”适用规模数万到百万级文档数百到数千篇运维成本向量库嵌入模型重排序压缩一个文件夹 LLM主要天花板审计成本、碎片化、无状态受限于上下文窗口、编译成本RAG 是仓库加叉车——什么都能找到但不理解东西之间的关系。Wiki 是图书馆加馆长——馆长不停写新书来解释旧书。怎么选直接给经验判断——但注意这是甜区而非硬分界线具体数字因文档类型和查询复杂度而异• 知识库在数万篇以上来源杂、格式多核心需求是大海捞针式精确检索RAG 是更成熟的选择。它为这种场景而生。•几百到几千篇内容质量高你需要的是理解、积累和关联而不只是检索Wiki 值得尝试。• 两个需求都有大规模异构数据底座用 RAG特定领域叠一层 Wiki 做深度理解。两者不是互斥的。要注意的边界Wiki 方案依赖 LLM 上下文窗口来导航当目录页和摘要文件加起来超过上下文限制时你仍然需要某种形式的检索——可能是全文搜索FTS也可能是轻量级向量索引。这个天花板随模型能力在快速上移但现阶段还是要诚实面对。说实话大部分个人用户和中小团队知识库量级远没到需要全套 RAG 架构的程度。你 Notion 里那几百篇笔记正好在 Wiki 的甜区。从个人笔记到企业大脑Karpathy 管自己的东西叫一堆 hacky 脚本。个人用着爽但拿去公司用呢先打个预防针下面讲的企业扩展思路绝大多数还处于概念验证或小规模试点阶段没有经过大规模生产环境的长期验证。拿来当灵感看不要当成已验证方案直接照搬。创业者 Vamshi Reddy 说了句狠话“Every business has a raw/ directory. Nobody’s ever compiled it. That’s the product.”每家公司都有堆在那里的 Slack 记录、内部 wiki、工单、PDF、PPT——但从来没人把它们编译成可用的知识。Karpathy 认同这是一个巨大的产品机会。但企业不是个人问题马上复杂了。Obsidian 的联合创始人 Steph Ango 点了个关键问题污染隔离。他建议把个人干净知识库和 Agent 的工作区分开——Agent 在乱库里自由探索精炼后的成果才能进入可信档案。这跟数据分析里 staging → production 的流程一个思路。有团队走得更远。jumperz 设计了一个「Swarm Knowledge Base」把方案扩展到 10 个 Agent 协作。难点是幻觉传染——一个 Agent 编了假信息其他 Agent 把它当真整个知识库就废了。jumperz 提出的解法加一个「质量门」用独立的评估模型对每篇 wiki 条目打分。通过了才进正式库。Agent 产出草稿 → 编译器组织 → 质量门验证 → 验证通过的知识反馈给 Agent。循环往复知识越来越纯。这个设计在小规模 demo 上跑通了但坦白说10 个 Agent 协同编辑同一个知识库的冲突解决、版本控制和幻觉级联问题到今天还没有公开的大规模成功案例。方向有意思落地还需要时间。最有意思的方向在后面wiki 经过持续编纂变得足够干净之后——去重了、交叉引用了、风格一致了——理论上它就不只是上下文填充物了它有潜力成为一个微调训练集。如果数据质量和数量到位把知识编码进模型权重你的研究项目就有可能变成你自己的私有智能体。当然从一个干净的 wiki到一个合格的微调数据集之间还有数据标注、格式转换和训练调参等不少工作量别低估这段路。这不是只有 AI 工程师才能玩的东西。焊工 Jason Paul Michaels 的案例最有意思——他不是程序员是个焊工用 Claude 写代码。他的做法“No vector database. No embeddings… Just markdown, FTS5, and grep… Every bug fix gets indexed. The knowledge compounds.”翻译一下不用向量数据库不用嵌入。Markdown 全文搜索 grep。每次修 bug 自动进索引知识持续复利。今天就能开始的 3 步别光看动手试试。第一步建一个 raw/ 目录装 Obsidian免费用 Web Clipper 浏览器插件剪藏。看到好文章、论文、代码一键存 Markdown。先别挑存就对了。第二步写一个 CLAUDE.md这是你给 LLM 的编辑方针。最小可用版本长这样# Knowledge Base Rules- For each new source in raw/, create a summary in wiki/sources/- Maintain concept pages in wiki/concepts/ with backlinks- Run a consistency check weekly: find contradictions, missing links, outdated claims- Never modify files in raw/ — thats the immutable archiveCLAUDE.md 是 Claude 的项目配置文件名。如果你用 GPT 或 Gemini把同样的规则写进 system prompt 或对应的配置文件即可——重点是规则本身不是文件名。不用从零写——开源模板 jeremyrayner/kb-templateMIT 许可可以直接 fork 用里面已经定义好了目录结构和 LLM 指令。第三步让 LLM 编译第一批条目挑 5-10 篇最近在研究的素材让 LLM 读完写 wiki 条目。你会发现第一次编译之后你对这个领域的理解就变了——因为 LLM 帮你做了一直想做但没空做的事把零散信息变成有结构的知识。常见问题速答•Q非 Markdown 格式的文档怎么办APDF 和 DOCX 用 markitdown 或 pandoc 转换。音视频先转写成文字再存 raw/。格式越统一后续编译越省心。•Qwiki 条目写错了怎么办AMarkdown 文件直接打开改。这正是 Wiki 方案比向量数据库透明的地方——出错了你改一个文件就行不用重建嵌入。•Q素材量增长到几千篇LLM 还导航得过来吗A关键是目录页和摘要文件的质量。定期让 LLM 重新编译索引页保持导航层精简。超过几千篇考虑加一层全文搜索如 FTS5辅助。•Q什么时候该停下来换 RAGA如果你发现 LLM 频繁在目录页迷路、编译耗时超过可接受范围、或者需要对几十种格式做实时跨库检索——这就到了 RAG 的地盘别硬撑。还记得开头的事吗你的 AI 每天早上都失忆。Karpathy 的思路不是给 AI 配一块更大的记忆卡而是让它自己记笔记。笔记是 Markdown你能看、能改、能删。知识不是每次查询临时拼凑的是编纂好的持续积累的。三年前我们教 AI 怎么检索。现在 Karpathy 说——让 AI 自己做笔记。RAG 没死也不应该死。它在大规模异构文档的战场上仍然无可替代。但如果你的场景是几百到几千篇高质量文档——个人研究、团队知识库、项目档案——一个 LLM 维护的 Markdown wiki 是值得认真评估的替代路径更简单、更透明、复利效应更强。两者甚至可以共存——用 RAG 做底层大海捞针用 Wiki 做上层深度理解。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】