收藏 | 小白程序员必看：轻松入门RAG技术，让大模型拥有你的专业知识领域

收藏 | 小白程序员必看轻松入门RAG技术让大模型拥有你的专业知识领域本文介绍了RAG检索增强生成技术一种经济高效地解决大模型缺乏特定领域知识的方案。文章详细阐述了RAG的工作流程用户请求→查询资料→获取相关内容→组成提示词→生成回复。重点讲解了向量转换和向量数据库在实现语义匹配中的关键作用以及信息提取、文本分块、向量转换和存储的索引过程。最后提及了RAG技术的发展趋势如混合搜索、重排序模型和知识图谱应用为开发者构建RAG应用提供了理论基础。一、前提虽然我们说大模型的特点之一是知识丰富但这里的知识仅限于通用的知识也就是网上能够很容易找到的知识。对于一些特定的知识比如你所在业务领域的知识它就一无所知了。个中缘由不言而喻大模型训练时根本不可能拿到你们公司的数据。如果我打算为自己的业务开发一个聊天机器人也就是说让聊天机器人知道我的业务该怎么办呢抛开训练一个属于自己的大模型这种成本高昂的办法常见的解决方案有两种模型微调使用业务信息对已经训练好的模型进行微调。RAG在上下文中带有业务信息让大模型据此进行整合。* 于模型微调RAG 的方案成本要低一些而且更加灵活实现起来也更简单一些所以它也成为了现在解决这个问题的首选。这一讲我们就来了解一下 RAG。二、RAGRAG 是 Retrieval-Augmented Generation 的缩写也就是检索增强生成。这是什么意思呢就是通过检索的方式对要处理的内容进行增强之后再去生成。我们把大模型应用和检索增强结合起来理解一下。大模型有很多不知道的东西比如我们的业务。怎么让大模型了解我们的业务呢最简单的方式就是每次请求时把业务相关的内容放在提示词里告诉大模型。问题是业务相关的内容从何而来这就是我们要在本地检索的内容。换言之所谓检索增强生成就是我们在本地检索到相关的内容把它增强到提示词里然后再去做内容生成。下面是一个 RAG 系统处理用户请求的极简流程示意图1、用户发起请求 2、根据用户的问题在相关资料中进行查询 3、获取到资料中的相关内容 4、组成完整的提示词发给大模型 5、将大模型的回复发给用户* 对比普通的聊天机器人差别就是在这个过程中要去到相关资料中进行查询再将查询得到的相关信息和用户问题拼装成完整的提示词发给大模型。* 有了对 RAG 流程的初步认识接下来的问题就是怎样到相关资料中查询。既然要查询必然是有个地方能够存储这些资料的。对于程序员来说最熟悉的存储方案一定是数据库。* 对于大模型应用开发而言我们要根据文本去找相关内容。在业务系统开发中我们经常做的文本匹配是用 SQL 语句的 like。但是这种匹配对于大模型应用而言就显得非常单薄了因为它只能进行“字面”意义上的匹配无法进行“语义”层面的匹配。如果想进行“语义”的匹配该怎么做呢这就轮到向量登场了。三、向量和向量数据库许多 AI 算法处理的都不是文字而是向量。采用向量的方案“语义”的匹配程度就转换成了向量之间的相似程度。计算向量相似度的算法有很多比如余弦相似度、内积、欧氏距离等等。有了向量当用户提出问题时处理过程就变成了将问题转换为向量然后计算向量之间的距离找到与问题向量最接近的文档向量从而实现“语义”的匹配。3.1、怎样将文本转换成向量现在常见的做法就是把这个过程训练成一个模型。在开源社区里已经有很多人提供了这样的模型我们需要做的就是把模型部署起来然后调用这个模型。当然也有人把已经训练好的模型部署成一个服务这样我们就可以直接调用现成的服务。OpenAI 就提供了一个专门负责将文本转换成向量的 API——Embeddings。我们可以根据需要选择自己部署模型或是选择别人提供的服务。不同的 Embedding 模型之间的差异主要取决于训练样本比如有的模型会在中文处理上表现得比较好。到这里我们知道了可以用向量进行文本内容的匹配。但是我们要到哪里去匹配呢3.2、向量数据库正如我们处理任何业务数据一样在使用数据之前第一步需要做的是存储业务数据。在 RAG 系统中我们要把数据存放到哪里呢我们需要一个数据库只不过我们需要的既不是 Oracle、MySQL 这样的关系数据库也不是 MongoDB、Redis 这样的 NoSQL 数据库。因为我们后续处理的都是向量所以我们需要的是向量数据库。向量数据库并不是突然冒出来的。2000 年左右加州大学伯克利分校的研究人员开始尝试开发向量数据库用来存储和查询高维向量。2010 年VectorWise 公司发布了第一个商业向量数据库。随着 AI 应用的兴起人们对于向量数据库的兴趣日渐浓厚。在大模型兴起之后随着 RAG 的蓬勃发展向量数据库一下子站到舞台中央开始成为许多大模型应用的重要组件。向量数据库与传统数据库有很大的差别在使用方式上传统数据库搜索信息倾向于精确匹配而向量数据库的匹配则是语义上的接近。在实现上二者也存在不小的差别比如由于向量本身通常维度会很多如果按照传统数据库的方式直接进行存储将会带来很多问题。向量数据库需要把向量数据作为一个完整的单元处理底层存储结构也需要根据这个特点进行规划。另外向量数据格式也相对单一每个维度的数据往往都是固定的数据格式浮点数、二进制整数等。所以向量数据库就可以有针对性地找到一些优化手段比如相关的数学运算可以更好地利用 CPU 缓存机制加速甚至可以利用 CPU/GPU 的硬件特性再比如采用高效的数据压缩技术这样就能够显著地减少存储空间。四、索引到这里我们讲的都是怎样使用数据也就是检索的过程。其实还有一个关键的问题没有解决这些数据从何而来怎么跑到向量数据库里去的。这就是 RAG 另外一个重要的过程索引Indexing。下面是一个常见的索引过程在这个过程里面我们会先对信息源做一次信息提取。信息源可能是各种文档比如 Word 文档、PDF 文件Web 页面甚至是一些图片。从这些信息源中我们把内容提取出来也就是其中的文本。接下来我们会把这些文本进行拆分将其拆分成更小的文本块。之所以要拆分主要是原始的文本可能会比较大这并不利于检索还有一点重要原因是我们前面说过要把检索到的信息拼装到提示词里过大的文本可能会造成提示词超过模型有限的上下文窗口。再来就是把文本块转换成向量也就是得到 Embedding 的过程。前面我们说过这个过程往往是通过训练好的模型来完成的。到这里我们就把信息转换成了向量。最后一步就是把得到的向量存储到向量数据库中供后续的检索使用。至此我们对常见的 RAG 流程已经有了基本了解。但实际上RAG 领域正处于一个快速发展的过程中有很多相关技术也在不断地涌现虽然采用向量搜索对于语义理解很有帮助但一些人名、缩写、特定 ID 之类的信息却是传统搜索的强项有人提出混合搜索的概念将二者结合起来通过各种搜索方式我们会得到很多的候选内容但到底哪个与我们的问题更相关有人引入了重排序Rerank模型以此决定候选内容与查询问题的相关程度除了在已有方向的努力甚至还有人提出了 RAG 的新方向。我们前面讨论的流程前提条件是把原始信息转换成了向量但这本质上还是基于文本的更适合回答一些事实性问题。它无法理解更复杂的关系比如我的朋友里谁在 AI 领域里工作。所以有人提出了基于知识图谱的 RAG知识图谱是一种结构化的语义知识库特别适合找出信息之间的关联。* 由此你可以看到想要打造一个好的 RAG 应用并不是很容易的一件事但在一些技术框架支持下上手编写一个 RAG 应用却不是什么难事。下一讲我们就自己动手基于 LangChain 现一个 RAG 应用。最后近期科技圈传来重磅消息行业巨头英特尔宣布大规模裁员2万人传统技术岗位持续萎缩的同时另一番景象却在AI领域上演——AI相关技术岗正开启“疯狂扩招”模式据行业招聘数据显示具备3-5年大模型相关经验的开发者在大厂就能拿到50K×20薪的高薪待遇薪资差距肉眼可见业内资深HR预判不出1年“具备AI项目实战经验”将正式成为技术岗投递的硬性门槛。在行业迭代加速的当下“温水煮青蛙”式的等待只会让自己逐渐被淘汰与其被动应对不如主动出击抢先掌握AI大模型核心原理落地应用技术项目实操经验借行业风口实现职业翻盘深知技术人入门大模型时容易走弯路我特意整理了一套全网最全最细的大模型零基础学习礼包涵盖入门思维导图、经典书籍手册、从入门到进阶的实战视频、可直接运行的项目源码等核心内容。这份资料无需付费免费分享给所有想入局AI大模型的朋友扫码免费领取全部内容部分资料展示1、 AI大模型学习路线图2、 全套AI大模型应用开发视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 大模型学习书籍文档4、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、大模型大厂面试真题整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题涵盖基础理论、技术实操、项目经验等维度每道题都配有详细解析和答题思路帮你针对性提升面试竞争力。6、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。扫码免费领取全部内容这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】