收藏！小白程序员轻松入门大模型：详解RAG技术及其实战应用

收藏小白程序员轻松入门大模型详解RAG技术及其实战应用本文深入解析了RAG检索增强生成技术对比了传统搜索引擎的工作机制。文章首先介绍了倒排索引在传统搜索中的应用随后详细阐述了RAG如何通过Embedding模型将文本转换为高维向量利用向量距离衡量语义相似度并结合向量数据库实现知识检索。重点介绍了LightRAG开源实现包括知识构建索引流程、检索策略Local、Global、Hybrid和Naive搜索以及如何利用检索到的知识生成回答。通过学习本文读者可以了解大模型如何结合检索与生成优势实现更准确、智能的知识获取与内容生成。1、 传统搜索传统搜索通常基于倒排索引来进行搜索1.1 倒排索引倒排索引英语Inverted index也常被称为反向索引、置入档案或反向档案是一种索引方法被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。倒排索引是Term到DocID的映射。1.2 搜索语句示例Lucene针对某个字段进行搜索样例title:hello world就意味着搜索title为hello或者包含title关键字的文档伪代码形如doc.title contains hello OR doc.title contains world假定“hello”- [1, 5, 8]“world”- [5, 8, 10, 12]然后搜索引擎对2个doc ID集合的求并集并对所有文档进行打分选出分数最高的前N个文档。2、 RAGRAG (检索增强生成) 是一种人工智能技术它结合了信息检索和生成式模型的功能以提高生成文本的准确性和相关性。 RAG 先从外部知识库中检索相关信息然后结合这些信息使用生成式模型生成更准确、更有上下文相关的文本。提到RAG需要先聊一聊Embedding models2.1 Embedding models2.1.1 高维向量表征文本嵌入式模型可以把一段文本转换为纯数值的高维向量通过嵌入模型(如bge-m3)将文本转换为1024维的数值向量这个向量包含了文本的语义特征curl --location http://192.168.100.2:21434/api/embed\ --header Content-Type: application/json\ --data { model: bge-m3:latest, input: 这个故事的主题是什么? }2.1.2 向量距离反映语义相似度当两个向量在向量空间中的距离越近通常用余弦相似度或欧氏距离衡量 说明它们对应的文本在语义上越相似例如猫和猫咪的向量会比猫和汽车的向量更接近高维向量可以使用专门的向量数据库存储和检索。2.1.3 常见向量数据库一览名称是否开源社区影响力编程语言核心特性Pinecone否未知向量存储与检索全托管weaviate是13.7k starGo同时支持向量与对象的存储、支持向量检索与结构化过滤、具备主流模式成熟的使用案例。高速、灵活不仅仅具备向量检索还会支持推荐、总结等能力qdrant是24.3k starRust向量存储与检索、云原生、分布式、支持过滤、丰富的数据类型、WAL日志写入milvus是35.6k starGo极高的检索性能: 万亿矢量数据集的毫秒级搜索非结构化数据的极简管理丰富的API跨平台实时搜索和分析可靠;具有很高的容灾与故障转移能力高度可拓展与弹性支持混合检索统一的Lambda架构社区支持、行业认可Chroma是20.7k starPython轻量、内存级3、lightRAG 实现https://github.com/HKUDS/LightRAG“talk is cheap show me the code” – Linus Torvalds这一部分将介绍一个开源的RAG实现LightRAG。RAG通常被用来构建知识库 萌叔将从使用和细节上2方面来介绍LightRAG。对代码有兴趣的读者也可也阅读参考资料4.深度解析比微软的GraphRAG简洁很多的LightRAG一看就懂LightRAG可以使用下面的命令直接启动lightrag-server此服务其实包含1API服务器 2WebUIAPI详情见 http://localhost:9621/webui/#/由于是知识库那么必然我们需要先创建知识库为知识库添加知识3.1 提交文件针对知识构建索引提交的文件会被异步任务处理。step1: 把文件切分成chunk默认情况(函数chunking_by_token_size)文件会被按照固定的token size切割成chunk, 为防止某些entity出现在chunk的交界处chunk会有一定的重叠。step2: 将chunkprompt提交给大语言模型进行知识抽取从上图可以看到从chunk中抽取了实体和关系, 为了存储实体和关系引入了向量数据库和图数据库LightRAG 默认使用的向量数据库是 Nano Vector默认使用的图数据库是 NetworkX。step2使用大语言模型有一定的开销。萌叔测试官方的示例book.txt188K花费大约2元人民币。3.2 检索知识结合知识使用大模型生成对应的回答。① 针对用户的的查询语句生成高阶和低阶的关键词下面是某个查询得到的关键词2025-05-09 18:58:42,458 - lightrag - DEBUG - High-level keywords: [Character analysis, Literature, Social themes]2025-05-09 18:58:42,459 - lightrag - DEBUG - Low-level keywords: [Bob Cratchit, A Christmas Carol, Charles Dickens, Scrooge, Victorian era]② 根据查询类型从向量数据库和图数据库中提取数据下面是不同查询类型提取的数据差异# local INFO: Local query uses 10 entites, 127 relations, 3 chunks # global INFO: Global query uses 11 entites, 10 relations, 3 chunks # hybrid INFO: Local query uses 10 entites, 127 relations, 3 chunks INFO: Global query uses 12 entites, 10 relations, 3 chunksLocal search针对的是节点以及与节点相关的边包含节点、边对应的实际数据Global search针对的是边包含边对应的实际数据Hybrid search同时包含Local search和Global search的结果Naive search只使用原始的chunk有个重要的参数topK用于控制entity或者relation的数量③ 根据检索到的数据和提示词生成合适的回答3、 总结透过RAG技术我们可以清晰地看到大语言模型如何颠覆传统的信息检索和知识问答领域通过结合检索与生成的优势实现了更准确、更智能的知识获取与内容生成。最后近期科技圈传来重磅消息行业巨头英特尔宣布大规模裁员2万人传统技术岗位持续萎缩的同时另一番景象却在AI领域上演——AI相关技术岗正开启“疯狂扩招”模式据行业招聘数据显示具备3-5年大模型相关经验的开发者在大厂就能拿到50K×20薪的高薪待遇薪资差距肉眼可见业内资深HR预判不出1年“具备AI项目实战经验”将正式成为技术岗投递的硬性门槛。在行业迭代加速的当下“温水煮青蛙”式的等待只会让自己逐渐被淘汰与其被动应对不如主动出击抢先掌握AI大模型核心原理落地应用技术项目实操经验借行业风口实现职业翻盘深知技术人入门大模型时容易走弯路我特意整理了一套全网最全最细的大模型零基础学习礼包涵盖入门思维导图、经典书籍手册、从入门到进阶的实战视频、可直接运行的项目源码等核心内容。这份资料无需付费免费分享给所有想入局AI大模型的朋友扫码免费领取全部内容部分资料展示1、 AI大模型学习路线图2、 全套AI大模型应用开发视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 大模型学习书籍文档4、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、大模型大厂面试真题整理了百度、阿里、字节等企业近三年的AI大模型岗位面试题涵盖基础理论、技术实操、项目经验等维度每道题都配有详细解析和答题思路帮你针对性提升面试竞争力。6、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。学会后的收获• 基于大模型全栈工程实现前端、后端、产品经理、设计、数据分析等通过这门课可获得不同能力• 能够利用大模型解决相关实际项目需求 大数据时代越来越多的企业和机构需要处理海量数据利用大模型技术可以更好地处理这些数据提高数据分析和决策的准确性。因此掌握大模型应用开发技能可以让程序员更好地应对实际项目需求• 基于大模型和企业数据AI应用开发实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能 学会Fine-tuning垂直训练大模型数据准备、数据蒸馏、大模型部署一站式掌握• 能够完成时下热门大模型垂直领域模型训练能力提高程序员的编码能力 大模型应用开发需要掌握机器学习算法、深度学习框架等技术这些技术的掌握可以提高程序员的编码能力和分析能力让程序员更加熟练地编写高质量的代码。扫码免费领取全部内容这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】