【笔记】用大预言模型构建专家系统

最近闲庭漫步，赏一赏各个AI大语言模型芳容。也趁着时间，把倪海夏一家的天纪和人纪视频看完了，感谢倪先生和现在网络的知识分享，受益匪浅。但是发现看完，很多不错的知识都不能记录在脑子里，那用的时候岂不是还要再看一遍视频把那个要点找出来听一遍？现在都AI时代了，我们就AI一下：把视频里的语音转成文本，用大语言模型校正，再生成知识库让大预言模型检索并回答我们提出的问题。

首先，需要的当然是硬件，拿出这个前东家送的游戏本，RTX3090一枚；顺带一提的是，最新的mac笔记本m4很猛啊，新工作机48GB内存已经可以跑ollama上量化了的72B了，如果能有个超级mac m4 max，直接内存128GB可以跑很大的模型了，网上有人直接使用开源的exo+8台mac凑够496GB内存可以直接跑deepseek-r1 671B。第二个需要能科学上网访问hugging face。
然后是准备当下AI三件套Ollama + Open-WebUI + Jupyter。windows环境当然是要一个python，open-webui要求不能python-3.13，那就python-3.12呗。装好pytorch，jupyter，open-webui，ollama，然后我们就要开始配置这些环境了。

为了把视频语音转，我们要祭出whisper，一般whisperx用就好了，不过windows上有点问题，也懒得深究了，直接换到本源走openai的whisper最新large-v3模型。jupyter上设计一个pipeline，让ffmpeg将所有视频只保留音频mp3，再按huggingface上whisper主页的案例引用直接对每个mp3生成识别后的文本…

这个文本有很多错误，也没有啥标点…这个就需要动用大预言模型了；一开始使用了ollama，因为3090内存有限，扣吧吧用个小模型，让它校正有时候它还不太听话…于是想想这个文本又不是什么私密的东西，直接用线上正统超级大语言模型好了…先去arena试验了一下，发现deepseek-r1对这种任务线上超大模型都不怎么听话，看来deepseek训练方法贡献巨大，但是自己还是在模型积累的初级阶段…连grok-3和claude 3.7都比它好用。但是老是科学着也不好，再尝试了下qwen2.5-max，效果不错！任务都丢给它了…配置好合适的prompt，预填一些先验知识，它能很好得给出简单修正，以及断句打标点…

有了这些视频的音频文本，后面就是建立一个简单RAG系统了…这个要用到open-webui和ollama，当然我是想自用的，所以用ollama用gpu运行小模型。open-webui自带了dev用chroma vector db，个人用就够了，先ollama下载bge-m3的embedding模型，再下载一个为问答使用的模型比如qwen2.5，open-webui里配置好知识库的embedding模型，并且在workspace里创建知识库，把生成好的文本上传，等它embedding结束。之后就是创建专家系统模型，套一个base模型qwen2.5，再选上知识库内容，然后就开始play~

之后就是继续各种添加知识库，并且写一套langchain让它更丝滑得运行，提高对知识库掌握的准确度。后面还可以搭建各种其他的知识库了~enjoy…

（以下图片仅供展示系统有知识库初期的demo，生病了还请求医，慎重看待AI生成内容）