在Mac mini上实现本地话部署AI和知识库

硬件要求：

大模型AI，也叫LLM，需要硬件支持，常见的方式有2种：一种是采用英伟达之类支持CUDA库的GPU芯片或者专用AI芯片；第二种是采用苹果M系列芯片架构的支持统一内存架构的硬件；

本文主要讲基于苹果M系列的方式，采用的内存建议16M，8M内存也能支持，但支持模型会比较少；除此之外，即使普通的电脑，如果你的内存够大，CPU够快，也是可以运行一些小的模型的，只是速度上会比较慢，CPU占用比较高，具体情况大家可以实际体验一下，例如我用一台T460，Intel i5 4核2.3G x4，16G内存，显卡GeForce 940MX/PCIe/SSE2，运行Ollama openchat 4B模型，一分钟大概生成100个词左右。

软件要求：

软件基于ollama + anything LLM

模型主要选择的是OpenChat，感觉openchat的中文支持比较好

步骤

先安装Ollama，步骤也很简单，主要下载官网的安装包安装即可；以下是下载页链接：https://ollama.com/download

安装完了Ollama之后，就可以在终端里用Ollama run openchat，

这样第一次执行的话，会自动拉取模型，建议选择8B左右大小的，8B就是8billion，也就是80亿参数，模型文件的大小大概是8G左右；以下是模型的说明：openchat；等下载完模型之后，就可以在终端里直接使用模型，输入一些问题，可以看到模型有回复，就说明正常运行了，如果机器的硬件不支持，例如内存不够，可能会比较慢；

现在大模型本地安装就完成了，接下来就可以继续部署本地的知识库；

本地知识库的工作原理是通过人工投喂特定的数据给大模型，使大模型可以在我们投喂的数据里学习到特定的知识，这样当用户向大模型提问的时候，就可以从我们投喂的数据里匹配响应的结果给我们；目前这种技术常见应用于电商平台的AI客服上；但不限于这种场景，对于公司内部的经验库管理也是挺适合的，对于个人的桌面电脑，也会有很好的帮助；本地知识库具有保密性的优势，不必把公司内部的资料上传到外部云端，或者第三方，而且没有常见的数据规模上的约束，所以以后会是一个受欢迎的方式；

本地知识库的部署：

本地知识库使用anything LLM来实现；工作原理就是使用一个embeding模型来对文档进行词向量的提取；词向量是一个专业术语，是人工智能对人类的文件的一种编码方式。可以理解为把学习到的词语投射到二维坐标上，意思相近的词的距离靠的比较近，而意思无关的词距离就比较远；例如猫和狗都是动物，他们会靠得比较近，而花和草就不会跟猫狗靠得近；还有一个模型是用来实现向量数据的存储的，是向量数据库。这2种模型都是anythingLLM这个APP里面内置的，我们只需要拿来直接用就可以。但是我们必须知道他们的概念，因为这个embeding的功能对于知识库的管理效果至关重要，如果提取到的数据质量不够好，最终用户查询到的结果就会不满意，这个时候可以尝试改变其配置，使用其他的第三方模型。不管是LLM模型，还是embeding模型，我们的选择是很多的，既有开源模型，也有闭源模型，既有免费模型，也有收费模型，这些都是可以选择的。

anythingLLM的安装。

在官网下载安装即可。安装好后会有一个引导过程，让用户设置好LLM模型，working space这些。LLM模型我们选择Ollama。以下是anythingLLM的链接地址：https://anythingllm.com/desktop

可以说，AI的出现就是懒人的福音，基本上你按照官网的指引来做不会有什么难的。唯独是如果英语阅读可能对某些同学有点障碍，不过这种障碍估计很快也要被AI消除了。

anthingLLM的配置，资料的投喂，搜索检验。

最简单的投喂方式就是把Excel表格投喂给模型，也可以投喂一个网页链接，让其下载并消化；embeding模型消化数据时有一个等待过程，这个过程就是把文档里面的资料进行词向量的计算和映射过程。怎么知道我们投喂的数据有效果呢？例如我们可以这样进行测试，首先没有投喂资料之前，我们可以先提一个问题，例如，Mac mini的价格是多少？这样，因为AI模型的数据是比较早期的，回复的结果通常是不知道，或者不准确；这个时候我们可以打开苹果的官网，进入有Mac mini价格的页面，然后把这个页面的URL复制粘贴给模型，让模型进行一个消化整理；完了之后再询问，这个时候模型就可以输出有用的信息了，而且还会附带引用的来源；

总结，下一步考虑把系统的bug list喂给AI模型，看看能不能方便地查到有用的东西。

投喂网页数据之前的查询：

投喂数据之后的查询：