DeepSeek本地部署的一些使用体会

春节期间我也尝试了一下Deepseek的本地部署，方案选用了Ollama + Chatbox或AnythingLLM。Chatbox里有很多有意思的“助手”，而AnythingLLM支持本地知识库。

网上教程很多，总的来说还是很方便的，不需要费太多脑子。甚至可以这么说，网络是否通畅才是决定安装体验的唯一制约因素。像Ollama，第一次运行需要下载模型；而AnythingLLM，安装过程中还要下载巨大的Ollama库包。其实我还想实验前端用Docker方式部署Open-WebUI，但现在还卡在尝试下载docker中。

以下是各工具的下载或部署方式链接：

Download Ollama on Windows
Chatbox AI官网：办公学习的AI好助手，全平台AI客户端，官方免费下载
Download AnythingLLM for Desktop
GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
⏱️ Quick Start | Open WebUI

具体安装方式就不赘述了，这些工具的安装配置网上随便一搜就有很多博主喂饭级的教程，一步步跟着做就行了。如果windows开启防火墙，需要允许入站11434。

这里说说我的实际使用感受吧。

必须首先提一下电脑配置。我的电脑是2年前买的当时想用来学AI画画。32G内存，12代i5，1T Nvme SSD，N记显卡 A2000 12G工包版，操作系统 Windows 11 LTSC 24H2。

看到一个说法，模型标号建议选和自己显卡内存接近的。我在刚装完Ollama之后首先选择的是deepseek-r1:7b模型。询问它的知识库截至日期，回答2024年7月，回答的没毛病并且速度能接受，优秀。但问多了也会犯天底下所有AI都会犯的错：一本正经的胡说八道。当然这跟模型规模也有关系。比如，问7b上海市长宁区有什么旅游景点，它的推荐名单里有“长宁区静安寺”。这是错误的，静安寺属于静安区，但确实离长宁和静安的交界处很近。所以直接上强度，下载32b模型再问。果然同样的问题32b上就不存在了，但代价是基本上只能每秒钟三四个汉字往外蹦的节奏。。。没事，能（mei）忍（qian）。

另一个很有意思的印象是，如果套用拟人化星座刻板印象来形容离线DS-R1，我会说它是处女座学霸。问它如何用1，2，3，6算24点，它原生就知道规则，但开启穷举尝试后一直都没能算对。鉴于我那破电脑感人的蹦字速度，算了十来次没成功后就按了ctrl + c放弃，并岔开话题问它24点是谁发明的。谁知它还会钻牛角尖，因为还处于同一个会话中，上下文中还保留着刚才的问题，所以居然又开始尝试用1，2，3，6怎么算24点。。。吐血。。。

不管怎样，总的说来DS确实很牛。尤其是配上AnythingLLM做前端之后上传自定义的文件做知识库。这对于一个注重隐私保护的应用（比如医院的业务）来说太重要了。