DeepSeek本地化部署

---

前言

最近的国产大模型DeepSeek横空出事，笔者也关注了下。网页版的免费而且推理速度很快，重量级的是它把自己详细的推理思考过程展示了出来，回答的问题和给出的各种解决方案更详细、完善，可以说是碾压了其他所有的国产大模型。但是网页版的总是服务器爆满，最近受到的西方国家黑客攻击又很多，体验不是很好。所以想着能本地部署下自己一个人使用就好了，于是笔者上网搜索了下资料，在自己的主机上搞了一套，但是结果却差强人意，将就着能用吧，就是慢了点，下面把安装部署的详细步骤展示给大家，感兴趣的可以自己试着部署玩一玩。

---

一、主机配置

笔者的主机基本配置如下
操作系统：windows11专业版
显卡：4090(24G显存)
处理器：Intel® Core™ i9-14900KF 3.20 GHz

这个配置可以说不错了，尽管市面上5090出来了，但是其实效果都一样，只有英伟达的计算显卡(H100、A100、RTX 6000 Ada等)才行，不过价格都是几万到十几万元，最新的GB200售价在3万-4万美元。普通消费级游戏显卡算力完全不行。我们平时玩游戏的显卡图形渲染能力强，专门用来玩各种3A大作。

• 游戏显卡：
  主要针对游戏、图形渲染、视频编辑等消费级场景，优化实时图形性能（如高帧率、光线追踪）。

• 计算显卡：
  面向科学计算、深度学习、AI训练、工程模拟等专业领域，注重并行计算能力和稳定性。

二、工具下载

Ollama下载安装

Ollama官网地址

下载windows上的，其他操作系统下载对应的即可

这个由于是外网下载很慢的，笔者通过一些其他手段下了下来，已经上传到文章顶部的资源压缩包了，可以自己下载解压，或者愿意等的自己从官网上慢慢下载就行

这个Ollama应用程序点击安装，默认直接是安装到C盘的，也没法设置其他自定义路径。。。
安装好后默认是运行的，电脑右下角隐藏图标多一个小猪头，鼠标放上去有两个选项

• View Logs：查看日志的
• Quit Ollama： 退出Ollama

安装好后，管理员身份打开CMD，键入以下命令

ollama -v

可以看到Ollama安装成功了

退出Ollama

上面的步骤说了，右下角的图标有个Quit Ollama，退出Ollama，点一下后，再次在cmd中输入ollama -v

找不到正在运行的Ollama实例了，怎么办呢，当我们关机后开机怎么重新运行Ollama服务？莫急，只需要在电脑左下角搜索框输入Ollama就可以找到刚才添加的应用，鼠标左键点击一下，就可以了。

cmd再次查看运行情况

当然你也可以把这个Ollama应用发送快捷方式到桌面上去，方便下次使用。

下载DeepSeek R1模型

1. 选择模型：Ollama软件安装完成后，便要获取DeepSeek R1模型。再次打开Ollama官网，点击“Models”，在众多模型中，“deepseek - r1”位列榜首，十分醒目。
   
   可以看到有1.5b，7b，14b，32b，70b，621b这些不同参数个数的模型，分别代表15亿，70亿，140亿，320亿，700亿，6210亿。当然训练参数个数越多，模型的能力越强了。点击进入，一般的电脑你就下载7b、14b就差不多了，像笔者的配置就可以下载32b。不过笔者一开始下载的是70b，也能跑，但是速度很慢，所以后面就又下载了32b。
   
   选择32b，复制后面的运行命令
   

把复制的命令在cmd中执行，注意执行期间ollama不能退出，否则就会像我一样下载失败，再次运行命令

下载安装ChatBox实现可视化交互

上面的交互是在cmd上进行的，不是很友好，这里有个工具ChatBox，集成了很多大模型，实现可视化交互

ChatBox下载地址

这个下载速度比较快了，不过笔者也在文章顶部的资源压缩包里一并提供了，点击安装即可

ChatBox设置模型

选择Ollama API，模型选择deepseek-r1:70b(或者下载的32b就选32b)

上面的设置好后就可以使用ChatBox进行可视化交互了

70b的运行速度比较慢，32b可能会好点吧，不明白的评论区找我！