Windows电脑本地部署运行DeepSeek R1大模型（基于Ollama和Chatbox）

一、环境准备

电脑配置越高可以运行版本更高的DeepSeek R1模型。
DeepSeek R1模型版本越高，参数越多，模型越大，效果越好。

我的电脑配置如下

• CPU：R7 5800
• 显卡：RTX3060 12G独显
• 内存：32G
• 网络：需要稳定的互联网连接以下载模型文件。

二、安装Ollama

2.1 访问Ollama官方网站

• Ollama官方网站：https://ollama.com/

2.2 下载适用于Windows的安装包

• 单击右上角“Download”按钮

2.3 安装Ollama安装包

• 双击安装包，按照安装向导的提示完成安装。
• 安装完成后，可以在开始菜单中找到Ollama。

• 不过这种方式只能安装在C盘（C:\Users\weijian\AppData\Local\Programs\Ollama）
• 这个安装包还不够完善，没有选择安装路径的选项。

2.4 指定Ollama安装目录

• 通过0llamaSetup.exe /dir="D:\Program Files\0llama”命令可以指定Ollama安装目录

C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>0llamaSetup.exe /dir="D:\Program Files\0llama”

2.5 指定Ollama的大模型的存储目录

• 打开 “开始” 菜单，搜索 “环境变量”，点击 “编辑系统环境变量”。
• 在 “系统属性” 窗口中，点击 “环境变量” 按钮。
• 在 “用户变量” 下，点击 “新建”，输入变量名 “ollama_models”，变量值为你想要存储模型的目录路径，如 “D:\ollama_models”，点击 “确定” 保存更改。
• 若 Ollama 已经在运行，需先关闭托盘应用程序，然后从开始菜单重新启动，或在保存环境变量后启动新的终端。

三、选择DeepSeek R1模型

• DeepSeek-R1有多种版本，适配不同的硬件配置（如下图）。
• 主要取决于GPU的显存大小。
• 注意：是GPU的显存，不是电脑的内存。

• 简单列举了几个高性能显卡的参数。

显卡 型号	性能评级	显存容量	显存类型
RTX 4090	S	24GB	GDDR6X
RX 7900 XTX	S	24GB	GDDR6
RTX 4080 SUPER	A+	16GB	GDDR6X
RX 7900 XT	A+	20GB	GDDR6
RTX 4070 Ti SUPER	A	12GB	GDDR6X
RX 7900 GRE	A	16GB	GDDR6
RTX 3090 Ti	A	24GB	GDDR6X
RX 6950 XT	A	16GB	GDDR6
RTX 4070 Ti	A	12GB	GDDR6X
RX 7800 XT	A-	16GB	GDDR6

四、下载并运行DeepSeek R1模型

• 打开 Windows PowerShell（管理员）或终端管理员。
• 输入以下命令下载模型（以 8B 版本为例）：

ollama run deepseek-r1:8b

• 下载完成后，模型会自动运行，您可以在终端与模型进行交互，输入问题或任务，模型将提供相应的响应。
• 如果需要重新进入模型交互界面，可以在 PowerShell 中输入以下命令：

ollama run deepseek-r1:8b

五、使用Chatbox进行交互

5.1 下载Chatbox安装包

• 访问Chatbox官方网站（https://chatboxai.app/zh），下载适用于 Windows 的版本。

5.2 安装并启动 Chatbox

5.3 配置Chatbox

• API类型：选择 “OLLAMA API”。
• 接口地址：填写 http://localhost:11434。
• 模型名称：填写 deepseek-r1:8b，确保与之前下载的模型版本一致。

• 最后就可以在本地使用DeepSeek R1模型啦

六、常见问题解答

• 模型加载时间过长：可能是由于硬件性能或网络速度限制。请确保系统满足模型的硬件要求，并检查网络连接。
• 内存不足错误：考虑使用较小的模型版本或升级硬件配置。
• 模型响应不准确：确保按照推荐的配置使用模型，例如将温度设置在 0.5-0.7 之间，并避免添加系统提示符。
• 启动Ollama报错：Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
  • netstat -aon | findstr 11434：查找占用端口的进程。
  • tasklist | findstr "6892"：查看该进程的详细信息。
  • taskkill /PID 6872 /F：杀死该进程。

六、总结

主要使用两个开源软件，才将DeepSeek R1大模型运行起来。

6.1 Ollama介绍

Ollama 是一个开源的框架，主要用于在本地机器上便捷地部署和运行大型语言模型（LLM）。以下是关于 Ollama 的详细介绍：

• 简化部署：Ollama的设计目标是简化在Docker容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。
• 轻量级与可扩展：作为一个轻量级框架，Ollama保持了较小的资源占用，同时具备良好的可扩展性，允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
• API 支持：Ollama提供了一个简洁的API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。
• 预构建模型库：Ollama包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。
• 模型导入与定制：Ollama支持从特定平台（如GGUF）或其他深度学习框架（如PyTorch或Safetensors）导入已有的大型语言模型，并允许用户为模型添加或修改提示（prompt engineering）

6.2 Chatbox介绍

Chatbox 是一款开源的聊天界面工具，专为与本地运行的大型语言模型（如 Ollama、Llama、Vicuna 等）进行交互而设计。

它提供了一个简单易用的图形用户界面（GUI），使用户能够更方便地与本地部署的语言模型进行对话，而无需编写复杂的代码或使用命令行工具。

---

若觉得文章对你有帮助，随手『点赞』、『收藏』、『关注』，也是对我的支持。