人工智能|本地部署|ollama+chatbox快速Windows10下部署（初级篇）

一、

前言：

其实早一个月我已经使用过deepseek，并且也在自己的机器上通过ollama部署过，但一直没有太多动力，现在感觉还是的记录一下，省的自己给忘掉了

本文只是简单记录一下ollama+open-webui+chatbox部署通过网盘分享的文件：DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf
链接: https://pan.baidu.com/s/1aQ0FqspQIKk0eq2IoeCCiw?pwd=4xtk 提取码: 4xtk 
--来自百度网盘超级会员v6的分享这个模型

二、

环境要求

至少是Windows10， 内存至少16G，本人是32G，cpu至少13代，建议硬件资源越高越好，推理速度会好很多，体验不至于太差

至于其它的东西，比如python环境，cuda环境，cudnn等等这些通通不需要

当然了，显卡如果比较好的话，那自然是好事一件，如果比较差，这个也无所谓，关键是内存和cpu，我的机器经常把内存打满，有时候就比较无语

三。

ollama安装包和chatbox安装包

通过网盘分享的文件：OllamaSetup.exe
链接: https://pan.baidu.com/s/1DluxyKi_onBsLvWCUTspbA?pwd=1v65 提取码: 1v65 
通过网盘分享的文件：Chatbox.exe
链接: https://pan.baidu.com/s/1MTGTiB5rII5dBhgsY2x87g?pwd=sqq5 提取码: sqq5 

大模型文件：

链接:https://pan.baidu.com/s/1aQ0FqspQIKk0eq2IoeCCiw?pwd=4xtk 提取码:4xtk 

ollama在Windows下安装非常方便，就不在这过多废话了，同样的，chatbox也是一样，无脑安装就完事，如果安装不了，那么只能说以后不要碰电脑了，这些东西你把握不了

🆗，一般ollama安装完毕后，就有环境变量了，可以直接在cmd里运行

下面就开始一般步骤了：

1、

ollama导入大模型

先新建一个随意的文本文件，该文件是配置文件，名字无所谓，内容如下：

# Modelfile
FROM G:\software\DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf
PARAMETER num_ctx 4096
PARAMETER temperature 0.8
SYSTEM """你是一个擅长中文对话的AI助手，回答需简洁专业。"""

然后打开cmd，假设我的配置文件名字Modelfile.txt，那么，命令为：

ollama create test2 -f G:\software\Modelfile.txt

这里，我定义该自定义模型名称为test2，前面的DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf 将会复制到C:\Users\Administrator\.ollama\models 这个目录下

🆗，这样就轻松导入了，大概等待几分钟的样子，这个时候还需要run一下，run完后，也同时作为服务发布到了本地也就是127.0.0.1:11434 这个端口了，此时，ollama serve 命令不可执行，会报错

🆗，此时chatbox就可以派上用场了，由于两者是安装在一个机器上的，因此，很轻易的就可以配置使用了

这里看着对话很多，但都没有什么卵用，可以删除掉，点。。。编辑就可以删除掉

有很多，选择OLLAMA API就行

前面定义的是test:v1 并且run 过了，因此，可以在这里看到，如果run的有很多模型，下拉可以看到

然后保存就完事了，就已经可以体验了，如果遇到报错，重启就行了：

============================================================

推理的时候主要是用cpu和内存，gpu用的很少 ，推理速度和官网速度差不多，但质量方面来说一言难尽，毕竟gguf文件是裁剪过的大模型，可能会有很多错误。

我的显卡是4060Ti，8g内存，完全够跑这个模型

下次在说说如何使用nginx+open-webui 发布大模型服务