deepseek-r1-centos-本地服务器配置方法

参考：
纯小白 Centos 部署DeepSeek指南_centos部署deepseek-CSDN博客
https://blog.csdn.net/xingxin550/article/details/145574080

手把手教大家如何在Centos7系统中安装Deepseek，一文搞定_centos部署deepseek-CSDN博客
https://blog.csdn.net/soso678/article/details/145670623

DeepSeek R1、V3的1.5b/7b/32b/70b和671b模型，本地部署硬件要求对应表丨AI 指南
https://aizhinan.cc/217

使用 Docker 安装 Open WebUI 并集成 Ollama 的 DeepSeek 模型_基于 docker 部署 open-webui 并配置集成 ollama 服务-CSDN博客
https://blog.csdn.net/qq_36693723/article/details/145597221

解决关于Docker运行容器使用GPU资源时的异常：could not select device driver ““ with capabilities: [[gpu]]_error response from daemon: could not select devic-CSDN博客
https://blog.csdn.net/qq_38628046/article/details/136312844

Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

centos7.9中安装dnf；bash: dnf: command not found… - 小鲨鱼2018 - 博客园
https://www.cnblogs.com/liujiaxin2018/p/14942564.html

🚧 服务器连接问题 | Open WebUI
https://openwebui-doc-zh.pages.dev/troubleshooting/connection-error/

Ubuntu 安装openwebui，部署私人本地AI（deepseek） - SaiitaのBlog
https://www.saiita.com.cn/note/computer/ai/open-webui/ubuntu-%E5%AE%89%E8%A3%85openwebui%E9%83%A8%E7%BD%B2%E7%A7%81%E4%BA%BA%E6%9C%AC%E5%9C%B0aideepseek.html

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)
https://github.com/open-webui/open-webui

Open WebUI 版本 v0.5.10（最新版）普通用户无法查看模型解决_openwebui用户看不到模型-CSDN博客
https://blog.csdn.net/jxyk2007/article/details/145608193

---

问题描述

公司要求配置一个本地的deepseek。

解决方案

安装ollama

首先检查系统架构，比如我是x86_64就下载后缀是amd64的

uname -m

然后去github上（https://github.com/ollama/ollama）下载安装包，解压到指定目录。

tar -zxvf ollama-linux-amd64.tgz

配置ollama

vi /etc/systemd/system/ollama.service	内容如下：[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/安装目录/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"[Install]
WantedBy=default.target

配置环境变量：

vi ~/.bashrcexport PATH="/安装目录/ollama/bin:$PATH"

然后source一下。

检查是否安装成功：

ollama -v

启动：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

测试访问：
浏览器输入ip:11434（配置时指定的端口），如下图显示就是成功了。

安装模型

模型版本选择

首先，deepseek模型中的1.5b，7b等代表模型的参数量，单位是B（Billion，十亿），所以参数量越大：

1. 模型的理解和生成能力越强，但也需要更多的计算资源
2. 对内存和显存的要求越高
3. 推理速度越慢，尤其是资源不足的时候。

检查系统资源，以确保服务器资源足够支持模型运行：

• CPU/GPU：使用nvidia-smi（如有GPU）或htop检查资源使用情况
• 内存：使用free -h查看内存使用情况
• 存储：使用df -h检查存储空间

然后参考下表的要求（更多细节参见顶端参考文章3）：

安装模型

我选择了7b，所以这样安装：

ollama pull deepseek-r1:7b

下图这样就是装好了。

测试：

ollama run deepseek-r1:7b

退出对话：

ctrl+d

网页访问

拉取docker容器open-webui。

这个是cpu版本：

docker run -d --network=host -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

效果：

第一次使用时先注册管理员账号，然后就可以使用了。

gpu版本：

docker run -d --network=host --gpus all --add-host=host.docker.internal:host-gateway -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui-gpu --restart always  ghcr.io/open-webui/open-webui:cuda

网页访问的设置

1. 加入联网搜索。duckduckgo是免费的
   
2. 展示所有模型
   
3. 这个OpenAI API要关掉，不然登录后会白屏很久
   
4. 设置默认用户角色，允许新用户注册
   
5. 设置模型为Public。一定要设置这里，不然用户注册进来看不到。
   
   

报错解决

1. could not select device driver ““ with capabilities: [[gpu]]
   这个是需要安装nvidia-container-toolkit。参考nvidia官网的解法如下所示：
   1）Configure the production repository:

   curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
   sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
   

   Optionally, configure the repository to use experimental packages:

   sudo dnf-config-manager --enable nvidia-container-toolkit-experimental
   

   2）Install the NVIDIA Container Toolkit packages:

   sudo dnf install -y nvidia-container-toolkit
   

   安装完后需要重启docker。

2. dnf: command not found

   yum install epel-release
   yum install dnf
   

3. docker容器开启了但是浏览器拒绝访问
   参见官网给的指示，我用的是红线部分。

   docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   

   
   

   HuggingFaceSSL
   docker run -d -p 3000:8080 -e HF_ENDPOINT=https://hf-mirror.com/ --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainMac
   podman run -d --network slirp4netns:allow_host_loopback=true -p 3000:8080 -e OLLAMA_BASE_URL=http://host.containers.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
   

4. 登录之后白屏很久