red hat系统离线部署Deepseek

一个人在单位离线部署踩了不少坑，记录一下

模型准备

1.huggingface下载gguf文件，将文件放到相应目录(例如E:/AI文件夹)
2.在文件夹内用文本建一个文件，命名Modelfile(删除txt后缀)
3.用文本编辑器打开Modelfile，在文本内输入 from ./模型名称.gguf 然后保存
4.在放模型的文件夹内，点击右键-点击·在终端中打开·然后输入 ollama create 模型名称 -f./modelfile按 Enter健 就会进行转换

Ollama
docker pull ollama:lastest
运行ollama
docker run -p 11434:11434 -v /home:/root/.ollama/models ollama/ollama:latest
因为默认模型地址不够70b大小，-v /home:/root/.ollama/models意思将模型放到/home目录下
执行curl 172.13.1.1:11434，回复ollama is running

工程挂载

使用的open-webui
https://docs.openwebui.com/getting-started/quick-start/
拉镜像
docker pull ghcr.io/open-webui/open-webui:cuda
运行镜像(以下方式才能识别到虚拟机里运行的ollama，不然Open WebUI识别不到本地ollama中的模型)
docker run -d -p 3000:8000 -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://172.13.1.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

浏览器输入172.13.1.1:3000进入openwebui官网