Centos7系统基于docker下载ollama部署Deepseek-r1（GPU版不踩坑）

 

目录

一、Docker下载安装

 二、Ollama安装

三、部署Deepseek-R1

---

一、Docker下载安装

1、更新源

sudo yum update -y

2、下载依赖包

yum install -y yum-utils device-mapper-persistent-data lvm2

3、添加docker远程仓库地址

yum-config-manager --add-repo http://download.docker.com/linux/centos/docker-ce.repo（中央仓库）yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo（阿里仓库）

4、下载安装docker

sudo yum install docker-ce

5、启动docker，并设置开机自启动

sudo systemctl start docker
sudo systemctl enable docker

下面的docker的一些其他设置，不需要的可忽略：

1、GPU版NVIDIA Container Toolkit（CPU忽略）

#添加仓库
sudo yum-config-manager --add-repo https://nvidia.github.io/nvidia-docker/centos7/nvidia-docker.repo
#下载
sudo yum install -y nvidia-docker2

会自动下载一些容器

同时会自动创建一个docker的配置文件/etc/docker/daemon.json，其内容为：

{"runtimes": {"nvidia": {"path": "nvidia-container-runtime","runtimeArgs": []}}
}

2、修改docker安装目录（非必要）

因为根目录满了，所以挂载到其他目录下。

# 创建目标目录
mkdir /mnt/llm/soft/docker
# 停止docker服务
sudo systemctl stop docker
# 复制安装目录内容
sudo cp -r /var/lib/docker/* /mnt/llm/soft/docker 
# 修改配置文件
vi /etc/docker/daemon.json
# 添加自定义安装路径
"data-root": "/mnt/llm/soft/docker"

 二、Ollama安装

1、先为docker添加国内源，这样下载速度更快

"registry-mirrors": [
"https://docker.m.daocloud.io",
"https://docker.imgdb.de"
]

2、下载镜像

docker pull ollama/ollama

3、运行ollama

# GPU版
docker run -d --gpus=all -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
# CPU版
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 

4、进入容器验证

docker exec -it 3e0510ca4aa9 /bin/bash

 

三、部署Deepseek-R1

1、查看运行容器id

docker ps

 2、进入容器内部验证ollama和GPU

# ollama安装验证，查看模型
ollama list
# GPU设置验证
nvidia-smi

 3、下载并安装Deepseek-r1

这里利用ollama工具可以下载它兼容的大模型，查看ollama官方模型链接https://ollama.com/search

 

# 运行deepseek-r1，第一次运行是会自动下载的，默认是7b
ollama run deepseek-r1
# 后缀指定模型大小
ollama run deepseek-r1:70b

至此成功完成部署！