Ollama本地部署deepseek-r1蒸馏版

Docker安装Ollama

• 拉取镜像

  docker pull ollama/ollama
  

  ​

• 启动-使用GPU

  docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama
  

  1. docker run : Docker 的核心命令，用于创建并启动一个新的容器。

  2. -d : 后台模式（detached mode），容器将在后台运行，不会阻塞当前终端。

  3. --gpus=all : 启用 NVIDIA GPU 支持，指定使用所有可用的 GPU。

     --gpus：启用 GPU 支持。

     all：使用所有可用的 GPU。也可以指定特定的 GPU，例如 --gpus=gpu-0,gpu-1。

  4. -p 11434:11434 ： 端口映射，将容器内的端口映射到宿主机的端口。

     格式为 -p <宿主机端口>:<容器端口>。

     在此命令中，将容器的 11434 端口映射到宿主机的 11434 端口，可通过 localhost:11434 访问容器内的服务。

  5. --name ollama ：为容器指定名称，此处将容器命名为 ollama。如果不指定，Docker 会自动生成一个随机名称。

  6. ollama/ollama ：指定使用的 Docker 镜像名称，ollama/ollama 是 Ollama 的官方镜像，从 Docker Hub 拉取，就是我们刚刚拉取的。

• 启动-使用CPU

  docker run -d  -p 11434:11434 --name ollama ollama/ollama
  

  ​ 下面的是用GPU的

• 查看ollama是否启动成功

  在本机浏览器中输入

  http://127.0.0.1:11434

  显示 Ollama is running 则为启动成功

  

• 查看ollama支持的模型

  https://ollama.com/library

  在这个里面可以看到所有支持的模型，比如搜索deepseek-r1, 如下图，最后一个箭头就是在ollama中运行deepseekr1-1.5b的命令。备注：deepseekr1-1.5b是deepseekr1在qwen2.5-1.5b的蒸馏版本。

  ​

• 进入ollama容器中

  docker exec -it ollama /bin/bash
  

  

• 下载模型

  使用刚刚复制的命令

  ollama run deepseek-r1:1.5b
  

  如果之前没有，那么第一次使用会先下载模型，等待下载完毕即可使用

  ​

• 在本地可以使用chatbox，或者openwebui，或者cherrystudio等等接入ollama的模型，下面以cherrystudio为例子示范一下

  ​

  点击管理，会自动识别出已有的大模型（比如我们刚刚下载的deepseekr1-1.5b）

  ​

  检查

  ​

  显示连接成功

  ​

  切换到聊天，新建聊天窗口，切换模型，开始聊天

  ​

  可以看到正常返回了。

  ---