linux部署ollama+deepseek+dify

Ollama

1. 下载源码

curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

2. 启动

export OLLAMA_HOST=0.0.0.0:11434
ollama serve

3. 访问ip:11434看到即成功

Ollama is running

手动安装deepseek1.5b

https://modelscope.cn/

1. 下载GGUF文件
   
   
2. 将GGUF上传到服务器，同目录下创建模型文件dsr1-1.5b.txt,注意第一句FROM后是GGUF的文件名

FROM DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf    
PARAMETER temperature 0.7                       
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 1024                 
PARAMETER num_thread 4                  
PARAMETER num_gpu 8                     # 设置对话终止符
PARAMETER stop "<｜begin▁of▁sentence｜>"
PARAMETER stop "<｜end▁of▁sentence｜>"
PARAMETER stop "<｜User｜>"
PARAMETER stop "<｜Assistant｜>"SYSTEM """
"""TEMPLATE """{{- if .System }}{{ .System }}{{ end }} 
{{- range $i, $_ := .Messages }} 
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<｜User｜>{{ .Content }}
{{- else if eq .Role "assistant" }}<｜Assistant｜>{{ .Content }}{{- if not $last }}<｜end▁of▁sentence｜>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<｜Assistant｜>{{- end }} 
{{- end }}"""

3.** ollama执行命令导入模型，可以查看模型导入成功**

ollama create deepseek-r1:1.5b -f dsr1-1.5b.txt
ollama list

4. 直接运行1.5b,可以进行简单的问题，模型部署成功

ollama run deepseek-r1:1.5b

docker 安装dify

详情查看官方文档，https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose

难点一：需要注意的是，docker compose up -d容器启动不成功的话需要根据具体情况修改部分配置。

举例：本机安装了nginx，非docker部署的，dify 的docker compose拉取的nginx出现了端口冲突，需要修改difynginx的端口号。

1. 将docker目录下的.env.example 中的80 443 修改为 8088和8443，再次执行cp .env.example .env，将实际修改同步到.env文件。
2. docker-compose文件修改
   把此文件的所有443修改为8443 以及所有443前后行的80 修改为8088,之后再次执行docker compose up -d。全部启动成功后，即可访问dify，此时dify不是教程上的ip/install了，需要ip:8088/install访问，nginx变了你懂的。

难点二：镜像拉不下来

为何linux无法使用curl一键拉取ollama呢是不是，ollama又为何不可以直接pull模型呢是不是，所有dify拉不下来镜像也是应该的。
window的dify必须使用wsl的linux环境去部署，不然可能会出现莫名的问题，wsl下是很顺利地，安装dify后，将镜像打包成tar。

如图所示，全部手动上传服务器，然后load -i导入进去即可。然后执行docker compose up -d。
docker compose up -d执行不成功的话，docker-compose down可以进行删除。

dify知识库的话还需要一个嵌入模型，也同deepseek一起导入ollama即可。