ubuntu ollama+dify实践

安装ollama

官网的指令太慢了，使用以下指令加速：

export OLLAMA_MIRROR="https://ghproxy.cn/https://github.com/ollama/ollama/releases/latest/download"
curl -fsSL https://ollama.com/install.sh | sed "s|https://ollama.com/download|$OLLAMA_MIRROR|g" | sh

修改环境变量

sudo systemctl stop ollama

参考链接

vim /etc/systemd/system/ollama.service

修改Restart为No使得ollama服务不自动重启

gedit ~/.bashrc

添加以下内容

export OLLAMA_HOST=0.0.0.0:11434 #修改host，使得所有ip都可以访问。
export OLLAMA_MODELS=/media/DISK4TB/personal/lbw/.ollama/models #修改模型存储路径
export OLLAMA_KEEP_ALIVE=24h #修改模型在线时间为24h

而后运行以下指令重启ollama serve

sudo systemctl stop ollama
sudo systemctl daemon-reload
sudo systemctl start ollama
ollama serve

windosw上修改环境变量：添加链接描述

运行ollama模型

ollama run llama3.2
等待模型下载后会运行

安装dify

参考链接 添加链接描述

通过docker运行即可。

在dify中配置ollama模型

在浏览器输入网址：http://localhost/signin

第一次登录需要注册，如果注册完了，就登录即可。

在右上角点设置->模型供应商->安装模型供应商->安装ollama

参考https://docs.dify.ai/zh-hans/development/models-integration/ollama 添加ollama，如图所示。
注意，模型名称需要准确，可以通过ollama ps 获得
基础URL可以填写本地ip地址即可

添加知识库

参考：添加链接描述
首先pull一个embedding model。
ollama pull bge-m3
而后，在dify上添加一下,和添加LLM一样的步骤，只不过选择Text embedding