RAG实战：本地部署ragflow+ollama（linux）

1.部署ragflow

1.1安装配置docker

因为ragflow需要诸如elasticsearch、mysql、redis等一系列三方依赖，所以用docker是最简便的方法。

docker安装可参考Linux安装Docker完整教程，安装后修改docker配置如下：

vim /etc/docker/daemon.json
{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"live-restore": true,"registry-mirrors": ["https://docker.211678.top","https://docker.1panel.live","https://hub.rat.dev","https://docker.m.daocloud.io","https://do.nark.eu.org","https://dockerpull.com","https://dockerproxy.cn","https://docker.awsl9527.cn/"]
}

修改后重新加载配置并重启docker服务：

systemctl daemon-reload && systemctl restart docker

1.2 配置ragflow

​
git clone https://github.com/infiniflow/ragflow.git
cd ragflow/docker
docker compose -f docker-compose.yml up -d构建docker环境期间，有遇到elasticsearch下载失败的情况，于是将docker-compose-base.yml中的
image: docker.elastic.co/elasticsearch/elasticsearch:${STACK_VERSION}
改成：
image: elasticsearch:${STACK_VERSION}
​

环境构建完成后，确认服务器状态：

docker logs --tail 100 -f ragflow-server

出现以下界面提示说明服务器启动成功：

     ____   ___    ______ ______ __               / __ \ /   |  / ____// ____// /____  _      __/ /_/ // /| | / / __ / /_   / // __ \| | /| / // _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ / /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/  * Running on all addresses (0.0.0.0)* Running on http://127.0.0.1:9380* Running on http://x.x.x.x:9380INFO:werkzeug:Press CTRL+C to quit

此时，通过docker ps可以看到运行中的容器：

如果要停止服务：docker stop $(docker ps -q)

1.3 登陆ragflow页面

在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。只需输入 http://IP_OF_YOUR_MACHINE 即可：未改动过配置则无需输入端口（默认的 HTTP 服务端口 80，如需修改端口，修改docker-compose.yml中ports下面80前面端口号）

你将在浏览器中看到如下界面，第一次要注册一个账号，邮箱随便填。

2.部署ollama

2.1下载ollama

# 两种下载方式：
# 方法一：
curl -fsSL https://ollama.com/install.sh | sh# 方法二：
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
sudo tar -C /usr -xzf ollama-linux-amd64.tgz

2.2 启动

ollama serve

2.3 下载大模型

以qwen2-7b为例，其他模型可以去https://ollama.com/library搜索。

方法一：ollama run qwen2:7b

模型文件比较大，如果上述方法网络不稳定，可以使用下面的方法二。

方法二：

        ①去https://huggingface.co/models?library=gguf下载gguf格式的模型文件，根据所需，选择一个下载，如Qwen2-7B-Instruct.Q4_K_M.gguf

        ②创建一个构造文件qwen2-7b.modelfile（自由命名），文件的内容为你下载的模型文件路径，如：

FROM ./Qwen2-7B-Instruct.Q4_K_M.gguf

        ③构造

ollama create qwen2-7b -f qwen2-7b.modelfile

构造完成后执行ollama list即可看到你构造的模型。如：

$ollama list
NAME                  ID              SIZE      MODIFIED      
qwen2-7b:latest       0151b69b0ffa    4.7 GB    1 weeks ago

测试：

ollama run qwen2-7b "你是谁？"

2.4 补充其他两种调用方式

url调用：

curl http://localhost:11434/api/chat -d '{"model": "qwen2-7b","messages": [{ "role": "user", "content": "你是谁？" }]
}'

python代码调用：

import requests
import jsondef send_message_to_ollama(message, port=11434):url = f"http://localhost:{port}/api/chat"payload = {"model": "qwen2-7b","messages": [{"role": "user", "content": message}]}response = requests.post(url, json=payload)if response.status_code == 200:response_content = ""for line in response.iter_lines():if line:response_content += json.loads(line)["message"]["content"]return response_contentelse:return f"Error: {response.status_code} - {response.text}"if __name__ == "__main__":user_input = "why is the sky blue?"response = send_message_to_ollama(user_input)print("Ollama's response:")print(response)

3.在ragflow中配置ollama

3.1 添加LLM

登陆ragflow，点击右上角的头像，找到模型供应商-选择Ollama-添加模型

在 RagFlow 中配置模型时，由于 RagFlow 是通过 Docker 安装的，因此需要使用以下地址连接本地部署的 Ollama：http://host.docker.internal:11434

若要部署embedding模型，方式与2.3和3.1一样。

3.2 构建知识库 & 聊天

后续的使用步骤均在页面上操作，比较简单易懂，就省略了。