当前位置：首页 > news >正文

通过客户端Chatbox或OpenwebUI访问识别不到本地ollama中的模型等问题的解决

news 2025/7/8 7:33:42

Chatbox和Open WebUI 等无法获取到 Ollama里的模型，主要是由以下原因导致：

Ollama 服务未正确暴露给 Docker 容器或客户端
模型未正确下载或名称不匹配
网络配置或权限问题

排查以上问题的思路首先排查ollama服务是否启动，然后再看端口号

使用命令：ollama serve 来启动服务

（1）如果ollama服务没启动

（2）如果ollama服务启动了

第2种情况是我把服务端口把默认的11434端口改了

这个时候排查问题是用curl http://localhost:自定义的端口号或curl http://127.0.0.1:自定义的端口号，在你的宿主机上（就是安装了ollama的那个系统里打开cmd命令行，去执行）执行后如果没有返回Ollama is running 那就代表端口没有匹配

其他问题：先安装了ollama，然后从docker安装了Open WebUI。启动Open WebUI后，找不到ollama中已经下好的模型。

解决方案：换一个启动命令，其实就是docker容器可能无法直接访问宿主机的服务导致

docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always open-webui:latest
然后就可以打开open-webui：http://127.0.0.1:8080

问题2 如果 ollama 的部署是利用open webui 的docker-compose进行，ollama 的API service 在docker container 外就没法访问。例如用 anythingLLM 搭建私有知识库当选择 ollama 作为 LLM 时，API 没法调用。

原因分析
在 docker 中利用open-webui 部署 ollama 的模式下，open webui可以访问ollama，但是
docker container 中的 ollama service 本身没有暴露到 docker container 外部，需要设置ollama 端口；

具体做法

修改 open webui 下，修改 docker-compose.yaml, 加入ollama ports 相关的设置（黄色文字部分）：

重新执行 docker-compose 命令，进入open-webui 目录，执行如下的命令
docker-compose.exe -f .\docker-compose.yaml up -d

在浏览器输入 http://localhost:11434/,如果显示 Ollama is running,表示 ollama API service 可以在 docker container 外部访问了

下面是在windows中的默认安装过程有需要的直接参照执行就可以了

在Windows系统中，使用Ollama下载模型后，可以通过以下方法确保关闭命令行窗口后仍能启动模型：

1. 使用 `ollama serve` 启动Ollama服务

运行以下命令启动Ollama服务：

bash复制

ollama serve

这会将Ollama作为后台服务运行，即使关闭命令行窗口，服务也会继续运行。

2. 通过WebUI或API访问模型

如果启动了 ollama serve，可以通过Ollama的WebUI或API与模型交互，而无需直接在命令行中运行模型。

3. 查看和管理模型

查看已下载的模型：

bash复制
```
ollama list
```
查看正在运行的模型：

bash复制
```
ollama ps
```
停止正在运行的模型：

bash复制
```
ollama stop <model-name>
```
重新运行模型：

bash复制
```
ollama run <model-name>
```

如果需要重新启动某个模型，可以直接使用 ollama run 命令。

4. 配置Ollama环境变量

如果需要修改Ollama的默认设置（如模型存储路径或监听地址），可以通过配置环境变量来实现。

5. 使用任务管理器结束Ollama进程

如果需要完全关闭Ollama服务，可以通过任务管理器结束相关进程：

打开任务管理器。
找到名为“ollama.exe”或“Ollama app.exe”的进程。
选中并点击“结束任务”。

通过以上方法，即使关闭了命令行窗口，也可以随时重新启动并使用Ollama中的模型。