在Ubuntu服务器上部署xinference

一、拉取镜像

docker pull xprobe/xinference:latest

二、启动容器（GPU）

docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0

# 启动一个新的Docker容器
docker run
# 以分离（后台）模式运行容器
-d
# 将容器命名为"xinference"
--name xinference
# 设置环境变量，指定Xinference的主目录为容器内的
-e XINFERENCE_MODEL_SRC=modelscope 
# 将容器的9997端口映射到主机的9997端口
-p 9997:9997
# 允许容器使用主机上的所有GPU资源
--gpus all 
# 使用最新版本的xprobe/xinference镜像
xprobe/xinference:latest 
# 在容器内运行xinference-local命令，并设置主机地址为0.0.0.0（允许从任何IP地址访问）
xinference-local -H 0.0.0.0

三、访问

网址：http://localhost:9997

参考链接：

Docker 镜像 — Xinference

本地如何使用docker部署和使用Xinference_xinference docker部署-CSDN博客

Xinference本地直接安装、打开、部署、测试模型、api调用_xinference本地部署-CSDN博客

DeepSeek+Ollama+Xinference+RAGFlow+Dify部署教程，RAG落地5件套！