xinference 安装（http导致错误解决）

为什么要使用xinference

安装xinference

环境

1）conda create -n Xinference python=3.11

注意：3.9 3.10均可能出现xinference 安装时候出现numpy兼容性，以及无法安装all版本

错误： error while attempting to bind on address，no dictory等错误，是由于ssl启动错误引起的。 建议直接安装xinference all版本

注意：单部署

启动：xinference-local --host 127.0.0.1 --port 9997

分类启动

前端：xinference-local --host 127.0.0.1 --port 9997

后端：nohup xinference-local --host 127.0.0.1 --port 9997 & > output.log

涉及版本有

# CUDA/CPU 

pip install "xinference[transformers]" 

pip install "xinference[vllm]" 

pip install "xinference[sglang]" 

# Metal(MPS) 

pip install "xinference[mlx]" 

CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python

普通启动：xinference-local --host 0.0.0.0 --port 9997

模型启动：

# CUDA/CPU XINFERENCE_HOME=/path/.xinference XINFERENCE_MODEL_SRC=modelscope xinference-local --host 0.0.0.0 --port 9997

# Metal(MPS)

XINFERENCE_HOME=/path/.xinference XINFERENCE_MODEL_SRC=modelscope PYTORCH_ENABLE_MPS_FALLBACK=1 xinference-local --host 0.0.0.0 --port 9997

Xinference支持集群部署

主服务器启动 Supervisor

部署启动： xinference-supervisor -H 192.168.31.100 --port 9997

其他服务器启动 Worker

# 格式 xinference-worker -e "http://${主服务器IP}:9997" -H 当前服务器IP(子服务器IP) # 示例 xinference-worker -e "http://192.168.31.100:9997" -H 192.168.31.101

访问doc地址：http://localhost:9997/docs

（1）注册模型

xinference register --model-type LLM --file custom-glm4-chat.json --persist

（2）启动模型　　　　　　

xinference launch --model-name custom-glm4-chat --model-format pytorch --model-engine Transformers

Langchain-chatchat

错误1

"C:\Users\Administrator\Desktop\Langchain-Chatchat-master\libs\chatchat-server\chatchat\webui_pages\kb_chat.py", line 118, in kb_chat kb_list = [x["kb_name"] for x in api.list_knowledge_bases()

{ "input": "The food was delicious and the waiter...", "model": "360Zhinao-search", "encoding_format": "float" }

注意注意：

请用pip list查看自己httpx版本，我发现最新httpx==0.28.0是不行的，需要0.27.2版本才可以，重新安装后就不会报错了

导致错误是

langchain-chatchat报错Client.__init__() got an unexpected keyword argument ‘proxies‘

错误2

RuntimeError: Cluster is not available after multiple attempts

主要由于启动ip地址host错误，突出表现为0.0.0.0地址，应该本地化使用127.0.0.1