win10 A4000 下使用Xinference来进行大模型的推理测试

创建环境
conda remove --name xinference --all
conda create --name xinference python=3.10
conda activate xinference
安装：
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

pip install tiktoken sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install “xinference[transformers]” -i https://pypi.tuna.tsinghua.edu.cn/simple
xinference-local
测试：
进入 http://127.0.0.1:9997
安装EMBEDDING model:bge-large-zh-v1.5 参数：
Replica:1
Device:GPU

安装Language Model:qwen1.5-chat 参数：
Model Engine:Transformers
Model Format:pytorch
Model_size:1.5
Quantization:none
N-GPU:auto
Replica:1
启动模型
即可尝试http://127.0.0.1:9997/qwen1.5-chat/中测试了

可以通过Register Model来注册本地模型。