网易有道QAnything使用CPU模式和openAI接口安装部署

网易有道QAnything可以使用本地部署大模型（官网例子为qwen）也可以使用大模型接口(OPENAI或者其他大模型AI接口 )的方式，使用在线大模型API接口好处就是不需要太高的硬件配置。
本机环境windows11 首先安装WSL环境, 安装方法参考https://zhuanlan.zhihu.com/p/671942941
安装好WSL环境后，启动WSL安装的ubuntu，
然后在ubuntu下安装git
下面安装git和git-lfs

sudo apt install git

安装 Git LFS

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs

设置 Git LFS： 安装完 Git LFS 后，你需要运行一次 git lfs install 来设置它：

git lfs install

安装QAnything(我这里使用的是纯Python环境CPU openai模式，目前只有纯Python环境支持CPU模式)

#安装pip 
sudo apt install python3-pip
#安装 OpenGL的库文件libGL.so.1
sudo apt-get install libgl1-mesa-glx
#安装QAnything
git clone -b qanything-python https://github.com/netease-youdao/QAnything.git
cd QAnything
pip install -e .
#安装一些必要的包
pip install -r requirements.txt

修改qanything_kernel/connector/llm/llm_for_openai_api.py程序中top_p参数值，否则运行qwen模型会报错
Error code: 400 - {‘error’: {‘code’: ‘invalid_parameter_error’, ‘param’: None, ‘message’: ‘Range of top_p should be (0.0, 1.0)’, ‘type’: ‘invalid_request_error’}}

top_p: float = 0.9 # top_p must be (0,1] 修改值为0到1之间

修改scripts/run_for_openai_api_with_cpu_in_Linux_or_WSL.sh中对应的参数
主要是设置api的 URL， api key 以及模型名称
比如我使用的阿里千问72B ,对应修改如下：

然后启动 qanything

bash scripts/run_for_openai_api_with_gpu_in_Linux_or_WSL.sh

运行成功后提示如下：

根据提示在浏览器中输入http://127.0.0.1:8777/qanything/