Windows 安装 Xinference
Windows 安装 Xinference
- 0. 引言
- 1. 创建虚拟环境
- 2. 安装 pytorch
- 3. 安装 llama_cpp_python
- 4. 安装 chatglm-cpp
- 5. 安装 Xinference
- 6. 设置 model 路径
- 7. 启动 Xinference
- 8. 查看 Cluster Information
0. 引言
Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。
为什么选择 Xinference?

启动后的画面,

1. 创建虚拟环境
conda create -n xinference python=3.10 -y
conda activate xinference
2. 安装 pytorch
conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia
3. 安装 llama_cpp_python
pip install https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.55/llama_cpp_python-0.2.55-cp310-cp310-win_amd64.whl
refer: https://github.com/abetlen/llama-cpp-python
4. 安装 chatglm-cpp
pip install https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp310-cp310-win_amd64.whl
refer: https://github.com/li-plus/chatglm.cpp
5. 安装 Xinference
pip install "xinference[all]"
refer: https://github.com/xorbitsai/inference
6. 设置 model 路径
在我的电脑上设置环境变量,路径请根据各自环境修改。
XINFERENCE_HOME=F:\XinferenceCache
7. 启动 Xinference
xinference-local -H <your_ip>

选择一个 Model 运行,

运行成功后,在 “Running Models” 页面可以查看,

8. 查看 Cluster Information
点击 Cluster Information,

完结!
相关文章:
Windows 安装 Xinference
Windows 安装 Xinference 0. 引言1. 创建虚拟环境2. 安装 pytorch3. 安装 llama_cpp_python4. 安装 chatglm-cpp5. 安装 Xinference6. 设置 model 路径7. 启动 Xinference8. 查看 Cluster Information 0. 引言 Xorbits Inference(Xinference)是一个性能…...
静态时序分析:SDC约束命令set_case_analysis详解
相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html?spm1001.2014.3001.5482 目录 指定值 指定端口/引脚列表 简单使用 set_case_analysis命令用于对电路进行特定模式的设定,例如对于一个工作在正常模式下的芯片,…...
C++ · 代码笔记4 ·继承与派生
目录 前言010继承与派生简单例程020多级继承030使用using关键词更改访问权限040隐藏050派生类与基类成员函数同名时不构成重载060使用多级继承展示成员变量在内存中的分布情况071派生类在函数头调用基类构造函数072构造函数调用顺序080构造函数与析构函数的调用顺序091多重继承…...
解决uni-app中使用webview键盘弹起遮挡input输入框问题
这个平平无奇的回答,可能是全网最靠谱的解决方案。 这里我用的是vue3 setup .vue文件的方式 <view> <web-view :fullscreen"false" :webview-styles"{top: statusBarHeight40,height:height,progress: {color: green,height:1px } }"…...
Java注解介绍
Java注解 注解介绍元注解RetentionTargetDocumentedInherited接口类测试结果 注解介绍 Java注解(Annotation)是一种元数据(Metadata)的形式,它可以被添加到Java代码中的类、方法、变量、参数等元素上,以提…...
万字详解,Java实现低配版线程池
文章目录 1.什么是线程池2.线程池的优势3.原理4.代码编写4.1 阻塞队列4.2 ThreadPool线程池4.3 Worker工作线程4.4 代码测试 5. 拒绝策略5.1 抽象Reject接口5.2 BlockingQueue新增tryPut方法5.3 修改ThreadPool的execute方法5.4 ThreadPool线程池构造函数修改5.5 拒绝策略实现1…...
挂耳式蓝牙耳机哪家的好用?购买耳机前必须了解的几大要点
随着健康意识的提升,越来越多的人开始热衷于运动。运动不仅能够增强体质,对于我们这些忙碌的上班族而言,它也是一种极佳的减压方式。经过一天的辛勤工作,能够在户外跑步,让汗水带走压力,实在是一种享受。在…...
CSS文本属性
CSS文本属性 1.文本颜色2.文本间距3. 文本修饰4 .文本缩进5.文本对齐_水平6.行高7. vertical-align 1.文本颜色 属性名:color作用:控制文字的颜色。可选值: 颜色名rgb或rgbaHEX或HEXA (十六进制)HSL或HSLA 开发中常用…...
MySQL篇—执行计划之覆盖索引Using index和条件过滤Using where介绍(第三篇,总共三篇)
☘️博主介绍☘️: ✨又是一天没白过,我是奈斯,DBA一名✨ ✌✌️擅长Oracle、MySQL、SQLserver、Linux,也在积极的扩展IT方向的其他知识面✌✌️ ❣️❣️❣️大佬们都喜欢静静的看文章,并且也会默默的点赞收藏加关注❣…...
最短路径(2.19)
目录 1.网络延迟时间 弗洛伊德算法 迪杰斯特拉算法 2. K 站中转内最便宜的航班 3.从第一个节点出发到最后一个节点的受限路径数 4.到达目的地的方案数 1.网络延迟时间 有 n 个网络节点,标记为 1 到 n。 给你一个列表 times,表示信号经过 有向 边的…...
vue 总结
1.vue 的生命周期 1. es6 2. vue 基本属性指令 <template><div><!--<h1>vue基本指令的使用方式</h1><a :href"url">v-bind使用链接</a><img :src"srcUrl" /><div>解决闪烁问题<p v-cloak>{{…...
深入理解TCP/IP协议:互联网通信的核心
深入理解TCP/IP协议:互联网通信的核心 在数字化时代,TCP/IP协议是支撑全球互联网通信的基石。它不仅负责数据的传输和路由,还确保了信息传递的准确性和完整性。本文将深入探讨TCP/IP协议的工作原理、结构以及它在网络编程中的应用。 TCP/IP…...
Python数据处理实战(4)-上万行log数据提取并作图进阶版
系列文章: 0、基本常用功能及其操作 1,20G文件,分类,放入不同文件,每个单独处理 2,数据的归类并处理 3,txt文件指定的数据处理并可视化作图 4,上万行log数据提取并作图进阶版&a…...
JavaWeb Tomcat启动、部署、配置、集成IDEA
web服务器软件 服务器是安装了服务器软件的计算机,在web服务器软件中,可以部署web项目,让用户通过浏览器来访问这些项目。 Web服务器是一个应用程序(软件),对HTTP协议的操作进行封装,使得程序…...
关于Vue3的一些操作
1. 设置浏览器自动打开 在package.json 中设置 dev: vite --open 2.给src文件夹配置别名 在vite.config.ts配置文件中添加以下内容 3. 如果2中有红色波浪线的问题 ***安装一个文件包***npm install types/node3. 在tsconfig.json配置文件中,找到配置项compi…...
外贸常用的出口认证 | 全球外贸数据服务平台 | 箱讯科技
出口认证是一种贸易信任背书,对许多外贸从业者而言,产品的出口认证和当前的国际贸易环境一样复杂多变,不同的目标市场、不同的产品类别,所需要的认证及标准也不同。 国际认证 01 IECEE-CB IECEE-CB体系的中文含义是“关于电工产品测试证书的相互认可体…...
C++ 标准库类型string
C/C总述:Study C/C-CSDN博客 目录 定义和初始化string对象 string的增 使用push_back进行尾插 使用insert插入 使用append函数完成string的拼接 string的删 使用pop_back进行尾删 使用erase删除 string的查 使用find函数正向搜索第一个匹配项 使用rf…...
Material UI 5 学习02-其它按钮组件
Material UI 5 学习02-其它按钮组件 一、IconButton按钮二、 ButtonGroup按钮组1、最基本的实例2、垂直按钮组 一、IconButton按钮 图标按钮通常适用于切换按钮,允许选择或选择单个选项 取消选择,例如在项目中添加或删除星号。 <IconButton aria-lab…...
Express学习(三)
Express中间件 中间件的概念 什么是中间件 中间件,特指业务流程的中间处理环节。Express中间件的调用流程 当一个请求到达Express的服务器之后,可以连续调用多个中间件,从而对这次请求进行预处理。类似于下图所示 Express中间件的格式 Expr…...
influxdb2.0插入数据字段类型出现冲突问题解决
一、问题出现 一个学校换热站自控系统,会定时从换热站获取测点数据,并插入到influxdb数据库中。influxdb插入数据时,报错提示: com.influxdb.exceptions.UnprocessableEntityException: failure writing points to database: par…...
STM32+FreeModbus实战:用AHT20传感器搭建低成本温湿度监测从机(附完整代码)
STM32FreeModbus实战:用AHT20传感器搭建低成本温湿度监测从机(附完整代码) 在工业物联网和智能家居领域,温湿度监测是最基础也最普遍的需求之一。如何用最低的成本构建一个稳定可靠的监测节点?本文将带你从零开始&…...
别再让笔记本在包里‘发烧’了!手把手教你将Windows 11的Modern Standby改回传统S3睡眠
拯救发热的笔记本:Windows 11睡眠模式终极优化指南 你是否经历过这样的场景:合上笔记本放进包里,几小时后取出时发现机身滚烫,电量耗尽,甚至系统卡死需要强制重启?这很可能要归咎于Windows 11默认采用的Mod…...
Switch模拟器:Ryujin模拟器教程
下载配置模拟器前需要先安装游戏运行库,显卡驱动正常 龙神模拟器官网:https://ryujinx.org/ switch模拟器的区别 Ryujinx【龙神模拟器】兼容性更好,刚出来的游戏也能运行,但由于它以前只支持OpenGL,所以帧率较低&am…...
军事与社会学属于复杂系统,一般很难事先准确预测,常常是事后分析
军事与社会学具有复杂系统的核心特征,即都充满了不确定性、非线性和“涌现性”,使得精确的事前预测极其困难,而事后分析则成为理解其内在规律和因果关系的关键手段。可以从以下几个方面来深入理解这个观点:🧩 为什么难…...
FPGA实战:用Xilinx Vivado给AXI总线时钟做个6.5倍频?聊聊小数分频的另类应用与局限
FPGA实战:AXI总线时钟的6.5倍频实现与工程权衡 在Zynq和UltraScale系统中,AXI总线时钟的频率往往成为整个设计的基准。但当某个外设模块需要6.5倍于AXI时钟的特殊频率时,工程师们会面临一个现实挑战:大多数PLL无法直接输出非整数倍…...
从‘虹猫蓝兔’到‘终身学习’:聊聊AI模型如何像人一样持续进化,而不只是‘打补丁’
从‘虹猫蓝兔’到‘终身学习’:AI模型如何像人类一样持续进化 想象一下,你刚学会骑自行车,第二天又学会了游泳——结果突然发现自己完全忘记了怎么骑车。这种荒谬的场景,正是当前AI模型在持续学习新任务时面临的真实困境。当推荐系…...
iOS设备iCloud绕过解决方案:applera1n工具使用指南
iOS设备iCloud绕过解决方案:applera1n工具使用指南 【免费下载链接】applera1n icloud bypass for ios 15-16 项目地址: https://gitcode.com/gh_mirrors/ap/applera1n 当你面对一台被iCloud激活锁困住的iOS设备时,那种无力感是每个技术爱好者都曾…...
终极全面战争模组制作指南:5个步骤快速上手RPFM
终极全面战争模组制作指南:5个步骤快速上手RPFM 【免费下载链接】rpfm Rusted PackFile Manager (RPFM) is a... reimplementation in Rust and Qt5 of PackFile Manager (PFM), one of the best modding tools for Total War Games. 项目地址: https://gitcode.c…...
在Debian 11上为龙芯3A5000手动编译GCC 12.1交叉工具链:我踩过的那些坑和最终脚本
龙芯3A5000交叉工具链深度实战:从源码编译GCC 12.1的完整避坑指南 当国产CPU龙芯3A5000遇上GCC 12.1编译器,一场充满技术细节的深度定制之旅就此展开。不同于直接使用预编译二进制工具链,手动构建交叉编译环境不仅能满足特定优化需求…...
2026届必备的五大降AI率网站推荐
Ai论文网站排名(开题报告、文献综述、降aigc率、降重综合对比) TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 有一类免费的 AI 论文工具,这些为学术写作起到了提供高效解决方案作用。这类系统…...
