当前位置: 首页 > news >正文

Windows 安装 Xinference

Windows 安装 Xinference

  • 0. 引言
  • 1. 创建虚拟环境
  • 2. 安装 pytorch
  • 3. 安装 llama_cpp_python
  • 4. 安装 chatglm-cpp
  • 5. 安装 Xinference
  • 6. 设置 model 路径
  • 7. 启动 Xinference
  • 8. 查看 Cluster Information

0. 引言

Xorbits Inference(Xinference)是一个性能强大且功能全面的分布式推理框架。可用于大语言模型(LLM),语音识别模型,多模态模型等各种模型的推理。通过 Xorbits Inference,你可以轻松地一键部署你自己的模型或内置的前沿开源模型。无论你是研究者,开发者,或是数据科学家,都可以通过 Xorbits Inference 与最前沿的 AI 模型,发掘更多可能。

为什么选择 Xinference?

在这里插入图片描述

启动后的画面,

在这里插入图片描述

1. 创建虚拟环境

conda create -n xinference python=3.10 -y
conda activate xinference 

2. 安装 pytorch

conda install pytorch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 pytorch-cuda=11.8 -c pytorch -c nvidia

3. 安装 llama_cpp_python

pip install https://github.com/abetlen/llama-cpp-python/releases/download/v0.2.55/llama_cpp_python-0.2.55-cp310-cp310-win_amd64.whl

refer: https://github.com/abetlen/llama-cpp-python

4. 安装 chatglm-cpp

pip install https://github.com/li-plus/chatglm.cpp/releases/download/v0.3.1/chatglm_cpp-0.3.1-cp310-cp310-win_amd64.whl

refer: https://github.com/li-plus/chatglm.cpp

5. 安装 Xinference

pip install "xinference[all]"

refer: https://github.com/xorbitsai/inference

6. 设置 model 路径

在我的电脑上设置环境变量,路径请根据各自环境修改。

XINFERENCE_HOME=F:\XinferenceCache

7. 启动 Xinference

xinference-local -H <your_ip>

在这里插入图片描述
选择一个 Model 运行,

在这里插入图片描述
运行成功后,在 “Running Models” 页面可以查看,

在这里插入图片描述

8. 查看 Cluster Information

点击 Cluster Information,

在这里插入图片描述
完结!

相关文章:

Windows 安装 Xinference

Windows 安装 Xinference 0. 引言1. 创建虚拟环境2. 安装 pytorch3. 安装 llama_cpp_python4. 安装 chatglm-cpp5. 安装 Xinference6. 设置 model 路径7. 启动 Xinference8. 查看 Cluster Information 0. 引言 Xorbits Inference&#xff08;Xinference&#xff09;是一个性能…...

静态时序分析:SDC约束命令set_case_analysis详解

相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html?spm1001.2014.3001.5482 目录 指定值 指定端口/引脚列表 简单使用 set_case_analysis命令用于对电路进行特定模式的设定&#xff0c;例如对于一个工作在正常模式下的芯片&#xff0c;…...

C++ · 代码笔记4 ·继承与派生

目录 前言010继承与派生简单例程020多级继承030使用using关键词更改访问权限040隐藏050派生类与基类成员函数同名时不构成重载060使用多级继承展示成员变量在内存中的分布情况071派生类在函数头调用基类构造函数072构造函数调用顺序080构造函数与析构函数的调用顺序091多重继承…...

解决uni-app中使用webview键盘弹起遮挡input输入框问题

这个平平无奇的回答&#xff0c;可能是全网最靠谱的解决方案。 这里我用的是vue3 setup .vue文件的方式 <view> <web-view :fullscreen"false" :webview-styles"{top: statusBarHeight40,height:height,progress: {color: green,height:1px } }"…...

Java注解介绍

Java注解 注解介绍元注解RetentionTargetDocumentedInherited接口类测试结果 注解介绍 Java注解&#xff08;Annotation&#xff09;是一种元数据&#xff08;Metadata&#xff09;的形式&#xff0c;它可以被添加到Java代码中的类、方法、变量、参数等元素上&#xff0c;以提…...

万字详解,Java实现低配版线程池

文章目录 1.什么是线程池2.线程池的优势3.原理4.代码编写4.1 阻塞队列4.2 ThreadPool线程池4.3 Worker工作线程4.4 代码测试 5. 拒绝策略5.1 抽象Reject接口5.2 BlockingQueue新增tryPut方法5.3 修改ThreadPool的execute方法5.4 ThreadPool线程池构造函数修改5.5 拒绝策略实现1…...

挂耳式蓝牙耳机哪家的好用?购买耳机前必须了解的几大要点

随着健康意识的提升&#xff0c;越来越多的人开始热衷于运动。运动不仅能够增强体质&#xff0c;对于我们这些忙碌的上班族而言&#xff0c;它也是一种极佳的减压方式。经过一天的辛勤工作&#xff0c;能够在户外跑步&#xff0c;让汗水带走压力&#xff0c;实在是一种享受。在…...

CSS文本属性

CSS文本属性 1.文本颜色2.文本间距3. 文本修饰4 .文本缩进5.文本对齐_水平6.行高7. vertical-align 1.文本颜色 属性名&#xff1a;color作用&#xff1a;控制文字的颜色。可选值&#xff1a; 颜色名rgb或rgbaHEX或HEXA &#xff08;十六进制&#xff09;HSL或HSLA 开发中常用…...

MySQL篇—执行计划之覆盖索引Using index和条件过滤Using where介绍(第三篇,总共三篇)

☘️博主介绍☘️&#xff1a; ✨又是一天没白过&#xff0c;我是奈斯&#xff0c;DBA一名✨ ✌✌️擅长Oracle、MySQL、SQLserver、Linux&#xff0c;也在积极的扩展IT方向的其他知识面✌✌️ ❣️❣️❣️大佬们都喜欢静静的看文章&#xff0c;并且也会默默的点赞收藏加关注❣…...

最短路径(2.19)

目录 1.网络延迟时间 弗洛伊德算法 迪杰斯特拉算法 2. K 站中转内最便宜的航班 3.从第一个节点出发到最后一个节点的受限路径数 4.到达目的地的方案数 1.网络延迟时间 有 n 个网络节点&#xff0c;标记为 1 到 n。 给你一个列表 times&#xff0c;表示信号经过 有向 边的…...

vue 总结

1.vue 的生命周期 1. es6 2. vue 基本属性指令 <template><div><!--<h1>vue基本指令的使用方式</h1><a :href"url">v-bind使用链接</a><img :src"srcUrl" /><div>解决闪烁问题<p v-cloak>{{…...

深入理解TCP/IP协议:互联网通信的核心

深入理解TCP/IP协议&#xff1a;互联网通信的核心 在数字化时代&#xff0c;TCP/IP协议是支撑全球互联网通信的基石。它不仅负责数据的传输和路由&#xff0c;还确保了信息传递的准确性和完整性。本文将深入探讨TCP/IP协议的工作原理、结构以及它在网络编程中的应用。 TCP/IP…...

Python数据处理实战(4)-上万行log数据提取并作图进阶版

系列文章&#xff1a; 0、基本常用功能及其操作 1&#xff0c;20G文件&#xff0c;分类&#xff0c;放入不同文件&#xff0c;每个单独处理 2&#xff0c;数据的归类并处理 3&#xff0c;txt文件指定的数据处理并可视化作图 4&#xff0c;上万行log数据提取并作图进阶版&a…...

JavaWeb Tomcat启动、部署、配置、集成IDEA

web服务器软件 服务器是安装了服务器软件的计算机&#xff0c;在web服务器软件中&#xff0c;可以部署web项目&#xff0c;让用户通过浏览器来访问这些项目。 Web服务器是一个应用程序&#xff08;软件&#xff09;&#xff0c;对HTTP协议的操作进行封装&#xff0c;使得程序…...

关于Vue3的一些操作

1. 设置浏览器自动打开 在package.json 中设置 dev: vite --open 2.给src文件夹配置别名 在vite.config.ts配置文件中添加以下内容 3. 如果2中有红色波浪线的问题 ***安装一个文件包***npm install types/node3. 在tsconfig.json配置文件中&#xff0c;找到配置项compi…...

外贸常用的出口认证 | 全球外贸数据服务平台 | 箱讯科技

出口认证是一种贸易信任背书&#xff0c;对许多外贸从业者而言,产品的出口认证和当前的国际贸易环境一样复杂多变&#xff0c;不同的目标市场、不同的产品类别,所需要的认证及标准也不同。 国际认证 01 IECEE-CB IECEE-CB体系的中文含义是“关于电工产品测试证书的相互认可体…...

C++ 标准库类型string

C/C总述&#xff1a;Study C/C-CSDN博客 目录 定义和初始化string对象 string的增 使用push_back进行尾插 使用insert插入 使用append函数完成string的拼接 string的删 使用pop_back进行尾删 使用erase删除 string的查 使用find函数正向搜索第一个匹配项 使用rf…...

Material UI 5 学习02-其它按钮组件

Material UI 5 学习02-其它按钮组件 一、IconButton按钮二、 ButtonGroup按钮组1、最基本的实例2、垂直按钮组 一、IconButton按钮 图标按钮通常适用于切换按钮&#xff0c;允许选择或选择单个选项 取消选择&#xff0c;例如在项目中添加或删除星号。 <IconButton aria-lab…...

Express学习(三)

Express中间件 中间件的概念 什么是中间件 中间件&#xff0c;特指业务流程的中间处理环节。Express中间件的调用流程 当一个请求到达Express的服务器之后&#xff0c;可以连续调用多个中间件&#xff0c;从而对这次请求进行预处理。类似于下图所示 Express中间件的格式 Expr…...

influxdb2.0插入数据字段类型出现冲突问题解决

一、问题出现 一个学校换热站自控系统&#xff0c;会定时从换热站获取测点数据&#xff0c;并插入到influxdb数据库中。influxdb插入数据时&#xff0c;报错提示&#xff1a; com.influxdb.exceptions.UnprocessableEntityException: failure writing points to database: par…...

保姆级教程:手把手教你修改WRF Noah-MP中的雪反照率参数(附MPTABLE.TBL详解)

WRF Noah-MP雪反照率参数调优实战指南 1. 理解雪反照率在陆面过程模型中的关键作用 雪面反照率是影响地表能量平衡的核心参数之一&#xff0c;尤其在极地和高寒地区&#xff0c;微小的反照率变化可能导致显著的辐射强迫差异。Noah-MP作为WRF模式中先进的陆面过程方案&#xff0…...

python bcrypt

# 聊聊Python里的加密库&#xff1a;PyCryptodome 今天想和大家分享一个在Python加密领域里经常被用到的库&#xff0c;叫PyCryptodome。如果你在项目里处理过密码、加密文件或者设计过安全通信&#xff0c;很可能已经和它打过交道了。这个库表面上看起来只是一个工具集&#x…...

QtCharts实战:除了圆点和方块,教你用QPainterPath画出五角星散点图(附完整源码)

QtCharts高级定制&#xff1a;用QPainterPath实现品牌化散点图设计 在数据可视化领域&#xff0c;标准化的圆点和方块已经无法满足现代UI设计的需求。当我们需要在医疗报告中呈现特殊标记&#xff0c;或在商业仪表盘中嵌入品牌元素时&#xff0c;自定义图形绘制技术就成为刚需。…...

NVIDIA Llama Nemotron Ultra:开源推理模型的技术突破与应用

1. NVIDIA Llama Nemotron Ultra&#xff1a;重新定义开源推理模型的新标杆作为一名长期关注AI技术发展的从业者&#xff0c;我最近深度测试了NVIDIA最新发布的Llama Nemotron Ultra模型。这款开源推理模型在科学推理、编程和数学三大领域的表现确实令人惊艳&#xff0c;特别是…...

飞剪测试程序——西门子博图V16版仿真模拟教程,适用于初学者掌握切纸机及包装机旋切技术

飞剪测试程序&#xff0c;仿真模拟&#xff0c;比较实用&#xff0c;适合初学者 使用西门子博图V16版本 用于旋切机包装机切纸机等 !飞剪机械臂工作场景 飞剪测试程序&#xff0c;仿真模拟&#xff0c;比较实用&#xff0c;适合初学者 使用西门子博图V16版本 用于旋切机包装机…...

从RCRB到BAR:手把手教你理解PCIe设备的地址空间与配置(附实战配置流程)

深入解析PCIe设备地址空间&#xff1a;从RCRB到BAR的实战指南 在嵌入式系统与高性能计算领域&#xff0c;PCIe总线作为连接CPU与外围设备的核心通道&#xff0c;其地址空间配置的准确性直接决定了系统能否稳定运行。本文将带您深入PCIe设备的硬件视角&#xff0c;揭示RCRB与BAR…...

保姆级教程:绕过Windows 11 PIN锁,利用‘轻松使用’图标和msconfig恢复系统正常启动

Windows系统启动异常修复&#xff1a;从原理到实战的深度解析 当Windows系统启动遇到问题时&#xff0c;许多用户会感到手足无措。本文将深入探讨Windows启动机制&#xff0c;并提供一个系统化的解决方案框架&#xff0c;帮助技术爱好者不仅解决问题&#xff0c;更能理解背后的…...

实战指南:如何用Code2Prompt将代码库转换为AI可理解的高质量提示

实战指南&#xff1a;如何用Code2Prompt将代码库转换为AI可理解的高质量提示 【免费下载链接】code2prompt A CLI tool to convert your codebase into a single LLM prompt with source tree, prompt templating, and token counting. 项目地址: https://gitcode.com/GitHub…...

2025届毕业生推荐的AI学术助手横评

Ai论文网站排名&#xff08;开题报告、文献综述、降aigc率、降重综合对比&#xff09; TOP1. 千笔AI TOP2. aipasspaper TOP3. 清北论文 TOP4. 豆包 TOP5. kimi TOP6. deepseek 目前主流的AI论文写作工具里&#xff0c;各种都有着别样特点&#xff0c;GPT在逻辑推理以及结…...

PDPS虚拟仿真:基于对象流操作实现输送带动态工件搬运

1. PDPS虚拟仿真与对象流操作基础 第一次接触PDPS的虚拟仿真功能时&#xff0c;我被它的对象流操作惊艳到了。这就像给工业生产线装上了"魔法传送带"&#xff0c;能让工件在虚拟环境中像现实世界一样流动起来。所谓对象流操作&#xff0c;本质上是一套让三维模型按预…...