win10 A4000 下使用Xinference来进行大模型的推理测试
创建环境
conda remove --name xinference --all
conda create --name xinference python=3.10
conda activate xinference
安装：
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
pip install tiktoken sentence-transformers -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install “xinference[transformers]” -i https://pypi.tuna.tsinghua.edu.cn/simple
xinference-local
测试：
进入 http://127.0.0.1:9997
安装EMBEDDING model:bge-large-zh-v1.5 参数：
Replica:1
Device:GPU
安装Language Model:qwen1.5-chat 参数：
Model Engine:Transformers
Model Format:pytorch
Model_size:1.5
Quantization:none
N-GPU:auto
Replica:1
启动模型
即可尝试http://127.0.0.1:9997/qwen1.5-chat/中测试了
可以通过Register Model来注册本地模型。
相关文章：
win10 A4000 下使用Xinference来进行大模型的推理测试
创建环境 conda remove --name xinference --all conda create --name xinference python3.10 conda activate xinference 安装： conda install pytorch torchvision torchaudio pytorch-cuda11.8 -c pytorch -c nvidia pip install tiktoken sentence-transformer…...
【9-2：代码规范】
算法级思想 代码规范（java） 代码规范（java） 方法参数必须一致，不要出现自动装箱拆箱操作SimpleDateFormat是线程不安全的使用equals注意空指针异常日志 事务场景中如果出现异常被捕时注意回滚不要再finally中使用retu…...
.generic_string()的bug)
std::filesystem::current_path().generic_string()的bug
这行指令出来会出来大小写的盘符，如D 或者d，似乎随机 #include <iostream> #include <filesystem>namespace fs std::filesystem;bool arePathsSame(const fs::path& p1, const fs::path& p2) {return p1 p2; }int main() {fs::p…...
Python excel知识库批量模糊匹配的3种方法实例(fuzzywuzzy\Gensim)
前言 当然，基于排序的模糊匹配（类似于Excel的VLOOKUP函数的模糊匹配模式）也属于模糊匹配的范畴，但那种过于简单，不是本文讨论的范畴。 本文主要讨论的是以公司名称或地址为主的字符串的模糊匹配。 使用编辑距离算法进…...
stm32使用单通道规则组ADC
Driver_ADC.c 如果需要关闭adc转换，只需要设置CNT，将其置为0，后面再转换一次就停止了。 #include "Driver_ADC.h"void Driver_ADC1_Init(void) {/* 1. 时钟配置 *//* 1.1 adc时钟 */RCC->APB2ENR | RCC_APB2ENR_ADC1EN;RCC-&g…...
[python][whl]causal-conv1d的python模块在windows上whl文件下载
【模块介绍】 causal-conv1d，即因果一维卷积（Causal 1D Convolution），是一种在深度学习特别是时序数据处理中广泛应用的卷积技术。它主要特点在于其“因果性”，即输出的每个元素仅依赖于输入序列中它之前的元素&#…...
介绍 CM3leon，一个更高效、最先进的文本和图像生成模型
近几个月来，随着让机器理解和表达语言的自然语言处理技术以及可根据文本输入生成图像的系统的进步，人们对生成式人工智能模型的兴趣和研究也在加速。今天，我们要展示的是 CM3leon（发音类似于 “变色龙”），它…...
HTTPS和HTTP有哪些区别
两者的主要区别在于安全性和数据加密： 加密层：HTTPS 在HTTP 的基础上增加了SSL/TLS 协议作为加密层，确保数据传输的安全性,即使数据被截获，没有相应的密钥也无法解读数据内容。而HTTP 数据传输是明文的，容易受到攻击。…...
Docker 安装 PostgreSQL
1. 启动 PostgreSQL 容器 docker run --name ffj-postgres -p 5432:5432 -e POSTGRES_PASSWORDCisc0123 -d postgres docker run：启动一个新的容器。--name指定容器名称为 ffj-postgres。-p 5432:5432：将主机的 5432 端口映射到容器的 5432 端口。-e P…...
实践致知第12享：如何新建一个Word并设置格式
一、背景需求 小姑电话说：要新建一个Word文档，并将每段的首行设置空2格。 二、解决方案 1、在电脑桌面上空白地方，点击鼠标右键，在下拉的功能框中选择“DOC文档”或“DOCX文档”都可以，如下图所示。 之后࿰…...
Rust vs Go: 特点与应用场景分析
目录 介绍Rust的特点Go的特点Rust的应用场景Go的应用场景总结 介绍 Rust和Go（Golang）是现代编程语言中两个非常流行的选择。凭借各自的独特优势和广泛的应用场景，吸引了大量开发者的关注。本文将详细介绍Rust和Go的特点，并探讨它…...
2024的开放式耳机排行榜，看这六个耳机选购的小Tips
寻找一款既能聊天又能听歌的耳机并不容易，但是开放式耳机可能会是一个理想的选择。与传统的入耳式耳机相比，开放式耳机可以让你更加自然地与周围环境互动，并且不容易掉落。当然，在市场上选择一款适合自己的开放式耳机也是至关重要…...
JAVA-报表模糊搜索询易实现
背景: 一般文件报表经常会需要搜各个表头对应内容，如果支持全部类型切换搜索，操作起来就不够便捷。而且这个报表是测试自己用的，准确性可以不用太要求，所以更想要那中输入关键字命中任意表记录内容的模糊匹配功能。 方法一:解析搜…...
牛客 7.13 月赛（留 C逆元）
B-最少剩几个？_牛客小白月赛98 (nowcoder.com) 思路 奇数偶数 奇数；奇数*偶数 奇数 所以在既有奇数又有偶数时，两者结合可以同时删除 先分别统计奇数，偶数个数 若偶个数大于奇个数，答案是偶个数-奇个数 若奇个数…...
FPGA之术语
FPGA之术语 IOSTANDARDDIFF_SSTL12:LVCMOS33:sys_clk_p/n:rst_n:UART时钟JTAG:GPIOONFIPCIe IOSTANDARD 在电子工程领域，DIFF_SSTL12和LVCMOS33是两种不同的电气标准，用于定义信号的电压级别和特性。 IOSTANDARD是一个在FPGA（现场可编程门阵…...
WPF透明置顶窗口wine适配穿透问题解决
一、透明窗口全屏时，鼠标不穿透 问题描述 我有一个透明窗口，它是一个全屏置顶窗口，窗口里面有一个工具条，可以通过鼠标拖动工具条的位置，程序启动后，在不点击工具条的时候，鼠标是可以穿透的&a…...
方法的使用)
浅析Kafka Streams中KTable.aggregate()方法的使用
KTable.aggregate() 方法是 Apache Kafka Streams API 中用于对流数据进行状态化聚合的核心方法之一。这个方法允许你根据一个键值（通常是<K,V>类型）的流数据，应用一个初始值和一个聚合函数，来累积和更新一个状态࿰…...
java word转pdf、word中关键字位置插入图片 工具类
java word转pdf、word中关键字位置插入图片 工具类 1.pom依赖 <dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>3.15</version></dependency><dependency><groupId>org.apa…...
jail内部ubuntu apt升级失败问题解决
在FreeBSD jail 里安装启动Ubuntu jammy系统，每次装好执行jexec ubjammy sh进入Ubuntu系统后，执行apt update报错。 这个问题困惑了好久，突然有一天仔细去看报错信息，查看了(man 5 apt.conf) ，才搞定问题。简单来说就是…...
迎接AI新时代：GPT-5的技术飞跃与未来展望
引言 随着人工智能技术的迅猛发展，大语言模型在过去几年取得了显著进步。OpenAI最新的声明表明，GPT-5将在一年半后发布，并将带来从高中生智力水平到博士生智力水平的飞跃。这一突破引起了科技界和公众的广泛关注。本文将从技术突破预测、智能…...
Ubuntu系统下交叉编译openssl
一、参考资料 OpenSSL&&libcurl库的交叉编译 - hesetone - 博客园 二、准备工作 1. 编译环境 宿主机：Ubuntu 20.04.6 LTSHost：ARM32位交叉编译器：arm-linux-gnueabihf-gcc-11.1.0 2. 设置交叉编译工具链 在交叉编译之前&#x…...
FFmpeg 低延迟同屏方案
引言 在实时互动需求激增的当下，无论是在线教育中的师生同屏演示、远程办公的屏幕共享协作，还是游戏直播的画面实时传输，低延迟同屏已成为保障用户体验的核心指标。FFmpeg 作为一款功能强大的多媒体框架，凭借其灵活的编解码、数据…...
《用户共鸣指数（E）驱动品牌大模型种草：如何抢占大模型搜索结果情感高地》
在注意力分散、内容高度同质化的时代，情感连接已成为品牌破圈的关键通道。我们在服务大量品牌客户的过程中发现，消费者对内容的“有感”程度，正日益成为影响品牌传播效率与转化率的核心变量。在生成式AI驱动的内容生成与推荐环境中࿰…...
C# SqlSugar：依赖注入与仓储模式实践
C# SqlSugar：依赖注入与仓储模式实践 在 C# 的应用开发中，数据库操作是必不可少的环节。为了让数据访问层更加简洁、高效且易于维护，许多开发者会选择成熟的 ORM（对象关系映射）框架，SqlSugar 就是其中备受…...
select、poll、epoll 与 Reactor 模式
在高并发网络编程领域，高效处理大量连接和 I/O 事件是系统性能的关键。select、poll、epoll 作为 I/O 多路复用技术的代表，以及基于它们实现的 Reactor 模式，为开发者提供了强大的工具。本文将深入探讨这些技术的底层原理、优缺点。 一、I…...
Unity | AmplifyShaderEditor插件基础（第七集：平面波动shader）
目录 一、👋🏻前言 二、😈sinx波动的基本原理 三、😈波动起来 1.sinx节点介绍 2.vertexPosition 3.集成Vector3 a.节点Append b.连起来 4.波动起来 a.波动的原理 b.时间节点 c.sinx的处理 四、🌊波动优化…...
)
Typeerror: cannot read properties of undefined (reading ‘XXX‘)
最近需要在离线机器上运行软件，所以得把软件用docker打包起来，大部分功能都没问题，出了一个奇怪的事情。同样的代码，在本机上用vscode可以运行起来，但是打包之后在docker里出现了问题。使用的是dialog组件，…...
PAN/FPN
import torch import torch.nn as nn import torch.nn.functional as F import mathclass LowResQueryHighResKVAttention(nn.Module):"""方案 1: 低分辨率特征 (Query) 查询高分辨率特征 (Key, Value).输出分辨率与低分辨率输入相同。"""def __…...
LLMs 系列实操科普（1）
写在前面： 本期内容我们继续 Andrej Karpathy 的《How I use LLMs》讲座内容，原视频时长 ~130 分钟，以实操演示主流的一些 LLMs 的使用，由于涉及到实操，实际上并不适合以文字整理，但还是决定尽量整理一份笔…...
解析奥地利 XARION激光超声检测系统：无膜光学麦克风 + 无耦合剂的技术协同优势及多元应用
在工业制造领域，无损检测（NDT)的精度与效率直接影响产品质量与生产安全。奥地利 XARION开发的激光超声精密检测系统，以非接触式光学麦克风技术为核心，打破传统检测瓶颈，为半导体、航空航天、汽车制造等行业提供了高灵敏…...