解决 GPTQ 模型导入后推理生成 Tokens 速度很慢的问题（从源码重新安装 Auto-GPTQ）
这里解决的是使用 Auto-GPTQ 或者 Transformers 导入 GPTQ 模型后推理速度很慢的问题。
值得注意的是，这个问题很有可能是因为安装不正确，所以 GPTQ 无法正确使用 GPU 进行推理，也就是说无法进行加速，即便 print(model.device) 显示为 “cuda”。类似的问题见 Is This Inference Speed Slow? #130/ CUDA extension not installed #694。
这个问题是普遍存在的，当你直接使用 pip install auto-gptq 进行安装时，可能就会出现。
你可以通过以下命令检查已安装的版本：
pip list | grep auto-gptq
如果发现之前安装的版本不带 cuda 标识，卸载它，从源码重新进行安装（推理速度将提升为原来的 15 倍以上）。
如果存在 cuda 标识，那么应该去检查代码的参数是否正确。
pip uninstall auto-gptq
git clone https://github.com/PanQiWei/AutoGPTQ.git && cd AutoGPTQ
# 以下两种方式任选一种进行安装，经测试均有效
pip install -vvv --no-build-isolation -e .
# >> Successfully installed auto-gptq-0.8.0.dev0+cu121python setup.py install
# >> Finished processing dependencies for auto-gptq==0.8.0.dev0+cu121
相关文章：
解决 GPTQ 模型导入后推理生成 Tokens 速度很慢的问题（从源码重新安装 Auto-GPTQ）
这里解决的是使用 Auto-GPTQ 或者 Transformers 导入 GPTQ 模型后推理速度很慢的问题。 值得注意的是，这个问题很有可能是因为安装不正确，所以 GPTQ 无法正确使用 GPU 进行推理，也就是说无法进行加速，即便 print(model.device) 显…...
NDC美国药品编码目录数据库查询方法
NDC（National Drug Code）翻译为“国家药品代码”，是美国食品药品监督管理局（FDA）制定的一种药品标识系统，用于唯一标识药品。这个编码系统主要目的是为精准识别和追踪不同药品而建设，行业人员和…...
vue3的v-model使用
vue3的v-model使用 单个绑定值 子组件 props: [‘modelValue’], emits: [‘update:modelValue’], 注：modelValue是默认的，如果只有一个需要绑定v-model，可使用modelValue 此时父组件写法 <CustomInput v-model"searchText"…...
Go语言实现长连接并发框架 - 消息
文章目录 前言接口结构体接口实现项目地址最后 前言 你好，我是醉墨居士，上篇博客实现了对连接的封装，那我们对连接的读写操作涉及数据格式的定义，我们采用统一的数据格式。使用我们这种数据格式的数据，我们将其称之为…...
湖南（市场咨询）源点调研 如何明确调研焦点与分析单位的特征
湖南市场调研源点咨询认为，调研过程中定义问题阶段的部分工作涉及弄清究竟是对谁进行调研，也就是感兴趣人群，我们发现这与样本的选择有关。在调研过程的设计阶段弄清楚感兴趣人群非常重要，之后才可以决定选择哪种调研类型进行调研…...
java 方法引用与构造器引用
Java 方法引用和构造器引用是 Java 8 引入的重要特性，它们进一步简化了 Lambda 表达式的书写，使得代码更加简洁和易读。下面详细介绍方法引用和构造器引用的概念、用法及示例。 方法引用 方法引用是一种简化 Lambda 表达式的语法糖，它允许通…...
python3的语法
知识简介 基础语法就像比赛规则，比如比赛跑步，咱们不能跑到别人的跑道去吧，比赛打拳，先说好不能踢裆。 正文 一、python3的基础语法 1、编码 python的源码文件.py一般是utf8编码的，有时候咱们在执行源码文件的时候报…...
Spring Data JPA中的锁机制
当多个事务同时修改同一条记录时，可能会导致数据不一致的问题。为了确保并发事务中的数据一致性，可以使用锁机制。常见的两种锁机制是悲观锁和乐观锁。下面是这两种锁机制的详细讲解。 1. 悲观锁（Pessimistic Locking） 概念&…...
mybatis分页拦截器
Mapper 方法： public interface UserMapper {void selectUsers(@Param("page") Page<User> page...
React学习过程（持续更新......）
React学习过程（持续更新…） 创建react的hello项目 使用node创建create-react-app脚手架项目 //首先你得先安装node，这里不做详细教程，我使用的node为20.18.0 npm isntall create-react-app -g //全局安装create-react-app crea…...
pve lxc容器探索，陆续完善中
注意：创建lxc容器时，不要勾选“无特权容器”，才可以使用如下命令进行挂载。 说明：容器附加主机目录，/myweb/src为主机目录，/src为lxc中目录，100为容器ID pct set 100 -mp1 /myweb/src,mp/src执…...
5款人声分离免费软件分享，从入门到精通，伴奏提取分分钟拿捏！
人声分离通常是音乐制作、混音和卡拉OK中常用的重要技术之一。它的核心是将乐器伴奏从原始音轨中分离出来，使得用户可以单独处理或重混音频，创造出清晰干净的伴奏轨道。若缺乏强大的音频剪辑软件或专业人声分离工具，这一过程往往会比较困难。…...
镭速助力解决企业大文件传输难题
在数字化时代，数据已成为企业的核心资产。无论是高清视频、大规模数据库备份还是复杂的3D设计文件，企业每天都要处理大量数据。然而，在享受数据带来的便利和价值的同时，企业也面临着一个现实问题——如何高效、安全地传输大文件&a…...
SpringBootWeb AOP
SpringBootWeb AOP 事务管理 rollbackFor属性 propagation属性 案例 AOP 基础 进阶 通知类型 通知顺序 切入点表达式 execution annotation 连接点 案例 实体类 接口方法 切面类 事务管理 rollbackFor属性 propagation属性 REQUIRED:大部分情况下都是用该传播行为…...
傅里叶分析之掐死教程（完整版）更新于2014.06.06
作 者：韩 昊 知 乎：Heinrich 微 博：花生油工人 知乎专栏：与时间无关的故事 谨以此文献给大连海事大学的吴楠老师，柳晓鸣老师，王新年老师以及张晶泊老师。 转载的同学请保留上面这句话，谢谢。如果…...
macOS终端配置自动补全功能
如何在macOS终端中配置自动补全功能 终端是一个非常强大的工具，它可以用来完成很多任务，比如创建、复制、移动、删除文件，执行脚本和运行程序。不过它的默认设置对用户不太友好，作为开发者，我们通常习惯代码编辑器的辅…...
华为---MUX VLAN简介及示例配置
目录 1. 产生背景 2. 应用场景 3. 主要功能 4. 基本概念 5. 配置步骤及相关命令 6.示例配置 6.1 示例场景 6.2 网络拓扑图 6.3 配置代码 6.4 配置及解析 6.5 测试验证 配置注意事项 1. 产生背景 MUX VLAN（Multiplex VLAN）提供了一种通过VLA…...
docker详解介绍+基础操作 （四）容器镜像
一.镜像结构和原理 Docker 镜像是 Docker 技术的核心组成部分之一，它用于封装应用程序及其依赖项，以便在任何支持 Docker 的环境中运行。了解 Docker 镜像的结构和原理对于有效使用 Docker 至关重要。以下是对 Docker 镜像结构和原理的详细介绍。 Dock…...
PostgreSQL数据库定期清理归档(pg_wal)日志
一、配置归档模式 在postgresql.conf文件中设置archive_mode on来启用归档功能。 二、设置归档命令 同样在postgresql.conf中，设置archive_command参数，指定一个shell命令来处理归档日志，例如： archive_command cp %p /home/…...
RTTI介绍
RTTI介绍 RTTI（Run-Time Type Information，运行时类型信息）是C的一项功能，它允许在程序运行时检查对象的类型。RTTI的主要作用是在多态（polymorphism）场景中，可以在运行时安全地转换对象类型或…...
基于算法竞赛的c++编程（28）结构体的进阶应用
结构体的嵌套与复杂数据组织 在C中，结构体可以嵌套使用，形成更复杂的数据结构。例如，可以通过嵌套结构体描述多层级数据关系： struct Address {string city;string street;int zipCode; };struct Employee {string name;int id;…...
树莓派超全系列教程文档--(61)树莓派摄像头高级使用方法
树莓派摄像头高级使用方法 配置通过调谐文件来调整相机行为 使用多个摄像头安装 libcam 和 rpicam-apps依赖关系开发包 文章来源： http://raspberry.dns8844.cn/documentation 原文网址 配置 大多数用例自动工作，无需更改相机配置。但是，一…...
2.Vue编写一个app
1.src中重要的组成 1.1main.ts // 引入createApp用于创建应用 import { createApp } from "vue"; // 引用App根组件 import App from ./App.vue;createApp(App).mount(#app)1.2 App.vue 其中要写三种标签 <template> <!--html--> </template>…...
零基础设计模式——行为型模式 - 责任链模式
第四部分：行为型模式 - 责任链模式 (Chain of Responsibility Pattern) 欢迎来到行为型模式的学习！行为型模式关注对象之间的职责分配、算法封装和对象间的交互。我们将学习的第一个行为型模式是责任链模式。 核心思想：使多个对象都有机会处…...
.Net Framework 4/C# 关键字（非常用，持续更新...）
一、is 关键字 is 关键字用于检查对象是否于给定类型兼容，如果兼容将返回 true，如果不兼容则返回 false，在进行类型转换前，可以先使用 is 关键字判断对象是否与指定类型兼容，如果兼容才进行转换，这样的转换是安全的。 例如有：首先创建一个字符串对象，然后将字符串对象隐…...
以光量子为例，详解量子获取方式
光量子技术获取量子比特可在室温下进行。该方式有望通过与名为硅光子学（silicon photonics）的光波导（optical waveguide）芯片制造技术和光纤等光通信技术相结合来实现量子计算机。量子力学中，光既是波又是粒子。光子本…...
群晖NAS如何在虚拟机创建飞牛NAS
套件中心下载安装Virtual Machine Manager 创建虚拟机 配置虚拟机 飞牛官网下载 https://iso.liveupdate.fnnas.com/x86_64/trim/fnos-0.9.2-863.iso 群晖NAS如何在虚拟机创建飞牛NAS - 个人信息分享...
android RelativeLayout布局
<?xml version"1.0" encoding"utf-8"?> <RelativeLayout xmlns:android"http://schemas.android.com/apk/res/android"android:layout_width"match_parent"android:layout_height"match_parent"android:gravity&…...
go 里面的指针
指针 在 Go 中，指针（pointer）是一个变量的内存地址，就像 C 语言那样： a : 10 p : &a // p 是一个指向 a 的指针 fmt.Println(*p) // 输出 10，通过指针解引用• &a 表示获取变量 a 的地址 p 表示…...
ubuntu22.04有线网络无法连接，图标也没了
今天突然无法有线网络无法连接任何设备，并且图标都没了 错误案例 往上一顿搜索，试了很多博客都不行，比如 Ubuntu22.04右上角网络图标消失 最后解决的办法 下载网卡驱动，重新安装 操作步骤 查看自己网卡的型号 lspci | gre…...