当前位置： 首页 > news >正文

vllm 大模型量化微调推理使用： lora、gptq、awq

news 2026/4/2 8:16:38

1）微调lora模型推理

docker run  --gpus all  -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora:/lora  -p 10860:10860 --

相关文章：

vllm 大模型量化微调推理使用： lora、gptq、awq

1）微调lora模型推理 docker run --gpus all -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora:/lora -p 10860:10860 --...

编程日记 2024/6/7 6:25:00

WPS/Office(Word、Excel、PPT) 自动测评方法

在各高等、中等院校的计算机类课程中,计算机基本应用技能的上机操作考试,广受重视,大为盛行。其中,office(word、excel、ppt)上机考试最为普遍。于是,实现这类Office文档操作的自动阅卷评分,很有必要。本人最近项目上刚好遇到需要解决这种自动评分的问题，所以再次记录下解决的…...

编程日记 2024/6/7 6:22:57

ArrayList——简单洗牌算法

特殊语法介绍&#xff1a; List<List<E>> 该语法情况比较特殊&#xff0c;相当于一个“二维数组”存着一个个线性表的结构&#xff0c;如图&#xff1a; 该语法的灵活性强&#xff0c;可适用于多种类型和多种情况。接下来就使用该语法来实现一个简单的洗牌操作。…...

编程日记 2024/6/7 6:20:54

springboot vue 开源 会员收银系统 (6) 收银台的搭建

前言 完整版演示 前面我们对会员系统 分类和商品的开发 完成了收银所需的基础信息 下面我们开始完成收银台的开发 简单画了一个收银的流程图大家参考下 从这张图我们可以分析一下几点 可以选择会员或散客收银选择会员使用相应的会员价结算使用会员卡则在价格基础根据卡折扣…...

编程日记 2024/6/7 6:18:51

重排和重绘的区别，什么情况下会触发这两种情况

重排&#xff08;Reflow&#xff09;和重绘&#xff08;Repaint&#xff09;是Web前端开发中关于浏览器渲染机制的两个核心概念。它们之间的主要区别以及触发条件如下&#xff1a; 重排&#xff08;Reflow&#xff09; 定义&#xff1a; 重排也称为布局&#xff08;Layout&a…...

编程日记 2024/6/7 6:16:47

亮点回顾｜智能汽车芯片创新技术应用与质量研讨会

5月29日&#xff0c;2024汽车软件与通信大会——智能汽车芯片创新技术应用与质量研讨会在江苏苏州狮山国际会议中心举行。本次会议由中国中检所属中国汽车工程研究院股份有限公司&#xff08;简称&#xff1a;中国汽研&#xff09;主办&#xff0c;旨在为智能汽车芯片的技术创新…...

编程日记 2024/6/7 6:15:46

特征工程，减小过拟合

目录 特征工程 减小过拟合 图像增强方法 特征工程是机器学习和数据分析中不可或缺的一环，其重要性不言而喻。以下是关于特征工程的详细回答： 一、定义 特征工程是将原始数据转化为更好的表达问题本质的特征的过程，旨在发现对因变量y有明显影响作用的特征（通常称自变量…...

编程日记 2024/6/7 6:14:45

STM32-16-ADC

STM32-01-认识单片机 STM32-02-基础知识 STM32-03-HAL库 STM32-04-时钟树 STM32-05-SYSTEM文件夹 STM32-06-GPIO STM32-07-外部中断 STM32-08-串口 STM32-09-IWDG和WWDG STM32-10-定时器 STM32-11-电容触摸按键 STM32-12-OLED模块 STM32-13-MPU STM32-14-FSMC_LCD STM32-15-DMA…...

编程日记 2024/6/7 6:13:44

单例模式（C语言）

C语言的设计模式&#xff08;单例模式&#xff09; 单例模式&#xff08;Singleton Pattern&#xff09;是一种设计模式&#xff0c;目的是确保一个类只有一个实例&#xff0c;并提供一个全局访问点。 #include "stdio.h" #include "stdlib.h"// 定义一个…...

编程日记 2024/6/7 6:10:39

js前端格式化日期函数

开发需求 在前端中我们通常使用new Date()函数获取到的日期时间是下面这种样子&#xff1a;Thu Jun 06 2024 17:29:11 GMT0800 (中国标准时间)&#xff0c;我们想要把它转换成常见的指定格式&#xff0c;比如 年-月-日 时:分:秒年/月/日 时:分:秒年-月-日年/月/日 所以就封装…...

编程日记 2024/6/7 6:09:37

五个超实用的 ChatGPT-4o 提示词

GPT-4o 是 OpenAI 最近推出的最新人工智能模型&#xff0c;不仅具备大语言模型的能力&#xff0c;而且拥有多模态模型的看、读、说等能力&#xff0c;而且速度比 GPT-4 更快。下面我们就来介绍几个超实用的 GPT-4o 提示词&#xff0c;帮助大家更好地了解 GPT-4o 的功能和应用场…...

编程日记 2024/6/7 6:06:33

基于51单片机多功能防盗报警proteus仿真( proteus仿真+程序+设计报告+原理图+讲解视频）

基于51单片机多功能防盗报警系统 1. 主要功能&#xff1a;2. 讲解视频&#xff1a;3. 仿真4. 程序代码5. 设计报告6. 原理图7. 设计资料内容清单&&下载链接 基于51单片机多功能防盗报警系统( proteus仿真程序设计报告原理图讲解视频&#xff09; 仿真图proteus8.9及以上…...

编程日记 2024/6/7 6:05:32

gitee和github的协同

假设gitee上zhaodezan有一个开发库&#xff0c;但是从andeyeluguo上拉取最新的&#xff08;从github上同步过来最新的&#xff09; git remote add dbgpt_in_gitee https://gitee.com/andeyeluguo/DB-GPT.git remote -v git pull --rebase dbgpt_in_gitee main 有冲突可能需要…...

编程日记 2024/6/7 6:01:29

压力测试-性能指标-Jmeter使用-压力测试报告

文章目录 1.压测目的2.性能指标3.Jmeter3.1Jmeter使用3.1.1 运行Jmeter3.1.2 添加线程组3.1.3设置HTTP请求3.1.4 设置监视器 3.2 查看Jmeter压测结果3.2.1 查看结果树3.2.2 查看汇总报告3.2.3 查看聚合报告3.2.4 查看汇总图 1.压测目的 内存泄漏&#xff1a;OOM&#xff0c;重…...

编程日记 2024/6/7 5:58:27

通过Slf4j中的MDC实现在日志中添加用户IP功能

一、slf4j中MDC是什么 slf4j除了trace、debug、info、warn、error这几个日志接口外&#xff0c;还可以配合MDC将数据写入日志。换句话说MDC也是用来记录日志的&#xff0c;但它的使用方式与使用日志接口不同。 在使用日志接口时我们一般这么做 log.debug("log debug"…...

编程日记 2024/6/7 5:56:25

代码随想录算法训练营第四十九天| 139.单词拆分、背包问题总结

139.单词拆分 题目链接&#xff1a;139.单词拆分 文档讲解&#xff1a;代码随想录/单词拆分 视频讲解&#xff1a;视频讲解-单词拆分 状态&#xff1a;已完成&#xff08;0遍&#xff09; 解题过程 这几天博主忙着面试和入职&#xff0c;一晃已经周四了&#xff0c;这个礼拜…...

编程日记 2024/6/7 5:53:22

STM32F103VE和STM32F407VE的引脚布局

STM32F103VE vs STM32F407VE 引脚对比表 引脚 STM32F103VE STM32F407VE 备注 1 VSS VSS 地 2 VDD VDD 电源 3 VSSA VSSA 模拟地 4 VDDA VDDA 模拟电源 5 OSC_IN OSC_IN 外部时钟输入 6 OSC_OUT OSC_OUT 外部时钟输出 7 NRST NRST 复位 8 PC13 (GPIO) PC13 (GPIO) GPIO 9 PC14 (…...

编程日记 2024/6/7 5:52:21

搜维尔科技：使用 Xsens 动作捕捉技术创建栩栩如生的动画

使用Xsens 动作捕捉技术创建栩栩如生的动画 搜维尔科技&#xff1a;使用 Xsens 动作捕捉技术创建栩栩如生的动画...

编程日记 2024/6/7 5:49:19

鸿蒙开发 一 (三)、ArkTS开发实战上

ArkTS 从 TypeScript 优化而来&#xff0c; 但有些用法又不太一样&#xff0c; 在开发中&#xff0c; 经常会出现一些报错提示&#xff0c;下面我们也汇总一些常见错误&#xff0c;捡一些常见的整理一下 Promise 的用法&#xff1a; //TypeScript 写法&#xff1a;private load…...

编程日记 2024/6/7 5:48:18

TensorRT教程（1）初探TensorRT

1. TensorRT简要介绍 TensorRT&#xff08;NVIDIA TensorRT&#xff09;是 NVIDIA 开发的一个用于深度学习推理的高性能推理引擎。它可以针对 NVIDIA GPU 进行高效的深度学习推理加速&#xff0c;提供了许多优化技术&#xff0c;使得推理速度更快&#xff0c;并且可以在生产环境…...

编程日记 2024/6/7 5:47:17

JAVA重点基础、进阶知识及易错点总结（13）File 类 + 路径操作

&#x1f680; Java 巩固进阶 第13天 主题&#xff1a;File 类 路径操作 —— IO 体系的第一块基石&#x1f4c5; 进度概览&#xff1a;从今天起&#xff0c;我们正式进入 Java IO 流体系。第一站&#xff1a;java.io.File。 &#x1f4a1; 核心价值&#xff1a; 文件操作基石…...

编程新知 2026/4/2 6:42:39

Phi-4-mini-reasoning vLLM服务加固：限流熔断、输入清洗、输出长度约束配置

Phi-4-mini-reasoning vLLM服务加固&#xff1a;限流熔断、输入清洗、输出长度约束配置 1. 模型服务概述 Phi-4-mini-reasoning 是一个基于合成数据构建的轻量级开源模型&#xff0c;专注于高质量、密集推理的数据&#xff0c;并进一步微调以提高更高级的数学推理能力。该模型…...

编程新知 2026/4/2 4:47:35

从SRCNN到WDSR：图像超分辨率核心演进路径与关键技术剖析

1. 图像超分辨率技术的基础认知 当你用手机拍下一张照片却发现放大后模糊不清时&#xff0c;图像超分辨率技术就能派上用场。这项技术就像给图像装上"显微镜"&#xff0c;能将低分辨率图片转化为清晰的高分辨率版本。不同于简单的插值放大&#xff0c;它通过深度学习…...

编程新知 2026/4/2 4:09:11

ROS2开发环境搭建避坑指南：Win11 + WSL2 + Ubuntu 22.04 从安装到测试的完整记录

ROS2开发环境搭建实战&#xff1a;Win11与WSL2深度适配指南 环境准备与系统调优 在Windows 11上搭建ROS2开发环境&#xff0c;选择WSL2作为Linux子系统是最佳实践方案。不同于传统虚拟机方案&#xff0c;WSL2提供了接近原生Linux的性能表现&#xff0c;同时完美集成Windows桌…...

编程新知 2026/4/2 3:40:16

FastAPI ORM 封装：FastAPI 与 SQLModel 的无缝集成与快速开发

更多内容请见： 《Python Web项目集锦》 - 专栏介绍和目录 核心价值： SQLModel 是 FastAPI 作者 Tiangolo 为 Python Web 开发量身打造的"ORM 终极解决方案"，它将 Pydantic 模型与 SQLAlchemy 深度融合，让开发者在编写 API 时无需在数据库模型和 API 模型之间反复…...

编程新知 2026/4/2 3:25:37

RT thread—iic—at24c04读写操作

at24c04介绍&#xff1a;存储容量&#xff1a;4 Kbits&#xff08;即 512 字节&#xff09;。内部结构为 32 页&#xff0c;每页 16 字节。地址0x000-0x1FF通信接口&#xff1a;标准 I2C&#xff08;时钟线 SCL 和数据线 SDA&#xff09;&#xff0c;支持最高 400 kHz 的快速模…...

编程新知 2026/4/2 3:11:30

告别传统方法：LogAnomaly如何用NLP技术提升日志异常检测准确率？

告别传统方法&#xff1a;LogAnomaly如何用NLP技术重构日志异常检测范式&#xff1f; 日志数据如同数字世界的神经系统&#xff0c;记录着系统运行的每一次"心跳"与"呼吸"。传统检测方法就像拿着放大镜寻找心电图异常&#xff0c;而LogAnomaly则带来了全新…...

编程新知 2026/4/2 3:09:29

千问3.5-9B提示词工程：优化OpenClaw任务拆解质量

千问3.5-9B提示词工程&#xff1a;优化OpenClaw任务拆解质量 1. 为什么需要优化提示词 去年冬天第一次用OpenClaw自动整理会议纪要时&#xff0c;我被它的"耿直"气笑了——让它"提取关键结论"&#xff0c;结果给我返回了整段录音的文字版&#xff0c;连&…...

编程新知 2026/4/2 2:43:04

板对板排针连接器对电子设计有哪些影响

在电子设计领域&#xff0c;哪怕是看着不起眼的小元件&#xff0c;也能起到关键作用&#xff0c;板对板排针连接器就是这样的存在。别看它体积小巧&#xff0c;却是电子设备里的核心连接部件&#xff0c;能让印刷电路板&#xff08;PCB&#xff09;之间实现无缝对接&#xff0c…...

编程新知 2026/4/2 2:20:45

如何写 Skill

核心概念 Skill 是一个自包含的模块&#xff0c;用来给 Claude/Cascade 注入特定领域的知识、工作流和工具。本质上就是一个"新手入职指南"&#xff0c;让通用 AI 变成某个领域的专家。 目录结构 skill-name/ ├── SKILL.md # 必须&#xff0c;核心文件 └…...

编程新知 2026/4/2 1:32:12