当前位置： 首页 > news >正文

vllm 大模型量化微调推理使用： lora、gptq、awq

news 2026/4/2 6:52:40

1）微调lora模型推理

docker run  --gpus all  -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora:/lora  -p 10860:10860 --

相关文章：

vllm 大模型量化微调推理使用： lora、gptq、awq

1）微调lora模型推理 docker run --gpus all -v /ai/Qwen1.5-7B-Chat:/qwen-7b -v /ai/lora:/lora -p 10860:10860 --...

编程日记 2024/6/7 6:25:00

WPS/Office(Word、Excel、PPT) 自动测评方法

在各高等、中等院校的计算机类课程中,计算机基本应用技能的上机操作考试,广受重视,大为盛行。其中,office(word、excel、ppt)上机考试最为普遍。于是,实现这类Office文档操作的自动阅卷评分,很有必要。本人最近项目上刚好遇到需要解决这种自动评分的问题，所以再次记录下解决的…...

编程日记 2024/6/7 6:22:57

ArrayList——简单洗牌算法

特殊语法介绍&#xff1a; List<List<E>> 该语法情况比较特殊&#xff0c;相当于一个“二维数组”存着一个个线性表的结构&#xff0c;如图&#xff1a; 该语法的灵活性强&#xff0c;可适用于多种类型和多种情况。接下来就使用该语法来实现一个简单的洗牌操作。…...

编程日记 2024/6/7 6:20:54

springboot vue 开源 会员收银系统 (6) 收银台的搭建

前言 完整版演示 前面我们对会员系统 分类和商品的开发 完成了收银所需的基础信息 下面我们开始完成收银台的开发 简单画了一个收银的流程图大家参考下 从这张图我们可以分析一下几点 可以选择会员或散客收银选择会员使用相应的会员价结算使用会员卡则在价格基础根据卡折扣…...

编程日记 2024/6/7 6:18:51

重排和重绘的区别，什么情况下会触发这两种情况

重排&#xff08;Reflow&#xff09;和重绘&#xff08;Repaint&#xff09;是Web前端开发中关于浏览器渲染机制的两个核心概念。它们之间的主要区别以及触发条件如下&#xff1a; 重排&#xff08;Reflow&#xff09; 定义&#xff1a; 重排也称为布局&#xff08;Layout&a…...

编程日记 2024/6/7 6:16:47

亮点回顾｜智能汽车芯片创新技术应用与质量研讨会

5月29日&#xff0c;2024汽车软件与通信大会——智能汽车芯片创新技术应用与质量研讨会在江苏苏州狮山国际会议中心举行。本次会议由中国中检所属中国汽车工程研究院股份有限公司&#xff08;简称&#xff1a;中国汽研&#xff09;主办&#xff0c;旨在为智能汽车芯片的技术创新…...

编程日记 2024/6/7 6:15:46

特征工程，减小过拟合

目录 特征工程 减小过拟合 图像增强方法 特征工程是机器学习和数据分析中不可或缺的一环，其重要性不言而喻。以下是关于特征工程的详细回答： 一、定义 特征工程是将原始数据转化为更好的表达问题本质的特征的过程，旨在发现对因变量y有明显影响作用的特征（通常称自变量…...

编程日记 2024/6/7 6:14:45

STM32-16-ADC

STM32-01-认识单片机 STM32-02-基础知识 STM32-03-HAL库 STM32-04-时钟树 STM32-05-SYSTEM文件夹 STM32-06-GPIO STM32-07-外部中断 STM32-08-串口 STM32-09-IWDG和WWDG STM32-10-定时器 STM32-11-电容触摸按键 STM32-12-OLED模块 STM32-13-MPU STM32-14-FSMC_LCD STM32-15-DMA…...

编程日记 2024/6/7 6:13:44

单例模式（C语言）

C语言的设计模式&#xff08;单例模式&#xff09; 单例模式&#xff08;Singleton Pattern&#xff09;是一种设计模式&#xff0c;目的是确保一个类只有一个实例&#xff0c;并提供一个全局访问点。 #include "stdio.h" #include "stdlib.h"// 定义一个…...

编程日记 2024/6/7 6:10:39

js前端格式化日期函数

开发需求 在前端中我们通常使用new Date()函数获取到的日期时间是下面这种样子&#xff1a;Thu Jun 06 2024 17:29:11 GMT0800 (中国标准时间)&#xff0c;我们想要把它转换成常见的指定格式&#xff0c;比如 年-月-日 时:分:秒年/月/日 时:分:秒年-月-日年/月/日 所以就封装…...

编程日记 2024/6/7 6:09:37

五个超实用的 ChatGPT-4o 提示词

GPT-4o 是 OpenAI 最近推出的最新人工智能模型&#xff0c;不仅具备大语言模型的能力&#xff0c;而且拥有多模态模型的看、读、说等能力&#xff0c;而且速度比 GPT-4 更快。下面我们就来介绍几个超实用的 GPT-4o 提示词&#xff0c;帮助大家更好地了解 GPT-4o 的功能和应用场…...

编程日记 2024/6/7 6:06:33

基于51单片机多功能防盗报警proteus仿真( proteus仿真+程序+设计报告+原理图+讲解视频）

基于51单片机多功能防盗报警系统 1. 主要功能&#xff1a;2. 讲解视频&#xff1a;3. 仿真4. 程序代码5. 设计报告6. 原理图7. 设计资料内容清单&&下载链接 基于51单片机多功能防盗报警系统( proteus仿真程序设计报告原理图讲解视频&#xff09; 仿真图proteus8.9及以上…...

编程日记 2024/6/7 6:05:32

gitee和github的协同

假设gitee上zhaodezan有一个开发库&#xff0c;但是从andeyeluguo上拉取最新的&#xff08;从github上同步过来最新的&#xff09; git remote add dbgpt_in_gitee https://gitee.com/andeyeluguo/DB-GPT.git remote -v git pull --rebase dbgpt_in_gitee main 有冲突可能需要…...

编程日记 2024/6/7 6:01:29

压力测试-性能指标-Jmeter使用-压力测试报告

文章目录 1.压测目的2.性能指标3.Jmeter3.1Jmeter使用3.1.1 运行Jmeter3.1.2 添加线程组3.1.3设置HTTP请求3.1.4 设置监视器 3.2 查看Jmeter压测结果3.2.1 查看结果树3.2.2 查看汇总报告3.2.3 查看聚合报告3.2.4 查看汇总图 1.压测目的 内存泄漏&#xff1a;OOM&#xff0c;重…...

编程日记 2024/6/7 5:58:27

通过Slf4j中的MDC实现在日志中添加用户IP功能

一、slf4j中MDC是什么 slf4j除了trace、debug、info、warn、error这几个日志接口外&#xff0c;还可以配合MDC将数据写入日志。换句话说MDC也是用来记录日志的&#xff0c;但它的使用方式与使用日志接口不同。 在使用日志接口时我们一般这么做 log.debug("log debug"…...

编程日记 2024/6/7 5:56:25

代码随想录算法训练营第四十九天| 139.单词拆分、背包问题总结

139.单词拆分 题目链接&#xff1a;139.单词拆分 文档讲解&#xff1a;代码随想录/单词拆分 视频讲解&#xff1a;视频讲解-单词拆分 状态&#xff1a;已完成&#xff08;0遍&#xff09; 解题过程 这几天博主忙着面试和入职&#xff0c;一晃已经周四了&#xff0c;这个礼拜…...

编程日记 2024/6/7 5:53:22

STM32F103VE和STM32F407VE的引脚布局

STM32F103VE vs STM32F407VE 引脚对比表 引脚 STM32F103VE STM32F407VE 备注 1 VSS VSS 地 2 VDD VDD 电源 3 VSSA VSSA 模拟地 4 VDDA VDDA 模拟电源 5 OSC_IN OSC_IN 外部时钟输入 6 OSC_OUT OSC_OUT 外部时钟输出 7 NRST NRST 复位 8 PC13 (GPIO) PC13 (GPIO) GPIO 9 PC14 (…...

编程日记 2024/6/7 5:52:21

搜维尔科技：使用 Xsens 动作捕捉技术创建栩栩如生的动画

使用Xsens 动作捕捉技术创建栩栩如生的动画 搜维尔科技&#xff1a;使用 Xsens 动作捕捉技术创建栩栩如生的动画...

编程日记 2024/6/7 5:49:19

鸿蒙开发 一 (三)、ArkTS开发实战上

ArkTS 从 TypeScript 优化而来&#xff0c; 但有些用法又不太一样&#xff0c; 在开发中&#xff0c; 经常会出现一些报错提示&#xff0c;下面我们也汇总一些常见错误&#xff0c;捡一些常见的整理一下 Promise 的用法&#xff1a; //TypeScript 写法&#xff1a;private load…...

编程日记 2024/6/7 5:48:18

TensorRT教程（1）初探TensorRT

1. TensorRT简要介绍 TensorRT&#xff08;NVIDIA TensorRT&#xff09;是 NVIDIA 开发的一个用于深度学习推理的高性能推理引擎。它可以针对 NVIDIA GPU 进行高效的深度学习推理加速&#xff0c;提供了许多优化技术&#xff0c;使得推理速度更快&#xff0c;并且可以在生产环境…...

编程日记 2024/6/7 5:47:17

AUnit：面向Arduino的轻量级嵌入式单元测试框架

1. AUnit&#xff1a;面向嵌入式Arduino平台的轻量级单元测试框架1.1 设计动因与核心定位AUnit并非凭空诞生的全新框架&#xff0c;而是针对ArduinoUnit 2.2在实际工程中暴露出的三大痛点所进行的深度重构与优化。作为一名长期在资源受限的8位AVR平台&#xff08;如Arduino UNO…...

编程新知 2026/4/2 6:34:37

LM358充电器电路设计：从原理到实践

1. LM358芯片基础解析 LM358这颗双运放芯片可以说是电子设计领域的"万金油"了。我第一次接触它是在大学电子竞赛时&#xff0c;老师随手扔给我们几片说&#xff1a;"用这个&#xff0c;不容易烧。"果然&#xff0c;从5V到32V的宽电压范围让它成为新手最友好…...

编程新知 2026/4/2 6:18:27

扩散模型技术演进三部曲：从理论奠基到产业落地的核心突破

1. 扩散模型&#xff1a;一场关于"破坏与重建"的技术革命 想象你正在教一个孩子画画&#xff0c;但用的是一种特别的方式&#xff1a;先给他看一张完整的画作&#xff0c;然后你不断地在上面涂抹修改&#xff0c;直到画作变成一团杂乱无章的线条。接着&#xff0c;你…...

编程新知 2026/4/2 6:06:16

7款AI论文写作工具推荐：爱毕业aibiye等平台提供自动排版及LaTeX模板适配

工具快速对比排名&#xff08;前7推荐&#xff09; 工具名称 核心功能亮点 处理时间 适配平台 aibiye 学生/编辑双模式降AIGC 1分钟 知网、万方等 aicheck AI痕迹精准弱化查重一体 ~20分钟 知网、格子达、维普 askpaper AIGC率个位数优化 ~20分钟 高校检测规则通…...

编程新知 2026/4/2 4:49:36

别只盯着价格！用统计学和三角函数“解剖”波场哈希：一份给数据科学家的区块链数据分析指南

区块链哈希值的数据科学探索&#xff1a;从统计建模到三角分析 区块链技术正在重塑数据科学的边界&#xff0c;而哈希值作为其核心组件之一&#xff0c;蕴含着丰富的数学特征等待挖掘。对于具备统计学基础的研究者而言&#xff0c;这些看似随机的字符串实际上是绝佳的研究样本。…...

编程新知 2026/4/2 4:33:20

缺失值处理太慢？重复检测卡顿？Polars 2.0清洗提速秘技，一文掌握5大核心模式

第一章&#xff1a;Polars 2.0数据清洗性能瓶颈的本质剖析Polars 2.0 在引入 LazyFrame 默认执行模型与物理计划优化器后&#xff0c;显著提升了复杂 ETL 流水线的吞吐能力&#xff0c;但实际数据清洗场景中仍频繁出现 CPU 利用率不均、内存驻留时间过长及 UDF 执行退化等现象。…...

编程新知 2026/4/2 4:11:12

R语言新手必看：ggplot2安装失败的5种常见原因及解决方法（附完整代码）

R语言ggplot2安装问题全解析&#xff1a;从报错排查到可视化实战 第一次接触R语言的ggplot2包时&#xff0c;那种兴奋和期待往往会被突如其来的报错信息浇灭。作为R社区最受欢迎的数据可视化工具&#xff0c;ggplot2以其优雅的语法和强大的定制能力吸引了无数用户&#xff0c;但…...

编程新知 2026/4/2 3:46:27

如何用UAV-Flow实现语音控制无人机？手把手教你搭建环境与避坑指南

如何用UAV-Flow实现语音控制无人机&#xff1f;从环境搭建到实战避坑全指南 当无人机遇上自然语言处理&#xff0c;会擦出怎样的火花&#xff1f;去年接触UAV-Flow时&#xff0c;我正为一个农业巡检项目头疼——传统摇杆控制需要专业飞手&#xff0c;而农户们更习惯说"绕着…...

编程新知 2026/4/2 3:38:16

Z-Image-GGUF惊艳效果：运动模糊、景深虚化、镜头畸变等摄影级效果模拟

Z-Image-GGUF惊艳效果&#xff1a;运动模糊、景深虚化、镜头畸变等摄影级效果模拟 1. 项目简介&#xff1a;当AI学会“拍照” 想象一下&#xff0c;你告诉AI&#xff1a;“给我一张黄昏时分&#xff0c;一个女孩在樱花树下奔跑的照片&#xff0c;要有那种风吹过发丝的动感&am…...

编程新知 2026/4/2 3:34:03

不露脸也能当主播？一文了解VTuber

不露脸也能当主播&#xff1f;一文了解VTuber很多人提到 VTuber&#xff0c;脑子里就是“二次元纸片人”在直播间卖萌。 但其实&#xff0c;你每天换的微信头像、用过的苹果拟我表情&#xff0c;短视频平台的3D头套全都是它的“远房亲戚”。 今天我们就把这层科技外衣扒开&…...

编程新知 2026/4/2 3:07:29