当前位置： 首页 > news >正文

LLMC：大语言模型压缩工具的开发实践

news 2026/5/23 23:50:49

关注：青稞AI，学习最新AI技术
青稞Talk主页：qingkelab.github.io/talks

大模型的进步，正推动我们向通用人工智能迈进，然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术，虽然可以用来加速大模型并且有效降低显存需求，但量化后也可能会带来精度风险。

在这里插入图片描述

在由北航、商汤、南洋理工等团队联合推出的即插即用的大模型压缩工具包：LLMC中，不仅支持DeepSeekv2(2.5)等MOE模型以及Qwen2VL、Llama3.2等VLM模型的量化，还支持包括整型量化、浮点量化等量化方案，以及AWQ、GPTQ、SmoothQuant 和 Quarot 等先进量化算法。

LLMC可以利用最先进的压缩算法提高效率并减少模型体积，同时不影响预测精度。目前已开源，大家可以直接使用

https://github.com/ModelTC/llmc

12月16日晚8点，青稞Talk第32期，商汤科技研究院谷石桥和雍洋两位模型压缩研究员，将对LLMC进行直播分享，主题为《LLMC：大语言模型压缩工具的开发实践》。

他们将从工具框架设计，常用算法解读和工具使用方式等角度，为大家详细讲解LLMC及实践，希望大家可以从中获益。

主讲嘉宾

谷石桥，商汤科技研究院模型压缩研究员，毕业于天津大学，现主要研究方向为深度学习的模型压缩技术，目前已在EMNLP，PatternRecognition, TCSVT等发表多篇论文。

雍洋，商汤科技研究院模型压缩研究员，毕业于西安交通大学，现主要研究方向为深度学习的模型压缩技术，目前已在AAAI，EMNLP，ACM MM等发表多篇论文。

主题提纲

LLMC：大语言模型压缩工具的开发实践

1、大模型压缩及量化风险

2、大模型压缩包 LLMC 的框架设计

3、LLMC 落地实践和推理后端部署

4、自定义扩展新算法、模型及评测数据

直播时间

12月16日（周一）20:00 - 21:00

相关文章：

LLMC：大语言模型压缩工具的开发实践

关注：青稞AI，学习最新AI技术 青稞Talk主页：qingkelab.github.io/talks 大模型的进步，正推动我们向通用人工智能迈进，然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术，虽然可以用来加速…...

编程日记 2024/12/15 0:20:48

基于阿里云Ubuntu22.04 64位服务器Java及MySql环境配置命令记录

基于阿里云Ubuntu22.04 64位服务器Java及MySql环境配置命令记录 Java 23 离线环境配置MySql 环境配置MySQL常用命令 Java 23 离线环境配置 下载 Ubuntu环境下 Java 23 离线包 链接: java Downloads. 在Linux环境下创建一个安装目录 mkdir -p /usr/local/java将下载好的jdk压缩…...

编程日记 2024/12/15 0:18:40

第一课【输入输出】(题解)

1.向世界问好 题目描述 编程输出以下内容: Hello World! Im a C program. 输入格式 本题无输入。 输出格式 请按照样例输出，注意大小写、空格、感叹号，句号，单引号都必须使用英文输入法里的符号。 样例输入/输出 输入数据 1 本题无…...

编程日记 2024/12/15 0:17:37

查看 Linux 进程运行所在 CPU 内核

判断进程运行在哪个 CPU 内核上 作者：Dan Nanni 译者：LCTT | 2015-09-28 10:43 问题：Linux 进程运行在多核处理器系统上。怎样才能找出哪个 CPU 内核正在运行该进程？ 当你在 多核 NUMA 处理器上 运行需要较高性能的 HPC&…...

编程日记 2024/12/15 0:16:36

ESP32外设学习部分--SPI篇

SPI学习 前言 我个人以为开始学习一个新的单片机最好的方法就是先把他各个外设给跑一遍，整体了解一下他的功能，由此记录一下我学习ESP32外设的过程，防止以后忘记。 SPI 配置步骤 SPI总线初始化 spi_bus_config_t buscfg {.miso_io_num …...

编程日记 2024/12/15 0:13:32

Tomcat的下载和使用，配置控制台输出中文日志

目录 1. 简介2. 下载3. 使用3.1 文件夹展示3.1.1 控制台输出乱码 3.2 访问localhost:80803.3 访问静态资源 4. 总结 1. 简介 Tomcat，全称为Apache Tomcat，是一个开源的Web应用服务器和Servlet容器，由Apache软件基金会的Jakarta项目开发。它实…...

编程日记 2024/12/15 0:10:29

MySQL不能被其他地址访问，授权问题解决（8.x,,5.x）

首先强调的是两个版本，5版本和8版本问题反馈不一样 Linux系统部署mysql8.4版本 MySQL官网地址写的很清楚了，不多介绍 直接进入主题，恶心了我三个多小时的问题，翻阅大量国内外资料，结果并不是个多么难得问题&#xff0…...

编程日记 2024/12/15 0:09:27

四、个人项目系统搭建

文章目录 一、python写的后端代码二、html代码三、index.css四、js代码 效果图： 一、python写的后端代码 后端代码使用Flask编写，如下所示： # app.py from flask import Flask, render_template, request, jsonify, g import sqlite3 import…...

编程日记 2024/12/15 0:03:17

CV(4)--边缘提取和相机模型

前言 仅记录学习过程，有问题欢迎讨论 边缘提取（涉及语义分割）： 图象的边缘是指图象局部区域亮度变化显著的部分,也有正负之分，暗到亮为正 求边缘的幅度：sobel，Canny算子 图像分高频分量和低…...

编程日记 2024/12/15 0:02:16

SORT算法详解及Python实现

目录 SORT算法详解及Python实现第一部分：SORT算法概述与原理1.1 SORT算法简介1.2 应用场景1.3 算法流程第二部分：数学公式与主要模块2.1 卡尔曼滤波模型2.2 目标关联与匈牙利算法2.3 新建与移除机制第三部分：Python实现：SORT算法基础代码3.1 安装依赖3.2 基础代码实现第四部…...

编程日记 2024/12/15 0:00:12

图计算之科普：BSP计算模型、Pregel计算模型、

一、BSP计算模型 BSP计算模型，即整体同步并行计算模型（Bulk Synchronous Parallel Computing Model），又名大同步模型或BSP模型，是由哈佛大学L.G. Valiant教授（2010年图灵奖得主）在1992年提出的…...

编程日记 2024/12/14 23:57:09

pytest入门一：用例的执行范围

从一个或多个目录开始查找，可以在命令行指定文件名或目录名。如果未指定，则使用当前目录。 测试文件以 test_ 开头或以 _test 结尾 测试类以 Test 开头 ，并且不能带有 init 方法 测试函数以 test_ 开头 断言使用基本的 assert 即可 所有的…...

编程日记 2024/12/14 23:56:08

22. 正则表达式

一、概述 正则表达式（regular expression）又称 规则表达式，是一种文本模式（pattern）。正则表达式使用一个字符串来描述、匹配具有相同规格的字符串，通常被用来检索、替换那些符合某个模式（规则&…...

编程日记 2024/12/14 23:54:06

Flink Python作业快速入门

Flink Python快速入门_实时计算 Flink版(Flink)-阿里云帮助中心 import argparse # 用于处理命令行参数和选项，使程序能够接收用户通过命令行传递的参数 import logging import sysfrom pyflink.common import WatermarkStrategy, Encoder, Types from pyflink.data…...

编程日记 2024/12/14 23:45:59

自定义函数库

求两点距离 double dis(double x1, double y1, double x2, double y2){return sqrt(pow(x2-x1, 2)pow(y2-y1, 2)); }判断闰年 bool isLeapYear(int year){return year%40 && year%100!0 || year%4000; }判断素数 bool isPrime(int num){if(num<2) return false;f…...

编程日记 2024/12/14 23:44:57

FreeRTOS例程2-任务挂起恢复与使用中断遇到的坑!

任务挂起简单点理解就是现在不需要执行这个任务&#xff0c;让它先暂停&#xff0c;就是挂起。恢复就是从刚才挂起的状态下继续运行。 API函数 任务挂起vTaskSuspend() 函数原型(tasks.c中): void vTaskSuspend( TaskHandle_t xTaskToSuspend ) 1. 参数&#xff1a; xTaskTo…...

编程日记 2024/12/14 23:35:48

L23.【LeetCode笔记】验证回文串(剖析几种解法)

目录 1.题目 2.自解 提交结果 反思 大小写之间的位运算 提交结果 3.代码优化 提交结果 ​编辑 4.LeetCode网友提供的解法 1.题目 https://leetcode.cn/problems/XltzEq/description/ 给定一个字符串 s &#xff0c;验证 s 是否是 回文串 &#xff0c;只考虑字母和数…...

编程日记 2024/12/14 23:34:47

FPGA 17 ，FPGA 与 SR-IOV虚拟化技术，高性能计算与虚拟化技术的结合（FPGA 与 SR-IOV 和 PCI，高性能计算与虚拟化的完美融合）

目录 前言 一. SR-IOV 的起源与发展 1. SR-IOV 的起源与时间线 2. SR-IOV 的诞生原因 3. SR-IOV 的详细介绍 二. SR-IOV 和 PCI 之间的关系 三. PCI 的起源与演进 1. PCI 的起源与时间线 2. PCI 的关键特性 四. FPGA 的独特魅力 1. FPGA 的定义与特性 2. FPGA 的内…...

编程日记 2024/12/14 23:33:47

解决navicat 导出excel数字为科学计数法问题

一、原因分析 用程序导出的csv文件&#xff0c;当字段中有比较长的数字字段存在时&#xff0c;在用excel软件查看csv文件时就会变成科学技术法的表现形式。 其实这个问题跟用什么语言导出csv文件没有关系。Excel显示数字时&#xff0c;如果数字大于12位&#xff0c;它会自动转化…...

编程日记 2024/12/14 23:32:46

[Unity] AppLovin Max接入Native 广告 Android篇

把下载下来的maxnativelibrary-release-文件放在Plugins/Android下 将这一行加入到mainTemplate.gradle文件中 implementation androidx.constraintlayout:constraintlayout:2.1.4添加下面的两个脚本 using System; using System.Collections; using System.Collections.Gener…...

编程日记 2024/12/14 23:31:45

CANN算子开发调试实战：从“Segmentation Fault“到定位根因的完整流程

写Ascend C算子最怕的不是编译失败——编译失败有明确的错误信息。最怕的是运行时Segmentation Fault&#xff0c;什么都没告诉你&#xff0c;NPU直接挂了。没有堆栈、没有日志、只有一行"Killed"。 这篇整理了算子开发中常见的运行时错误、调试方法、以及定位根因的…...

编程新知 2026/5/23 22:53:53

校园项目 / 课程设计：如何包装成求职加分项

前言：你的校园项目，是不是写得像“课程作业汇报”？ “完成课程设计《图书管理系统》，使用Java+MySQL开发，实现增删改查功能”——如果你还在这么写校园项目，恭喜你！成功加入“HR扫一眼就划走”豪华套餐。 现在的求职市场卷成什么样？某互联网大厂HR透露：“每天收到50…...

编程新知 2026/5/23 22:14:29

5分钟掌握NoFences：告别杂乱桌面的免费桌面整理终极指南

5分钟掌握NoFences&#xff1a;告别杂乱桌面的免费桌面整理终极指南 【免费下载链接】NoFences &#x1f6a7; Open Source Stardock Fences alternative 项目地址: https://gitcode.com/gh_mirrors/no/NoFences 你是否每天都要面对一个布满杂乱图标的Windows桌面&#…...

编程新知 2026/5/23 21:50:54

避开Keil开发大坑：从一次CANFD驱动调试，总结C语言数组操作的5个常见陷阱

避开Keil开发大坑&#xff1a;从一次CANFD驱动调试&#xff0c;总结C语言数组操作的5个常见陷阱 调试嵌入式系统的CANFD驱动时&#xff0c;一个看似简单的数组越界问题让我熬了整整三个通宵。当逻辑分析仪终于捕捉到那个幽灵般的非法内存写入时&#xff0c;我才意识到——在Kei…...

编程新知 2026/5/23 18:44:10

零售行业AI Agent私域运营提效实录：单店月均增收27.6万元背后的11个可复用决策节点

更多请点击&#xff1a; https://codechina.net 第一章&#xff1a;零售行业AI Agent私域运营提效实录&#xff1a;单店月均增收27.6万元背后的11个可复用决策节点 某连锁美妆品牌在华东67家直营门店部署轻量级AI Agent私域运营系统后&#xff0c;3个月内单店月均GMV提升27.6万…...

编程新知 2026/5/23 18:08:32

跨平台B站视频下载终极指南：如何用BilibiliDown轻松搞定离线观看

跨平台B站视频下载终极指南&#xff1a;如何用BilibiliDown轻松搞定离线观看 【免费下载链接】BilibiliDown (GUI-多平台支持) B站 哔哩哔哩 视频下载器。支持稍后再看、收藏夹、UP主视频批量下载|Bilibili Video Downloader &#x1f633; 项目地址: https://gitcode.com/gh…...

编程新知 2026/5/23 15:01:18

硬核教程：用Gemini境像站构建端到端自动化办公工作流，告别重复操作（国内免费镜像实测）

在日常办公中&#xff0c;大量的重复性操作——数据录入、日报生成、文件归档——占据了相当比例的时间。将这些任务串联成自动化工作流&#xff0c;能显著提升效率。目前国内用户无需特殊网络环境&#xff0c;通过聚合镜像站 RskAi&#xff08;ai.jingxiang.me&#xff09; 即…...

编程新知 2026/5/23 13:04:21

动态阻抗匹配增益单元：破解脑电前端 “弱信号放大” 难题

通过上一篇文章的学习&#xff0c;相信大家对自研脑机接口模拟前端的整体框架有了一定的了解&#xff0c;其中动态阻抗匹配增益单元是解决 “微弱脑电信号无法稳定放大” 这一核心难题的关键。今天这篇文章&#xff0c;蔡哥就带大家来聊聊这项技术的设计背景、实现思路和实际效…...

编程新知 2026/5/23 12:57:44

从零到精通：3分钟掌握gdown，让Google Drive下载不再是噩梦

从零到精通&#xff1a;3分钟掌握gdown&#xff0c;让Google Drive下载不再是噩梦 【免费下载链接】gdown Google Drive public file downloader when curl/wget fails. 项目地址: https://gitcode.com/gh_mirrors/gd/gdown 还在为Google Drive大文件下载失败而烦恼吗&a…...

编程新知 2026/5/23 12:31:06

回归模型评估实战指南：从指标选择到业务决策

1. 这不是“背公式”手册&#xff0c;而是回归模型评估的实战决策地图 你训练完一个房价预测模型&#xff0c;R0.87&#xff0c;MAE2.3万&#xff0c;RMSE3.8万——然后呢&#xff1f;是立刻上线&#xff1f;还是再调参&#xff1f;还是换数据&#xff1f;还是干脆换算法&#…...

编程新知 2026/5/23 12:02:33