当前位置： 首页 > news >正文

LLMC：大语言模型压缩工具的开发实践

news 2026/4/8 17:05:52

关注：青稞AI，学习最新AI技术
青稞Talk主页：qingkelab.github.io/talks

大模型的进步，正推动我们向通用人工智能迈进，然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术，虽然可以用来加速大模型并且有效降低显存需求，但量化后也可能会带来精度风险。

在这里插入图片描述

在由北航、商汤、南洋理工等团队联合推出的即插即用的大模型压缩工具包：LLMC中，不仅支持DeepSeekv2(2.5)等MOE模型以及Qwen2VL、Llama3.2等VLM模型的量化，还支持包括整型量化、浮点量化等量化方案，以及AWQ、GPTQ、SmoothQuant 和 Quarot 等先进量化算法。

LLMC可以利用最先进的压缩算法提高效率并减少模型体积，同时不影响预测精度。目前已开源，大家可以直接使用

https://github.com/ModelTC/llmc

12月16日晚8点，青稞Talk第32期，商汤科技研究院谷石桥和雍洋两位模型压缩研究员，将对LLMC进行直播分享，主题为《LLMC：大语言模型压缩工具的开发实践》。

他们将从工具框架设计，常用算法解读和工具使用方式等角度，为大家详细讲解LLMC及实践，希望大家可以从中获益。

主讲嘉宾

谷石桥，商汤科技研究院模型压缩研究员，毕业于天津大学，现主要研究方向为深度学习的模型压缩技术，目前已在EMNLP，PatternRecognition, TCSVT等发表多篇论文。

雍洋，商汤科技研究院模型压缩研究员，毕业于西安交通大学，现主要研究方向为深度学习的模型压缩技术，目前已在AAAI，EMNLP，ACM MM等发表多篇论文。

主题提纲

LLMC：大语言模型压缩工具的开发实践

1、大模型压缩及量化风险

2、大模型压缩包 LLMC 的框架设计

3、LLMC 落地实践和推理后端部署

4、自定义扩展新算法、模型及评测数据

直播时间

12月16日（周一）20:00 - 21:00

相关文章：

LLMC：大语言模型压缩工具的开发实践

关注：青稞AI，学习最新AI技术 青稞Talk主页：qingkelab.github.io/talks 大模型的进步，正推动我们向通用人工智能迈进，然而庞大的计算和显存需求限制了其广泛应用。模型量化作为一种压缩技术，虽然可以用来加速…...

编程日记 2024/12/15 0:20:48

基于阿里云Ubuntu22.04 64位服务器Java及MySql环境配置命令记录

基于阿里云Ubuntu22.04 64位服务器Java及MySql环境配置命令记录 Java 23 离线环境配置MySql 环境配置MySQL常用命令 Java 23 离线环境配置 下载 Ubuntu环境下 Java 23 离线包 链接: java Downloads. 在Linux环境下创建一个安装目录 mkdir -p /usr/local/java将下载好的jdk压缩…...

编程日记 2024/12/15 0:18:40

第一课【输入输出】(题解)

1.向世界问好 题目描述 编程输出以下内容: Hello World! Im a C program. 输入格式 本题无输入。 输出格式 请按照样例输出，注意大小写、空格、感叹号，句号，单引号都必须使用英文输入法里的符号。 样例输入/输出 输入数据 1 本题无…...

编程日记 2024/12/15 0:17:37

查看 Linux 进程运行所在 CPU 内核

判断进程运行在哪个 CPU 内核上 作者：Dan Nanni 译者：LCTT | 2015-09-28 10:43 问题：Linux 进程运行在多核处理器系统上。怎样才能找出哪个 CPU 内核正在运行该进程？ 当你在 多核 NUMA 处理器上 运行需要较高性能的 HPC&…...

编程日记 2024/12/15 0:16:36

ESP32外设学习部分--SPI篇

SPI学习 前言 我个人以为开始学习一个新的单片机最好的方法就是先把他各个外设给跑一遍，整体了解一下他的功能，由此记录一下我学习ESP32外设的过程，防止以后忘记。 SPI 配置步骤 SPI总线初始化 spi_bus_config_t buscfg {.miso_io_num …...

编程日记 2024/12/15 0:13:32

Tomcat的下载和使用，配置控制台输出中文日志

目录 1. 简介2. 下载3. 使用3.1 文件夹展示3.1.1 控制台输出乱码 3.2 访问localhost:80803.3 访问静态资源 4. 总结 1. 简介 Tomcat，全称为Apache Tomcat，是一个开源的Web应用服务器和Servlet容器，由Apache软件基金会的Jakarta项目开发。它实…...

编程日记 2024/12/15 0:10:29

MySQL不能被其他地址访问，授权问题解决（8.x,,5.x）

首先强调的是两个版本，5版本和8版本问题反馈不一样 Linux系统部署mysql8.4版本 MySQL官网地址写的很清楚了，不多介绍 直接进入主题，恶心了我三个多小时的问题，翻阅大量国内外资料，结果并不是个多么难得问题&#xff0…...

编程日记 2024/12/15 0:09:27

四、个人项目系统搭建

文章目录 一、python写的后端代码二、html代码三、index.css四、js代码 效果图： 一、python写的后端代码 后端代码使用Flask编写，如下所示： # app.py from flask import Flask, render_template, request, jsonify, g import sqlite3 import…...

编程日记 2024/12/15 0:03:17

CV(4)--边缘提取和相机模型

前言 仅记录学习过程，有问题欢迎讨论 边缘提取（涉及语义分割）： 图象的边缘是指图象局部区域亮度变化显著的部分,也有正负之分，暗到亮为正 求边缘的幅度：sobel，Canny算子 图像分高频分量和低…...

编程日记 2024/12/15 0:02:16

SORT算法详解及Python实现

目录 SORT算法详解及Python实现第一部分：SORT算法概述与原理1.1 SORT算法简介1.2 应用场景1.3 算法流程第二部分：数学公式与主要模块2.1 卡尔曼滤波模型2.2 目标关联与匈牙利算法2.3 新建与移除机制第三部分：Python实现：SORT算法基础代码3.1 安装依赖3.2 基础代码实现第四部…...

编程日记 2024/12/15 0:00:12

图计算之科普：BSP计算模型、Pregel计算模型、

一、BSP计算模型 BSP计算模型，即整体同步并行计算模型（Bulk Synchronous Parallel Computing Model），又名大同步模型或BSP模型，是由哈佛大学L.G. Valiant教授（2010年图灵奖得主）在1992年提出的…...

编程日记 2024/12/14 23:57:09

pytest入门一：用例的执行范围

从一个或多个目录开始查找，可以在命令行指定文件名或目录名。如果未指定，则使用当前目录。 测试文件以 test_ 开头或以 _test 结尾 测试类以 Test 开头 ，并且不能带有 init 方法 测试函数以 test_ 开头 断言使用基本的 assert 即可 所有的…...

编程日记 2024/12/14 23:56:08

22. 正则表达式

一、概述 正则表达式（regular expression）又称 规则表达式，是一种文本模式（pattern）。正则表达式使用一个字符串来描述、匹配具有相同规格的字符串，通常被用来检索、替换那些符合某个模式（规则&…...

编程日记 2024/12/14 23:54:06

Flink Python作业快速入门

Flink Python快速入门_实时计算 Flink版(Flink)-阿里云帮助中心 import argparse # 用于处理命令行参数和选项，使程序能够接收用户通过命令行传递的参数 import logging import sysfrom pyflink.common import WatermarkStrategy, Encoder, Types from pyflink.data…...

编程日记 2024/12/14 23:45:59

自定义函数库

求两点距离 double dis(double x1, double y1, double x2, double y2){return sqrt(pow(x2-x1, 2)pow(y2-y1, 2)); }判断闰年 bool isLeapYear(int year){return year%40 && year%100!0 || year%4000; }判断素数 bool isPrime(int num){if(num<2) return false;f…...

编程日记 2024/12/14 23:44:57

FreeRTOS例程2-任务挂起恢复与使用中断遇到的坑!

任务挂起简单点理解就是现在不需要执行这个任务&#xff0c;让它先暂停&#xff0c;就是挂起。恢复就是从刚才挂起的状态下继续运行。 API函数 任务挂起vTaskSuspend() 函数原型(tasks.c中): void vTaskSuspend( TaskHandle_t xTaskToSuspend ) 1. 参数&#xff1a; xTaskTo…...

编程日记 2024/12/14 23:35:48

L23.【LeetCode笔记】验证回文串(剖析几种解法)

目录 1.题目 2.自解 提交结果 反思 大小写之间的位运算 提交结果 3.代码优化 提交结果 ​编辑 4.LeetCode网友提供的解法 1.题目 https://leetcode.cn/problems/XltzEq/description/ 给定一个字符串 s &#xff0c;验证 s 是否是 回文串 &#xff0c;只考虑字母和数…...

编程日记 2024/12/14 23:34:47

FPGA 17 ，FPGA 与 SR-IOV虚拟化技术，高性能计算与虚拟化技术的结合（FPGA 与 SR-IOV 和 PCI，高性能计算与虚拟化的完美融合）

目录 前言 一. SR-IOV 的起源与发展 1. SR-IOV 的起源与时间线 2. SR-IOV 的诞生原因 3. SR-IOV 的详细介绍 二. SR-IOV 和 PCI 之间的关系 三. PCI 的起源与演进 1. PCI 的起源与时间线 2. PCI 的关键特性 四. FPGA 的独特魅力 1. FPGA 的定义与特性 2. FPGA 的内…...

编程日记 2024/12/14 23:33:47

解决navicat 导出excel数字为科学计数法问题

一、原因分析 用程序导出的csv文件&#xff0c;当字段中有比较长的数字字段存在时&#xff0c;在用excel软件查看csv文件时就会变成科学技术法的表现形式。 其实这个问题跟用什么语言导出csv文件没有关系。Excel显示数字时&#xff0c;如果数字大于12位&#xff0c;它会自动转化…...

编程日记 2024/12/14 23:32:46

[Unity] AppLovin Max接入Native 广告 Android篇

把下载下来的maxnativelibrary-release-文件放在Plugins/Android下 将这一行加入到mainTemplate.gradle文件中 implementation androidx.constraintlayout:constraintlayout:2.1.4添加下面的两个脚本 using System; using System.Collections; using System.Collections.Gener…...

编程日记 2024/12/14 23:31:45

windows安装达梦数据库

在官网下载对应需要的安装包&#xff1a; https://www.dameng.com/download/index.html 下载后解压&#xff1a; 点击镜像开始安装&#xff1a; 这里没有key先不填直接下一步&#xff1a; 根据需要安装&#xff0c;这里默认全部安装&#xff1a; 指定安装目录地址&#xff1…...

编程新知 2026/4/8 15:52:43

集合（Collection）

在 Java 开发中&#xff0c;集合大概是出场率最高的组件之一。无论是存储一组对象、做去重判断&#xff0c;还是建立键值映射关系&#xff0c;几乎处处都有它的身影。但很多人用了很久的 ArrayList 和 HashMap&#xff0c;却对整个集合框架的全貌缺乏清晰认知——List、Set 有什…...

编程新知 2026/4/8 14:59:45

Nordic主题高级配置：性能优化与多平台兼容性解决方案

Nordic主题高级配置&#xff1a;性能优化与多平台兼容性解决方案 【免费下载链接】Nordic :snowflake: Dark Gtk3.20 theme created using the awesome Nord color pallete. 项目地址: https://gitcode.com/gh_mirrors/no/Nordic Nordic是一款基于Nord北极蓝色彩方案的专…...

编程新知 2026/4/8 13:15:19

无锁队列（Lock-Free Queue）

无锁队列原理 无锁队列&#xff08;Lock-Free Queue&#xff09;是一种基于无锁编程&#xff08;Lock-Free Programming&#xff09;技术实现的并发数据结构。它的核心思想是&#xff1a; 1.基础原理 使用 CAS&#xff08;Compare-And-Swap&#xff0c;比较并交换&#xff09;等…...

编程新知 2026/4/8 13:03:08

FastAPI异步测试终极指南：从配置到实现的完整教程

FastAPI异步测试终极指南&#xff1a;从配置到实现的完整教程 【免费下载链接】fastapi FastAPI framework, high performance, easy to learn, fast to code, ready for production 项目地址: https://gitcode.com/GitHub_Trending/fa/fastapi FastAPI异步测试是构建高…...

编程新知 2026/4/8 12:42:50

EcomGPT-中英文-7B电商模型Anaconda安装与环境配置：创建独立的Python模型运行环境

EcomGPT-中英文-7B电商模型Anaconda安装与环境配置&#xff1a;创建独立的Python模型运行环境 你是不是也遇到过这种情况&#xff1f;好不容易从网上下载了一个开源模型&#xff0c;满心欢喜地准备跑起来试试&#xff0c;结果第一步安装依赖就报了一堆错。不是这个包版本冲突&…...

编程新知 2026/4/8 12:30:45

让 ABAP 编码更顺手：全面掌握 ADT 中的预测式代码补全

在现代 ABAP 开发里，代码补全早已不只是 Ctrl + Space 之后弹出一个候选列表那么简单。随着 SAP 在 ADT，也就是 ABAP development tools for Eclipse 中持续引入 AI 辅助能力，Predictive Code Completion 已经从传统补全的补充工具，逐步变成很多开发者日常写代码时的隐形助…...

编程新知 2026/4/8 12:18:21

毕业季论文救星：百考通AI如何用技术破解学术写作五大难题

一份能够同时降低重复率和AI风险&#xff0c;自动适配学历层次&#xff0c;还能保护隐私的智能工具&#xff0c;正悄然改变着学术写作的固有模式。 又到一年毕业季&#xff0c;图书馆、实验室、宿舍里&#xff0c;无数学生正面对同一场“战役”——毕业论文。查重率居高不下、格…...

编程新知 2026/4/8 11:47:54

零基础AI建站工具实操教程：10分钟从注册到网站上线

很多人觉得建网站是件很技术、很复杂的事&#xff0c;需要懂代码、懂设计。但现在&#xff0c;有了AI建站工具&#xff0c;事情变得完全不同。这篇教程&#xff0c;就是写给完全零基础的你。我们会以一款典型的对话式AI建站工具为例&#xff08;比如 LynxCode&#xff09;&…...

编程新知 2026/4/8 11:45:51

跨生态投屏解决方案：让Windows用户实现多设备无缝连接的开源工具

跨生态投屏解决方案&#xff1a;让Windows用户实现多设备无缝连接的开源工具 【免费下载链接】airplay2-win Airplay2 for windows 项目地址: https://gitcode.com/gh_mirrors/ai/airplay2-win 当你在Windows电脑前想展示iPhone里的精彩视频却束手无策时&#xff0c;当会…...

编程新知 2026/4/8 11:27:22