当前位置： 首页 > news >正文

神经网络中的量化与蒸馏

news 2025/12/25 11:09:02

本文将深入研究深度学习中精简模型的技术：量化和蒸馏

深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级，而不会对性能造成太大影响。但是它们需要什么，它们又如何比较呢?

量化:牺牲精度换取效率

量化是关于数字精度的。通过减少模型中权重和激活的位宽度，缩小模型大小，从而潜在地提高推理速度。

神经网络有相互连接的神经元，每个神经元都有在训练过程中调整的权重和偏差。这些参数值一般存储在32位浮点数中，这样虽然保证了精度，但占用了大量内存。例如，一个50层的ResNet需要168MB来存储2600万32位权重值和1600万32位激活值。

量化旨在通过使用较低的位数(如8位整数)来表示权重和激活，来减少内存占用。但这引入了量化误差，所以量化的目标是在精度和内存使用之间取得平衡。像每通道量化、随机舍入和再训练这样的先进技术可以最大限度地减少对模型精度的影响。

最常见的两种量化情况是：float32 -> float16和float32 -> int8。

量化背后的数学理论:

上面公式提供了一种将实数转换为量化整数的简单且计算效率高的方法，使其成为许多量化方案中的流行选择。

如何量化机器学习模型?

训练后量化:这就像用一支普通的笔写整本书，在你写完之后，用一支更好的更细笔重写它，使它更小。你不需要改变故事的任何内容;只要把字改小一点就行了。这是非常容易的，但有时较小的文字可能更难阅读(这意味着神经网络的准确性可能会下降)。

量化感知训练:这就像从一开始就用一支好笔写书。当你写的时候，你会意识到字母应该有多小，所以你会在写的时候调整你的写作风格。这样最终小版本从一开始就更容易阅读，因为你一直在为小版本的书进行考虑(这意味着神经网络从一开始就被训练成可以很好地与更小的量化版本一起工作)。

在这两种情况下，目标都是使书(或神经网络)更小、更高效，同时又不失去故事的本质(或网络的准确性)。

优点：

  • 减小模型大小:例如，从32位浮点数转换为8位整数可以将模型大小减小四倍。
  • 速度和硬件兼容性:在特定的硬件加速器上，低精度的算法可以更快。
  • 内存效率:更少的数据意味着更少的内存带宽需求。

缺点

  • 准确性权衡:较低的精度有时会影响模型性能。
  • 实现挑战:量化，特别是量化感知训练，可能会很棘手。

蒸馏:老师到学生传递知识

蒸馏包括训练一个较小的神经网络(称为学生)来模仿一个更大的预训练网络(即教师)。

下面的举例我们都以书籍写作为例，这样可以更加清晰

从广义上讲，蒸馏有三种类型的分类:

离线蒸馏:一个作家正在从一本已经出版的成功的书中学习。出版的书(教师模型)是完整和固定的。新作者(学生模式)从这本书中学习，试图根据所获得的见解写出自己的作品。在神经网络的背景下，这就像使用一个经过充分训练的、复杂的神经网络来训练一个更简单、更有效的网络。学生网络从教师的既定知识中学习，而不修改它。

在线蒸馏:想象一个有作家和一个经验丰富的作家同时写他们的书。当经验丰富的作者开发新的章节(更新教师模型)时，新作者也会编写他们的章节(更新学生模型)，并在此过程中向经验丰富的作者学习。这两本书同时写作，两个作者的作品相互启发。在神经网络中，这意味着同时训练教师和学生模型，让他们一起学习和适应，增强学生模型的学习过程。

自蒸馏:一本书作者既是老师又是学生。他以目前的技能水平开始写书。当他获得新的见解并提高写作水平时，会修改前面的章节。这是一种自学习的模式，作者根据自己不断发展的理解不断完善自己的作品。在神经网络中，这种方法涉及单个网络学习和自我改进，使用其更高级的层或后期的训练来增强其较早的层或初始阶段，有效地教会自己变得更高效和准确。

蒸馏背后的数学理论:

精馏的目的是尽量减少教师预测和学生预测之间的差异。这种散度最常用的度量是Kullback-Leibler散度:

优点

  • 大小灵活性:学生模型的架构或大小可以定制，从而在大小和性能之间提供平衡。
  • 精度更好:一个训练有素的学生模型可以达到接近老师的成绩，并且更小。

缺点

  • 再训练是必须的:与量化不同，蒸馏要求对学生模型进行再训练
  • 训练开销:训练学生模型需要时间和计算资源。

总结

量化通常在特定于硬件的部署中找到它的位置，而精馏则是在需要性能接近大型对应模型的轻量级模型时需要的方法。在许多情况下，两者可以结合——提炼一个模型，然后量化它——可以带来两个方法的好处。将选择与部署需求、可用资源以及在准确性和效率方面的可接受权衡相结合是至关重要的。

如果你对这两个技术感兴趣，请看这两篇综述

https://avoid.overfit.cn/post/f2c1456d33094a439903409792f75729

作者：Aaditya ura

相关文章：

神经网络中的量化与蒸馏

本文将深入研究深度学习中精简模型的技术：量化和蒸馏 深度学习模型，特别是那些具有大量参数的模型，在资源受限环境中的部署几乎是不可能的。所以就出现了两种流行的技术，量化和蒸馏，它们都是可以使模型更加轻量级&…...

编程日记 2023/11/15 6:00:25

数据库——表结构相关SQL

一、GP或PostgreSQL 1.获取表结构 SELECT a.schemaname schema_name, a.tablename table_name, string_agg(b.column_name, ,) AS columns FROM (SELECT schemaname, tablename FROM pg_tables WHERE schemaname public and tablename like test%) a LEFT JOIN (SELECT tabl…...

编程日记 2023/11/15 5:59:24

python 爬虫之requests 库以及相关函数的详细介绍

get 函数 当你使用 requests.get 函数时，你可以按照以下步骤来发起一个 GET 请求： 导入 requests 模块： 在你的 Python 脚本或程序中，首先导入 requests 模块。 import requests指定目标 URL： 设置你要请求的目标 URL…...

编程日记 2023/11/15 5:58:23

突破职场竞争，引领未来发展：考取《研发效能(DevOps)工程师职业技术认证》

就业形势堪忧，什么最有保障？考个“国家级”证书傍身吧！ 工信部教考中心作为中国领先的行业技能认证机构，其颁发的认证证书不仅代表了个人在信息技术领域的专业能力，更可以录入工业和信息化技术技能人才数据库&#xf…...

编程日记 2023/11/15 5:57:22

设计模式例子

策略模式（Strategy Pattern） 策略模式 (Strategy Pattern): 定义一系列算法，将每个算法都封装起来，并使它们之间可以互换。例如：java.util.Comparator 以下是一个简单的Java策略模式的例子，涉及一个商品的…...

编程日记 2023/11/15 5:56:20

腾讯云入侵

早上8点左右收到腾讯云的相关短信，提示机器可能存在挖坑风险。马上登录机器看了一下，发现crontab有个比较诡异的任务 [devVM_0_12_centos ~]$ crontab -l 11 * * * * /home/dev/.config/systemd/user/systemd-tmpfiles-cleanup/systemd-tmpfiles-cleanu…...

编程日记 2023/11/15 5:55:19

第二章 智能家居子系统——C51单片机 配置波特率115200

前言 本章为智能家居项目的第二章，本章主要写51单片机的定时器timer，串口UART，中断，外接模块DHT11 同项目其他博文： 项目的概述链接：Linux智能家居项目概述-CSDN博客 第一章 主控代码开发链接&#xff1a…...

编程日记 2023/11/15 5:54:18

registry镜像仓库通过HTTP API删除镜像

registry组件提供了HTTP的接口&#xff0c;可以参考&#xff1a;官网API说明 删除思路&#xff1a; 镜像由多个layers层组成&#xff0c;DELETE /v2/<name>/blobs/<digest>可以用来删除一个单独的层&#xff0c;但是我们的目的不是要删除层。 我们用DELETE /v2/…...

编程日记 2023/11/15 5:53:17

【ATTCK】ATTCK视角下的水坑钓鱼攻防战法

在网络安全领域&#xff0c;ATT&CK已经成为了研究和理解恶意攻击者行为的重要工具。站在攻击者的视角&#xff0c;ATT&CK为我们描绘了他们在攻击过程中所使用的各种战术、技术和常见知识。本文将结合ATT&CK框架&#xff0c;对水坑钓鱼攻击进行深入分析&#xff0c;…...

编程日记 2023/11/15 5:52:16

【算法】算法题-20231115

这里写目录标题 一、回文数&#xff08;力扣第九题&#xff09;二、剑指 Offer 39. 数组中出现次数超过一半的数字三、至少是其他数字两倍的最大数&#xff08;leetcode第747题&#xff0c;飞书三面&#xff09;四、给定一有序整型数组&#xff0c;其中存在有重复元素&#xff…...

编程日记 2023/11/15 5:51:15

Rabin Karp 字符匹配算法

Rabin Karp 字符匹配算法 相关题目&#xff1a; 187. 重复的DNA序列 28. 找出字符串中第一个匹配项的下标 class FindRepeatedDnaSequences:"""187. 重复的DNA序列https://leetcode.cn/problems/repeated-dna-sequences/description/"""def sol…...

编程日记 2023/11/15 5:50:14

星宿UI2.51资源付费变现小程序 支持流量主广告投放

目前&#xff0c;最新版的星宿UI是2.51版本。要搭建星宿UI&#xff0c;您需要准备备用域名、服务器和微信小程序账号。星宿UI提供了多项功能&#xff0c;包括文章展示、文章分类、资源链接下载和轮播图等。此外&#xff0c;还支持直接下载附件功能。这些功能使得星宿UI非常适合…...

编程日记 2023/11/15 5:49:13

Telnet 测试 UDP 端口？

Telnet 并不支持 UDP 端口的测试&#xff0c;可以使用 nc 命令来进行测试。nc 命令两种都支持&#xff1a; TCP # nc -z -v -u [hostname/IP address] [port number] # nc -z -v 192.168.10.12 22 Connection to 192.118.20.95 22 port [tcp/ssh] succeeded! UDP # nc -z -v…...

编程日记 2023/11/15 5:48:12

【论文复现】常见问题

1. 提取出错 首先检查嵌入时的像素值是否越界&#xff08;0-255&#xff09;&#xff0c;如果越界则在提取的时候无法正确提取嵌入的时候注意整数除法和浮点数除法向下取整结果不一样&#xff0c;floor(int(10)/16)1&#xff0c;floor(double(10)/16)0 2. 常用代码部分 1.生…...

编程日记 2023/11/15 5:47:11

Uniapp开发 购物商城源码 在线电商商城源码 适配移动终端项目及各小程序

lilishop电商商城系统 商城移动端&#xff0c;使用Uniapp开发&#xff0c;可编译为所有移动终端项目及各小程序 源码下载&#xff1a;https://download.csdn.net/download/m0_66047725/88487579 源码下载2&#xff1a;关注我留言...

编程日记 2023/11/15 5:46:09

xml schema中的sequence的含义

https://www.w3.org/TR/xmlschema-1/#element-sequence xml schema中的sequence的含义&#xff1a;包含的元素必须按规定的顺序出现。通过属性maxOccurs和minOccurs可以定义最多、最少出现的次数。最多可以定义不限制次数&#xff0c;最少可以定义0次。默认是最少出现1次&…...

编程日记 2023/11/15 5:44:07

详解 KEIL C51 软件的使用·建立工程

单片机要运行,就必须将程序代码下载到程序存储器内部,但是在写进单片机之前要先将你写 的程序转换成*.hex 或*.bin 的文件.不同系列的单片机都有不同的软件对其进行编绎,而 keil Cx51 是德国开发的一个专为 51 系列单片机提供的软件开发平台,基本上现在的所有 51 系列内核的单片…...

编程日记 2023/11/15 5:43:06

2023年03月 Python（五级）真题解析#中国电子学会#全国青少年软件编程等级考试

Python等级考试（1~6级）全部真题・点这里 一、单选题（共25题，每题2分，共50分） 第1题 已知一个列表lst = [2,3,4,5,6]，lst.append(20)，print(lst)的结果是？（ ）（2分） A.[10,2,3,4,5,6,20] B.[20,2,10,3,4,5,6] C.[2,3,4,5,6,20] D.[2,3,4,5,6,10,20] 答案：C 第2…...

编程日记 2023/11/15 5:42:05

nginx 代理服务时遇到的问题

一 nginx代理多个服务&#xff0c;且服务之间需要相互通信 多个服务运行在docker容器中&#xff0c;nginx同样在docker容器中 比如前端服务需要请求后端服务&#xff0c;用户请求服务器80或者443 &#xff0c;nginx代理请求到前端服务&#xff0c;前端服务业务请求到后端服务…...

编程日记 2023/11/15 5:41:04

利用共享台球室小程序系统提升用户体验

随着移动互联网的普及&#xff0c;越来越多的用户倾向于使用手机应用来解决生活中的问题。共享台球室作为一个结合了传统与现代元素的项目&#xff0c;也需要借助移动小程序的力量来提升用户体验。本文将探讨如何利用共享台球室小程序系统提升用户体验。 一、提供便捷的服务 …...

编程日记 2023/11/15 5:40:03

sqlserver 根据指定字符 解析拼接字符串

DECLARE LotNo NVARCHAR(50)A,B,C DECLARE xml XML ( SELECT <x> REPLACE(LotNo, ,, </x><x>) </x> ) DECLARE ErrorCode NVARCHAR(50) -- 提取 XML 中的值 SELECT value x.value(., VARCHAR(MAX))…...

编程新知 2025/10/29 4:33:03

现代密码学 | 椭圆曲线密码学—附py代码

Elliptic Curve Cryptography 椭圆曲线密码学&#xff08;ECC&#xff09;是一种基于有限域上椭圆曲线数学特性的公钥加密技术。其核心原理涉及椭圆曲线的代数性质、离散对数问题以及有限域上的运算。 椭圆曲线密码学是多种数字签名算法的基础&#xff0c;例如椭圆曲线数字签…...

编程新知 2025/12/14 17:07:40

04-初识css

一、css样式引入 1.1.内部样式 <div style"width: 100px;"></div>1.2.外部样式 1.2.1.外部样式1 <style>.aa {width: 100px;} </style> <div class"aa"></div>1.2.2.外部样式2 <!-- rel内表面引入的是style样…...

编程新知 2025/12/9 4:36:55

Spring Boot+Neo4j知识图谱实战：3步搭建智能关系网络！

一、引言 在数据驱动的背景下&#xff0c;知识图谱凭借其高效的信息组织能力&#xff0c;正逐步成为各行业应用的关键技术。本文聚焦 Spring Boot与Neo4j图数据库的技术结合&#xff0c;探讨知识图谱开发的实现细节&#xff0c;帮助读者掌握该技术栈在实际项目中的落地方法。 …...

编程新知 2025/9/17 21:39:04

九天毕昇深度学习平台 | 如何安装库？

pip install 库名 -i https://pypi.tuna.tsinghua.edu.cn/simple --user 举个例子&#xff1a; 报错 ModuleNotFoundError: No module named torch 那么我需要安装 torch pip install torch -i https://pypi.tuna.tsinghua.edu.cn/simple --user pip install 库名&#x…...

编程新知 2025/12/10 1:16:05

论文笔记——相干体技术在裂缝预测中的应用研究

目录 相关地震知识补充地震数据的认识地震几何属性 相干体算法定义基本原理第一代相干体技术&#xff1a;基于互相关的相干体技术&#xff08;Correlation&#xff09;第二代相干体技术&#xff1a;基于相似的相干体技术&#xff08;Semblance&#xff09;基于多道相似的相干体…...

编程新知 2025/12/12 20:26:01

Python基于历史模拟方法实现投资组合风险管理的VaR与ES模型项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档&#xff09;&#xff0c;如需数据代码文档可以直接到文章最后关注获取。 1.项目背景 在金融市场日益复杂和波动加剧的背景下&#xff0c;风险管理成为金融机构和个人投资者关注的核心议题之一。VaR&…...

编程新知 2025/12/19 2:10:56

【HarmonyOS 5】鸿蒙中Stage模型与FA模型详解

一、前言 在HarmonyOS 5的应用开发模型中&#xff0c;featureAbility是旧版FA模型&#xff08;Feature Ability&#xff09;的用法&#xff0c;Stage模型已采用全新的应用架构&#xff0c;推荐使用组件化的上下文获取方式&#xff0c;而非依赖featureAbility。 FA大概是API7之…...

编程新知 2025/10/9 0:45:56

WEB3全栈开发——面试专业技能点P4数据库

一、mysql2 原生驱动及其连接机制 概念介绍 mysql2 是 Node.js 环境中广泛使用的 MySQL 客户端库&#xff0c;基于 mysql 库改进而来&#xff0c;具有更好的性能、Promise 支持、流式查询、二进制数据处理能力等。 主要特点&#xff1a; 支持 Promise / async-await&#xf…...

编程新知 2025/8/17 13:47:50

【51单片机】4. 模块化编程与LCD1602Debug

1. 什么是模块化编程 传统编程会将所有函数放在main.c中&#xff0c;如果使用的模块多&#xff0c;一个文件内会有很多代码&#xff0c;不利于组织和管理 模块化编程则是将各个模块的代码放在不同的.c文件里&#xff0c;在.h文件里提供外部可调用函数声明&#xff0c;其他.c文…...

编程新知 2025/12/23 20:47:56