当前位置： 首页 > article >正文

NLP学习路线图（三十二）： 模型压缩与优化

article 2025/6/9 11:40:55

一、 核心压缩与优化技术详解

1. 知识蒸馏：智慧的传承（Knowledge Distillation, KD）

  • 核心思想：“师授徒业”。训练一个庞大、高性能但笨重的“教师模型”（Teacher Model），让其指导训练一个轻量级的“学生模型”（Student Model）。学生模型学习模仿教师模型的输出行为（预测概率分布），而非仅仅学习原始数据的硬标签。

  • 关键机制：

    • 软标签（Soft Targets）：教师模型对输入样本预测的概率分布（如softmax输出）包含了比“正确/错误”硬标签更丰富的知识（如类间相似性、模型置信度）。

    • 蒸馏损失（Distillation Loss）：学生模型的目标函数通常结合：

      • KD Loss：衡量学生输出概率分布与教师输出概率分布的差异（常用KL散度）。

      • Student Loss：衡量学生输出与真实

相关文章：

NLP学习路线图（三十二）： 模型压缩与优化

一、 核心压缩与优化技术详解 1. 知识蒸馏：智慧的传承（Knowledge Distillation, KD） 核心思想：“师授徒业”。训练一个庞大、高性能但笨重的“教师模型”（Teacher Model），让其指导训练一个轻量级的“学生模型”（Student Model）。学生模型学习模仿教师模型的输出行为（…...

编程日记 2025/6/9 11:40:55

javaSE复习（7）

1.KMP算法 使用KMP算法在主串 "abaabaabcabaabc" 中搜索模式串 "abaabc"，到匹配成功时为止，请问在匹配过程中进行的单个字符间的比较次数是（）。 10次 用于互斥时 初值为1 在一个并发编程环境中&#xff0c…...

编程日记 2025/6/9 11:39:52

算法训练第十一天

150. 逆波兰表达式求值 代码： class Solution(object):def evalRPN(self, tokens):""":type tokens: List[str]:rtype: int"""stack []for i in tokens:if i:b int(stack.pop())a int(stack.pop())stack.append(ab)elif i-:b i…...

编程日记 2025/6/9 11:38:46

【联网玩具】EN 18031欧盟网络安全认证

在当今数字化时代，带联网功能的玩具越来越受到孩子们的喜爱，它们为儿童带来了前所未有的互动体验和学习机会。然而，随着这类玩具的普及，网络安全问题也日益凸显。为了保障儿童使用这类玩具时的安全与隐私，欧盟出台了 E…...

编程日记 2025/6/9 11:37:43

Linux 如何移动目录 (文件夹) (内含 Linux 重命名方法)

1-移动单个文件夹（类似于自动剪切和粘贴） 看看以下的例子： (base) schen744mgmt-4:~/code/sparseocc/data/nuScenes-Occupancy$ ls nuScenes-Occupancy-v0.1 nuScenes-Occupancy-v0.1.7z (base) schen744mgmt-4:~/code/sparseocc/data/nuS…...

编程日记 2025/6/9 11:36:34

WireShark相关技巧

文章目录 1 Wireshark如何设置解析SIP 1 Wireshark如何设置解析SIP 编辑->首选项->protocols->sip 选中sip 2 点击“编辑”->“首选项”->“protocol”->ESP ,按照如下红框显示，进行勾选，点击应用...

编程日记 2025/6/9 11:35:30

LLMs之Structured Output：vLLM 结构化输出指南—从约束生成到自动解析与高效实现

LLMs之Structured Output：vLLM 结构化输出指南—从约束生成到自动解析与高效实现 导读：随着大语言模型（LLM）在各类任务中的广泛应用，如何使其输出具备可控性、结构化与可解析性，成为实际部署中的关键问题。…...

编程日记 2025/6/9 11:34:19

DAY 45 Tensorboard使用介绍

知识点回顾： tensorboard的发展历史和原理tensorboard的常见操作tensorboard在cifar上的实战：MLP和CNN模型 作业：对resnet18在cifar10上采用微调策略下，用tensorboard监控训练过程。 PS: tensorboard和torch版本存在一定的不兼容…...

编程日记 2025/6/9 11:33:12

LeetCode刷题 -- 542. 01矩阵 基于 DFS 更新优化的多源最短路径实现

LeetCode刷题 – 542. 01矩阵 基于 DFS 更新优化的多源最短路径实现 题目描述简述 给定一个 m x n 的二进制矩阵 mat，其中： 每个元素为 0 或 1返回一个同样大小的矩阵 ans，其中 ans[i][j] 表示 mat[i][j] 到最近 0 的最短曼哈顿距离 算法思…...

编程日记 2025/6/9 11:32:10

TM中，return new TransactionManagerImpl(raf, fc)；为什么返回是new了一个新的实例

这是一个典型的 构造器注入 封装资源的用法 🧩 代码片段 return new TransactionManagerImpl(raf, fc);✅ 简单解释： 这行代码的意思是： 使用已经打开的 RandomAccessFile 和 FileChannel，创建并返回一个新的 TransactionManag…...

编程日记 2025/6/9 11:31:09

将 tensorflow keras 训练数据集转换为 Yolo 训练数据集

以 https://www.kaggle.com/datasets/vipoooool/new-plant-diseases-dataset 为例 1. 图像分类数据集文件结构 (例如用于 yolov11n-cls.pt 训练) import os import csv import random from PIL import Image from sklearn.model_selection import train_test_split import s…...

编程日记 2025/6/9 11:30:07

(新手友好)MySQL学习笔记(6):分组查询，正则表达式

目录 分组查询 创建分组 过滤分组 分组查询练习 正则表达式 匹配单个实例 匹配多个实例 正则表达式练习 练习答案 分组查询练习答案 正则表达式练习答案 分组查询 创建分组 group by 子句：根据一个或多个字段对结果集进行分组，在分组的字段上…...

编程日记 2025/6/9 11:29:04

台式机电脑CPU天梯图2025年6月份更新:CPU选购指南及推荐

组装电脑选硬件的过程中，CPU的选择无疑是最关键的，因为它是最核心的硬件，关乎着一台电脑的性能好坏。对于小白来说，CPU天梯图方便直接判断两款CPU性能高低，准确的说，是多核性能。下面给大家分享一下台式机电脑CPU天梯图2025年6月版，来看看吧。 桌面CPU性能排行榜2025 台…...

编程日记 2025/6/9 11:28:03

【hadoop】Flink安装部署

一、单机模式 步骤： 1、使用XFTP将Flink安装包flink-1.13.5-bin-scala_2.11.tgz发送到master机器的主目录。 2、解压安装包： tar -zxvf ~/flink-1.13.5-bin-scala_2.11.tgz 3、修改文件夹的名字，将其改为flume，或者创建软连接…...

编程日记 2025/6/9 11:27:01

将单体架构项目拆分成微服务时的两种工程结构

一.独立Project 1.示意图 此时我们创建一个文件夹，在这个文件夹中，创建N个Project，每一个Project对应一个微服务，组成我们的最终的项目。 2.特点 适合那种超大型项目，比如淘宝，但管理负担比较重。 二.Mave…...

编程日记 2025/6/9 11:25:59

Unity3D 开发中的创新技术：解锁 3D 开发的新境界

在 3D 开发的广袤天地里，Unity3D 一直是众多开发者的得力伙伴。可如今，普通的开发方式似乎难以满足日益增长的创意与效率需求。你是否好奇，凭什么别家团队能用 Unity3D 打造出令人拍案叫绝的 3D 作品，自己却总感觉差了那么一点火候…...

编程日记 2025/6/9 11:24:58

UOS 20 Pro为国际版WPS设置中文菜单

UOS 20 Pro为国际版WPS设置中文菜单 查看UOS操作系统系统安装国际版wps并汉化方法1:下载zh_CN.tar.gz语言包方法2：手动从国内版wps12的包中提取中文菜单解压国内版wps的包 复制中文语言包到wps国际版目录下安装Windows字体 安装开源office 查看UOS操作系统系统 # 查…...

编程日记 2025/6/9 11:23:57

树莓派系统中设置固定 IP

在基于 Ubuntu 的树莓派系统中，设置固定 IP 地址主要有以下几种方法： 方法一：使用 Netplan 配置（Ubuntu 18.04 及以上版本默认使用 Netplan） 查看网络接口名称 在终端输入ip link或ip a命令，查看当前所使…...

编程日记 2025/6/9 11:22:55

单例模式与锁(死锁)

目录 线程安全的单例模式 什么是单例模式 单例模式的特点 饿汉实现方式和懒汉实现方式 饿汉⽅式实现单例模式 懒汉⽅式实现单例模式 懒汉⽅式实现单例模式(线程安全版本) 单例式线程池 ThreadPool.hpp threadpool.cc 运行结果 线程安全和重⼊问题 常⻅锁概念 死…...

编程日记 2025/6/9 11:21:50

LLM基础2_语言模型如何文本编码

基于GitHub项目：https://github.com/datawhalechina/llms-from-scratch-cn 字节对编码(BPE) 上一篇博文说到 为什么GPT模型不需要[PAD]和[UNK]？ GPT使用更先进的字节对编码(BPE)，总能将词语拆分成已知子词 为什么需要BPE？ 简…...

编程日记 2025/6/9 11:20:47

理解世界如淦泽，穿透黑幕需老谋

理解世界如淦泽，穿透黑幕需老谋 卡西莫多 2025年06月07日 安徽 极少主动跟别人提及恩师的名字，生怕自己比孙猴子不成器但又比它更能惹事的德行，使得老师跟着被拖累而脸上无光。不过老师没有象菩提祖师训诫孙猴子那样不能说出师傅的名字&a…...

编程日记 2025/6/9 11:19:45

如何确定微服务的粒度与边界

确定微服务的粒度与边界 在完成初步服务拆分之后，架构师往往会遇到另一个难题：该拆到多细？哪些功能可以归并为一个服务，哪些又必须单独部署？这就是“服务粒度与边界”的问题。本节将围绕实际架构经验，介绍…...

编程日记 2025/6/9 11:18:33

第三讲 Linux进程概念

1. 冯诺依曼体系结构 我们买了笔记本电脑, 里面是有很多硬件组成的, 比如硬盘, 显示器, 内存, 主板... 这些硬件不是随便放在一起就行的, 而是按照一定的结构进行组装起来的, 而具体的组装结构, 一般就是冯诺依曼体系结构 1.1. 计算机的一般工作逻辑 我们都知道, 计算机的逻…...

编程日记 2025/6/9 11:16:59

stm32-c8t6实现语音识别（LD3320）

目录 LD3320介绍： 功能引脚 主要特色功能 通信协议 端口信息 开发流程 stm32c8t6代码 LD3320驱动代码： LD3320介绍： 内置单声道mono 16-bit A/D 模数转换内置双声道stereo 16-bit D/A 数模转换内置 20mW 双声道耳机放大器输出内置 5…...

编程日记 2025/6/9 11:15:44

Vue作用域插槽

下面，我们来系统的梳理关于 **Vue 作用域插槽 ** 的基本知识点： 一、作用域插槽核心概念 1.1 什么是作用域插槽？ 作用域插槽是 Vue 中一种反向数据流机制，允许子组件将数据传递给父组件中的插槽内容。这种模式解决了传统插槽中父组件无法访问子组件内部状态的限制。 1.2…...

编程日记 2025/6/9 11:14:38

「数据分析 - NumPy 函数与方法全集」【数据分析全栈攻略：爬虫+处理+可视化+报告】

- 第 104 篇 - Date: 2025 - 06 - 05 Author: 郑龙浩/仟墨 NumPy 函数与方法全集 文章目录 NumPy 函数与方法全集1. 数组创建与初始化基础创建序列生成特殊数组 2. 数组操作形状操作合并与分割 3. 数学运算基础运算统计运算 4. 随机数生成基础随机分布函数 5. 文件IO文件读写 …...

编程日记 2025/6/9 11:13:33

爬虫学习记录day1

什么是逆向？ 数据加密 参数加密 表单加密扣js改写Python举例子 4.1 元素：被渲染的数据资源 动态数据 静态数据 如果数据是加密的情况则无法直接得到数据 4.2 控制台：输出界面 4.3 源代码页面 4.4 网络：抓包功能，获取浏…...

编程日记 2025/6/9 11:12:25

agent基础概念

agent是什么 我个人认为agent并没有一个所谓完美的定义，它是一个比较活的概念，就像是你眼中的一个机器人你希望它做什么事，和我眼中的机器人它解决事情的流程，其实是可以完全不同的，没有必要非得搞一个统一的概念或流程来概况它。但我们依然可以概况几个通用的词来描述它…...

编程日记 2025/6/9 11:11:18

MS8312A 车规 精密、低噪、CMOS、轨到轨输入输出运算放大器，用于传感器、条形扫描器

MS8312A 车规 精密、低噪、CMOS、轨到轨输入输出运算放大器，用于传感器、条形扫描器 简述 MS8312A 是双通道的轨到轨输入输出单电源供电运放。它们具有低的失调电压、低的输入电压电流噪声和宽的信号带宽。 低失调、低噪、低输入偏置电流和宽带宽的特性结合使得 …...

编程日记 2025/6/9 11:10:13

计算机二级Python考试的核心知识点总结

以下是计算机二级Python考试的核心知识点总结，结合高频考点和易错点分类整理： 1. **数据类型与运算** ▷ 不可变类型：int, float, str, tuple（重点区分list与tuple） ▷ 运算符优先级：** > * /…...

编程日记 2025/6/9 11:09:11