当前位置： 首页 > news >正文

【KD】知识蒸馏与迁移学习的不同

news 文章来源：https://blog.csdn.net/lj2048/article/details/131830411 2025/5/22 21:15:30

知识蒸馏与迁移学习的不同

(1)数据域不同.

知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移.

(2)网络结构不同.

知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其它领域的数据知识.

(3)学习方式不同.

迁移学习使用其它领域的丰富数据的权重来帮助目标数据的学习，而知识蒸馏不会直接使用学到的权重.

(4)目的不同.

知识蒸馏通常是训练一个轻量级的网络来逼近复杂网络的性能，而迁移学习是将已经学习到相关任务模型的权重来解决目标数据集的样本不足问题.

参考

Search to Distill: Pearls are Everywhere but not the Eyes - 知乎 

相关文章：

【KD】知识蒸馏与迁移学习的不同

知识蒸馏与迁移学习的不同 (1)数据域不同. 知识蒸馏中的知识通常是在同一个目标数据集上进行迁移，而迁移学习中的知识往往是在不同目标的数据集上进行转移. (2)网络结构不同. 知识蒸馏的两个网络可以是同构或者异构的，而迁移学习通常是在单个网络上利用其…...

编程日记 2023/7/27 3:05:18

计算机内存中的缓存Cache Memories

这篇写一下计算机系统中的缓存Cache应用场景和实现方式介绍。 Memory hierarchy 在讲缓存之前，首先要了解计算机中的内存结构层次Memory hierarchy。也就是下图金字塔形状的结构。 从上到下，内存层次结构如下： 寄存器：这是计算机…...

编程日记 2023/7/27 3:04:17

Flask的send file和send_from_directory的区别

可以自行查看flask 文档。 send file高效； send from directory安全，且适用于静态资源交互。 都是实现相同的功能的。 send_file send_from_directory...

编程日记 2023/7/27 3:03:16

Java 队列

基本介绍 数组模拟队列 思路分析 代码实现 import java.util.Scanner;public class Test {public static void main(String[] args) {// 创建一个队列ArrayQueue queue new ArrayQueue(3);int select;Scanner scanner new Scanner(System.in);boolean loop true;while (lo…...

编程日记 2023/7/27 3:02:15

【算法基础：搜索与图论】3.6 二分图（染色法判定二分图匈牙利算法）

文章目录 二分图介绍染色法判定二分图例题：860. 染色法判定二分图 匈牙利匹配二分图最大匹配匈牙利匹配算法思想例题：861. 二分图的最大匹配 二分图介绍 https://oi-wiki.org/graph/bi-graph/ 二分图是图论中的一个概念，它的所有节点可以被…...

编程日记 2023/7/27 3:01:13

SpringMVC 怎么和 AJAX 相互调用的

通过 Jackson 框架就可以把 Java 里面的对象直接转化成 Js 可以识别的 Json 对象。 步骤如下 ： a、加入 Jackson.jar b、在配置文件中配置 json 的映射 c、在接受 Ajax 方法里面可以直接返回 Object,List 等,但方法前面要加上ResponseBody 详细步骤： …...

编程日记 2023/7/27 3:00:13

UCDOS和WPS推动计算机领域的汉字化发展，中文编程该谁力扛大旗？

你还记得UCDOS吗？ 从DOS时代过来的人，还知道UCDOS的，现在可能已经是中年人了！ 当时，鲍岳桥的UCDOS可以称得上是中国的国产操作系统。 在Windows还没来得及进入中国市场时，UCDOS可以说是走向了巅峰时刻&a…...

编程日记 2023/7/27 2:59:11

golang+layui提升界面美化度--[推荐]

一、背景 golanglayui提升界面美化度--[推荐]； golang后端写的页面很难看，如何好看点呢，那就是layui https://layui.dev/ 也是一个简单上手容易使用的框架，类似jquery，对于后端开发来说满足使用需求 二、使用注意点…...

编程日记 2023/7/27 2:58:10

42. 接雨水

题目介绍 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。 示例 1： 输入：height [0,1,0,2,1,0,1,3,2,1,2,1] 输出：6 解释：上面是由数组 [0,1,0,2,1,0,1,3…...

编程日记 2023/7/27 2:57:08

Python学习阶段路线和内容

Python学习阶段路线和内容 这是我的看法和认识，供参考。 Python学习路线主要分为三个阶段：入门阶段、提高阶段和深入阶段。 入门阶段 入门阶段需要学习Python的基本语法，掌握变量和数据类型、条件语句和循环语句、函数和模块等内容。并通过…...

编程日记 2023/7/27 2:56:07

RocketMQ教程-安装和配置

Linux系统安装配置 64位操作系统，推荐 Linux/Unix/macOS 64位 JDK 1.8 Maven3.0 yum 安装jdk8 yum 安装maven 1.下载安装Apache RocketMQ RocketMQ 的安装包分为两种，二进制包和源码包。 点击这里 下载 Apache RocketMQ 5.1.3的源码包。你也可以从这…...

编程日记 2023/7/27 2:55:06

【LeetCode】55.跳跃游戏

题目 给定一个非负整数数组 nums ，你最初位于数组的 第一个下标 。 数组中的每个元素代表你在该位置可以跳跃的最大长度。 判断你是否能够到达最后一个下标。 示例 1： 输入：nums [2,3,1,1,4] 输出：true 解释：可以…...

编程日记 2023/7/27 2:54:05

Docker学习路线12：开发者体验

到目前为止，我们只讨论了使用Docker来部署应用程序。然而，Docker也是一个极好的用于开发应用程序的工具。可以采用一些不同的建议来改善开发体验。 在应用程序中使用docker-compose以方便开发。使用绑定挂载将本地代码挂载到容器文件系统中，…...

编程日记 2023/7/27 2:53:03

后端服务迁移方案及过程记录

阶段时序动作双写数据对比1新rdb集群上线双写数据对比2新服务上线，无流量双写数据对比2后端自己发起的流程比如job，新服务上线一份新的，独立运行双写数据对比2消费二方mq，新服务使用新的消费组消费原有消息双写数据对比3新旧服务比…...

编程日记 2023/7/27 2:52:02

StAX解析

StAX解析 StAX解析介绍 StAX解析与SAX解析类似，也是基于事件驱动的，不同之处在于StAX采用的是拉模式，应用程序通过调用解析器推进解析的进程，可以调用next()方法来获取下一个解析事件(开始文档，结束文档，开…...

编程日记 2023/7/27 2:51:01

[MCU]AUTOSAR COM STACK - CAN协议栈

各层PDU PDU：Protocal Data Unit，协议数据单元，由SDU和PCI组成； I-PDU：Interaction Layer PDU，数据交互层PDU；N-PDU：NetWork Layer PDU，网络层PDU，通常用的…...

编程日记 2023/7/27 2:50:00

React：从 npx开始

使用 npm 来创建第一个 recat 文件（ react-demo 是文件名，可以自定义） npx create-react-app react-demo npx是 npm v5.2 版本新添加的命令，用来简化 npm 中工具包的使用 原始： 全局安装npm i -g create-react-app 2 …...

编程日记 2023/7/27 2:48:58

力扣热门100题之接雨水【困难】

题目描述 给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。 示例 1： 输入：height [0,1,0,2,1,0,1,3,2,1,2,1] 输出：6 解释：上面是由数组 [0,1,0,2,1,0,1,3…...

编程日记 2023/7/27 2:47:57

Stable-Diffusion-Webui部署SDXL0.9报错参数shape不匹配解决

问题 已经在model/stable-diffusion文件夹下放进去了sdxl0.9的safetensor文件，但是在切换model的时候，会报错model的shape不一致。 解决方法 git pullupdate一些web-ui项目就可以，因为当前项目太老了，没有使用最新的版本。...

编程日记 2023/7/27 2:46:54

Springboot @Async 多线程获取返回值

Springboot Async 多线程获取返回值 需求背景 最近需要用到多线程, 自己维护线程池很麻烦, 正好看到Springboot集成线程池的例子, 这里自己做了个尝试和总结, 记录一下, 也分享给需要的朋友; 不考虑事务的情况下, 这个多线程实现比较简单, 主要有以下几点: 在启动类加上Enab…...

编程日记 2023/7/27 2:45:52

怎样接入chatGPT

官网链接： OpenAI platform...

编程日记 2023/7/27 2:44:51

Docker consul容器服务更新与发现

Docker consul容器服务更新与发现 一、什么事服务注册与发现二、什么是consul三、consul部署1、consul服务器2、registrator服务器3、consul-template 一、什么事服务注册与发现 服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可…...

编程日记 2023/7/27 2:43:50

[算法很美打卡] 多维数组篇 (打卡第一天)

文章目录 顺时针打印二维数组0所在的行列清零 顺时针打印二维数组 package 每日算法学习打卡.算法打卡.七月份.七月二十六号;public class test1 {public static void main(String[] args) {int[][] matrix {{1,2},{5,6},{9,10},{13,14},};print(matrix);}static void print(i…...

编程日记 2023/7/27 2:42:49

微服务系列（1）-who i am？

微服务系列（1）-我是谁 应用架构的演化 简单来说系统架构可以分为以下几个阶段：复杂的臃肿的单体架构-SOA架构-微服务 单体架构及其所面临的问题 在互联网发展初期，用户数量少，流量小，硬件成本高。因此…...

编程日记 2023/7/27 2:41:47

记录这这段时间发生的事情。

当做后端的时候总是被骂做前很丑。成为一个UI设计师与后端工程师才会更加完美。 尝试着做一个主页面。 创建了一个主页面 的表格index。 收录了希望发送到主页的，的帖子。 并且，可以填写是否可以。 一个看起来不错的主页。 标题设计的左右框。 这种框…...

编程日记 2023/7/27 2:40:46

发布npm包流程

发布npm包的步骤如下： 在终端中通过 npm init 命令创建一个新的npm包，按照提示填写包的信息，如包名称、版本、描述、作者、许可证等。 在包的根目录下创建一个 index.js 文件，编写你的代码。 确认你已经注册了npm账号&#xff0…...

编程日记 2023/7/27 2:39:45

面试官：Redis 为什么变慢了？怎么解决？

一、Redis为什么变慢了 二、Redis如何优化 三、Redis变慢了排查步骤 一、Redis为什么变慢了 1.Redis真的变慢了吗？ 对 Redis 进行基准性能测试 例如，我的机器配置比较低，当延迟为 2ms 时，我就认为 Redis 变慢了，…...

编程日记 2023/7/27 2:38:44

Docker:开启应用程序开发新篇章的利器

Docker：开启应用程序开发新篇章的利器 引言：1. Docker 的基本概念2. Docker 的优势3. Docker 在应用程序开发中的实际应用如何创建docker镜像如何部署docker镜像结论： 引言： 在现代软件开发领域中，容器化技术正在迅猛…...

编程日记 2023/7/27 2:37:43

Python面向对象（三）（继承、封装）

面向对象的三大特性 面向对象编程，是许多编程语言都支持的一种编程思想。 简单理解是：基于模板（类）去创建实体（对象），使用对象完成功能开发。 面向对象包含3大主要特性： 封装 封…...

编程日记 2023/7/27 2:36:43

Redis Stream 流的深度解析与实现高级消息队列【一万字】

详细介绍了 Redis 5.0 版本新增加的数据结构Stream的使用方式以及原理，如何实现更加可靠的消息队列。 文章目录 Stream 概述2 Stream基本结构3 存储数据3.1 Entry ID3.2 数量限制 4 获取数据4.1 范围查询4.2 独立消费消息4.2.1 非阻塞使用4.2.2 阻塞的使用 4.3 消费…...

编程日记 2023/7/27 2:35:41