卷积通用模型的剪枝、蒸馏---蒸馏篇--RKD关系蒸馏（以deeplabv3+为例）
本文使用RKD实现对deeplabv3+模型的蒸馏；与上一篇KD蒸馏的方法有所不同，RKD是对展平层的特征做蒸馏，蒸馏的loss分为二阶的距离损失Distance-wise Loss和三阶的角度损失Angle-wise Loss。
完整代码放在文末。
一、RKD简介
RKD算法的核心是以教师模型的多个输出为结构单元，取代传统蒸馏学习中以教师模型的单个输出的方式，利用多输出组合成结构单元，更能体现出教师模型的结构化特征，使得学生模型得到更好的指导。
关系型蒸馏学习的损失函数如下，其中t1,t2…tn表示教师模型的多个输出，s1,s2…sn表示学生模型的多个输出，L表示计算两者之间的距离。与传统的蒸馏学习不同，关系型蒸馏学习的损失函数中还有一个构件结构信息的函数。可以使得学生模型学到教师模型中更加高效的信息表征能力。本文提出了两种表征结构信息的损失：距离蒸馏损失和角度蒸馏损失。
距离蒸馏损失：
通过对每个batch中的样本进行两两距离计算，最终形成一个batch*batch大小的关系型结构输出。最终学生模型通过学习教师模型的结构输出，实现蒸馏学习。
角度蒸馏损失：
基于角度的蒸馏损失，通过对每个batch中的样本三三样本，计算两个角度，最终形成一个batchbatchbatch
相关文章：
卷积通用模型的剪枝、蒸馏---蒸馏篇--RKD关系蒸馏（以deeplabv3+为例）
本文使用RKD实现对deeplabv3+模型的蒸馏；与上一篇KD蒸馏的方法有所不同，RKD是对展平层的特征做蒸馏，蒸馏的loss分为二阶的距离损失Distance-wise Loss和三阶的角度损失Angle-wise Loss。 完整代码放在文末。 一、RKD简介 RKD算法的核心是以教师模型的多个输出为结构单元，取…...
AVL树的完全指南：平衡与性能
文章目录 AVL树简介AVL的操作建立一个AVL树插入操作删除操作 书写代码1.构造函数和析构函数2.获取最大值和最小值3.树的高度和节点个数3.前序中序和后序遍历4.判断树是否为空树5.四个旋转操作6.获取平衡因子7.插入操作8.删除操作9.搜索节点.h文件中的定义 总结 AVL树简介 AVL树…...
itext7 PDF添加水印，获取页面高度，添加到页面右上角
ps: pdf添加水印，内容多的时候会往下跑，修改为获取当前页面高度，进行固定在顶部，其他需要可以自己进行调整，直接贴代码。 public static void main(String[] args) throws IOException {String localFilePath "…...
docker端口映射成功，docker端口不生效的问题解决，外界无法访问docker映射端口
docker端口映射不生效的问题解决 问题 使用docker run -p 88848:8848后，显示容器启动正常，并且使用docker logs –f xxx能够看到容器可以正常启用，docker ps 可以看到容器启动成功，并且端口已经映射,但是在浏览器访问相关地址&am…...
RSA非对称加密解密，前端公钥加密后端私钥解密
RSA非对称加密解密，前端公钥加密后端私钥解密，可以防止陌生人直接通过后端接口篡改数据。有数据泄露的风险。 前端：Vue框架 后端：sprintboot（Java） 工具类：hutool 前端Vue获取公钥：…...
Nginx-01-Nginx 是什么? 能做什么？
nginx 系列 Nginx-01-聊一聊 nginx Nginx-01-Nginx 是什么 Nginx-02-为什么使用 Nginx Nginx-02-Nginx Ubuntu 安装 windows10 WSL ubuntu 安装 nginx 实战笔记 Nginx-02-基本使用 Nginx-03-Nginx 项目架构 Nginx-04-Docker Nginx Nginx-05-nginx 反向代理是什么&…...
最大数字——蓝桥杯十三届2022国赛大学B组真题
问题分析 这道题属于贪心加回溯。所有操作如果能使得高位的数字变大必定优先用在高位，因为对高位的影响永远大于对低位的影响。然后我们再来分析一下，如何使用这两种操作？对于加操作，如果能使这一位的数字加到9则变成9࿰…...
查看微信小程序主包大小
前言 略 查看微信小程序主包大小 在微信开发者工具右上角找到“详情->基本信息” 查看微信小程序主包构成 通过微信开发者工具中的“代码依赖分析”工具查看...
B树与B+树的奥秘：原理解析与性能
引言 B树和B树是计算机科学中两个重要的数据结构，它们在数据库和文件系统中扮演着至关重要的角色。在处理大量数据时，高效的数据组织和检索方式是至关重要的，而B树和B树正是为此而设计的。 B树和B树都是多路查找树的变体，它们通…...
Unity组件入门篇目录
Audio AudioChorusFilter......................................点击导航AudioDistortionFilter..................................点击导航AudioEchoFilter.........................................点击导航AudioHighPassFilter..................................点击导…...
【Python技术】使用akshare、pandas高效复盘每日涨停板行业分析
作为一个程序员宝爸，每天的时间很宝贵，工作之余除了辅导孩子作业，就是补充睡眠。 怎么快速高效的进行当天A股涨停板的复盘，便于第二天的跟踪。这里简单写个示例， 获取当天连涨数排序，以及所属行业排序。 …...
kubeflow文档-介绍与架构
1. kubeflow介绍 Kubeflow项目致力于使机器学习（ML）工作流在Kubernetes上的部署变得简单、可移植和可扩展。目标不是重新创建其他服务，而是提供一种直接的方法，将ML的开源系统部署到不同的基础设施中。无论在哪里运行Kubernetes&a…...
传输层的TCP流量控制比数据链路层作用范围更广
数据链路层的流量控制主要在相邻节点之间进行，它确保在单个链路或网络段上不会发生数据过载。例如，在以太网中，数据链路层使用停止-等待协议或滑动窗口机制来限制发送方发送的数据量，以避免接收方无法处理数据。 而传输层的 TCP 流…...
CSS表格
标准的表格结构 table标签：定义表格 caption标签：定义表格标题，这个标题会居中显示在表格上，一个表格只能定义一个标题 th标签：定义表格的表头，通常成粗体居中表示 tr标签：定义表格的一行 td标…...
东芝移动硬盘数据恢复方法有哪些
谁能懂我此刻的心情啊！移动硬盘用起来真的超级方便，如今我的工作几乎都离不开它，用来存放各种重要文件。可是，让人头疼的事情发生了，昨天我发现移动硬盘里的部分数据竟然莫名其妙地消失了！这可咋整啊&#…...
FullCalendar日历组件集成实战（1）
背景 有一些应用系统或应用功能，如日程管理、任务管理需要使用到日历组件。虽然Element Plus也提供了日历组件，但功能比较简单，用来做数据展现勉强可用。但如果需要进行复杂的数据展示，以及互动操作如通过点击添加事件࿰…...
wps
文章目录 取消自动升级、WPS热点及广告推送excel数字大小排序函数不起作用vlookup函数 取消自动升级、WPS热点及广告推送 打开WPS Office，点击左上角“首页”图标，依次点击右上角“设置”—>“配置和修复工具”。在弹出框点击“高级”，选…...
【软设】常见易错题汇总
目录 计算机系统基础 程序语言基础 数据结构 算法设计与分析 计算机网络与信息安全 软件工程基础 开发方法（结构化与面向对象） 数据库 操作系统 知识产权相关的法律法规 🤯🤯🤯🤯🤯ǹ…...
安全数据交换系统哪个好？该如何选型？
安全数据交换系统是用于在不同网络或组织之间安全、高效地传输和共享数据的解决方案。安全数据交换系统对于任何需要处理敏感数据、确保数据安全、并满足合规要求的组织来说都是至关重要的。 这种系统通常用于以下目的： 1）数据传输：允许用户…...
用matplotlib制作代码和色块
代码如下： # 声明 # -*- coding: utf-8 -*- """ Created on Mon May 13 11:18:59 2024author: sankang """ # 这里调用包 import matplotlib as mpl import matplotlib.pyplot as plt import numpy as npplt.rcParams[axes.unicode_…...
【kafka】Golang实现分布式Masscan任务调度系统
要求： 输出两个程序，一个命令行程序（命令行参数用flag）和一个服务端程序。 命令行程序支持通过命令行参数配置下发IP或IP段、端口、扫描带宽，然后将消息推送到kafka里面。 服务端程序： 从kafka消费者接收…...
【Oracle APEX开发小技巧12】
有如下需求： 有一个问题反馈页面，要实现在apex页面展示能直观看到反馈时间超过7天未处理的数据，方便管理员及时处理反馈。 我的方法：直接将逻辑写在SQL中，这样可以直接在页面展示 完整代码： SELECTSF.FE…...
基于ASP.NET+ SQL Server实现（Web）医院信息管理系统
医院信息管理系统 1. 课程设计内容 在 visual studio 2017 平台上，开发一个“医院信息管理系统”Web 程序。 2. 课程设计目的 综合运用 c#.net 知识，在 vs 2017 平台上，进行 ASP.NET 应用程序和简易网站的开发；初步熟悉开发一…...
DAY 47
三、通道注意力 3.1 通道注意力的定义 # 新增：通道注意力模块（SE模块） class ChannelAttention(nn.Module):"""通道注意力模块(Squeeze-and-Excitation)"""def __init__(self, in_channels, reduction_rat…...
Nginx server_name 配置说明
Nginx 是一个高性能的反向代理和负载均衡服务器，其核心配置之一是 server 块中的 server_name 指令。server_name 决定了 Nginx 如何根据客户端请求的 Host 头匹配对应的虚拟主机（Virtual Host）。 1. 简介 Nginx 使用 server_name 指令来确定…...
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为…...
3-11单元格区域边界定位(End属性)学习笔记
返回一个Range 对象，只读。该对象代表包含源区域的区域上端下端左端右端的最后一个单元格。等同于按键 End 向上键(End(xlUp))、End向下键(End(xlDown))、End向左键(End(xlToLeft)End向右键(End(xlToRight)) 注意：它移动的位置必须是相连的有内容的单元格…...
云原生玩法三问：构建自定义开发环境
云原生玩法三问：构建自定义开发环境 引言 临时运维一个古董项目，无文档，无环境，无交接人，俗称三无。 运行设备的环境老，本地环境版本高，ssh不过去。正好最近对 腾讯出品的云原生 cnb 感兴趣&…...
HarmonyOS运动开发：如何用mpchart绘制运动配速图表
##鸿蒙核心技术##运动开发##Sensor Service Kit（传感器服务）# 前言 在运动类应用中，运动数据的可视化是提升用户体验的重要环节。通过直观的图表展示运动过程中的关键数据，如配速、距离、卡路里消耗等，用户可以更清晰…...
Docker 本地安装 mysql 数据库
Docker: Accelerated Container Application Development 下载对应操作系统版本的 docker ；并安装。 基础操作不再赘述。 打开 macOS 终端，开始 docker 安装mysql之旅 第一步 docker search mysql 》〉docker search mysql NAME DE…...