具有HiLo注意力的快速视觉Transformer
摘要
https://arxiv.org/pdf/2205.13213
视觉Transformer（ViTs）在计算机视觉领域引发了最新且最重要的突破。其高效设计大多以计算复杂度的间接指标，即浮点运算数（FLOPs）为指导，然而，该指标与吞吐量等直接指标之间存在明显差距。因此，我们建议使用目标平台上的直接速度评估作为高效ViTs的设计原则。特别是，我们引入了一种简单且有效的ViT——LITv2，在各种不同模型尺寸下，LITv2均以更快的速度优于现有的最先进方法。LITv2的核心是一种新颖的自注意力机制，我们称之为HiLo。HiLo的灵感来源于以下见解：图像中的高频部分捕捉局部精细细节，而低频部分关注全局结构，然而，多头自注意力层忽略了不同频率特征。因此，我们提出在注意力层中将高频/低频模式分离，即将头部分成两组，其中一组通过每个局部窗口内的自注意力编码高频，另一组通过对每个窗口和输入特征图中每个查询位置的平均池化低频键和值执行全局注意力来编码低频。得益于两组的高效设计，我们通过全面对比GPU和CPU上的FLOPs、速度和内存消耗，证明了HiLo优于现有的注意力机制。例如，在CPU上，HiLo比空间降维注意力快
相关文章：
具有HiLo注意力的快速视觉Transformer
摘要 https://arxiv.org/pdf/2205.13213 视觉Transformer（ViTs）在计算机视觉领域引发了最新且最重要的突破。其高效设计大多以计算复杂度的间接指标，即浮点运算数（FLOPs）为指导，然而，该指标与吞吐量等直接指标之间存在明显差距。因此，我们建议使用目标平台上的直接速度…...
《AI “造脸术”：生成对抗网络打造超真实虚拟人脸》
在科技飞速发展的当下，人工智能的浪潮席卷而来，其中生成对抗网络（GANs）技术以其独特的魅力，成为了生成高度真实感虚拟人脸的强大引擎。无论是影视制作中虚拟角色的塑造，还是游戏领域中多样化角色形象的构建…...
2025.2.6总结
今天想聊聊工作。 1.到底什么是工作？ 个人理解，工作就是在规定的时间下，高质量的完成领导交代的任务。刚开始工作时，我只懂一味的埋头苦干，能干多少干多少，最后结果怎么样我也不是很在乎。后面࿰…...
RK3576——USB3.2 OTG无法识别到USB设备
问题：使用硬盘接入到OTG接口无热插拔信息，接入DP显示屏无法正常识别到显示设备，但是能通过RKDdevTool工具烧录系统。 问题分析：由于热插拔功能实现是靠HUSB311芯片完成的，因此需要先确保HUSB311芯片驱动正常工作。 1. …...
低代码系统-插件功能分析( 某道云）
本文主要把其的插件进行了简单分析，不做业务上的梳理，不做推荐。 可大致分为： 群机器人 信息查询 智能识别 实名验证类 数据库类 通知类 通知类 aPaas增强 考勤同步 财务类 类别 插件名称 功能简介 群机器人类 某钉机器人 即在表单处完…...
如何在 FastAPI 中使用本地资源自定义 Swagger UI
要自定义 FastAPI 中的 Swagger UI，且使用本地资源来代替 CDN。只是需要稍微修改一下。 修改后的代码： 步骤： 挂载本地静态文件目录：我们将本地的 Swagger UI 资源文件（如 .js, .css, favicon.png 等）放…...
wxWidgets生成HTML文件，带图片转base64数据
编译环境大家可以看我之前的文章，CodeBlocks + msys2 + wx3.2，win10 这里功能就是生成HTML文件，没用HTML库，因为是自己固定的格式，图片是一个vector，可以动态改变数量的。 效果如下： #include <wx/string.h> #include <wx/file.h> #include <wx/ima…...
基于ArcGIS的SWAT模型+CENTURY模型模拟流域生态系统水-碳-氮耦合过程研究
流域是一个相对独立的自然地理单元，它是以水系为纽带，将系统内各自然地理要素连结成一个不可分割的整体。碳和氮是陆地生态系统中最重要的两种化学元素，而在流域系统内，水-碳-氮是相互联动、不可分割的耦合体。随着流域内人类活动…...
一键掌握多平台短视频矩阵营销/源码部署
短视频矩阵系统的介绍与应用 随着数字化营销策略的不断演进，传统的短视频矩阵操作方法可能已显陈旧。为此，一款全新的短视频矩阵系统应运而生，它通过整合多个社交媒体账户、创建多样化的任务、运用先进的智能视频编辑工具、实现多平台内容的…...
2.Python基础知识：注释、变量以及数据类型、标识符和关键字、输入函数、输出函数、运算符、程序类型转换
1. 注释 注释是用来解释代码，增强代码可读性的部分。在 Python 中，注释分为单行注释和多行注释。 单行注释：以 # 开头，后面的内容都被视为注释。 # 这是一个单行注释 print("Hello, World!") # 输出 "Hello, Wor…...
3NF讲解
3NF讲解 3NF（第三范式）是数据库设计中的一种规范化方法，目的是消除数据冗余和避免数据异常。它帮助数据库保持高效，灵活和一致性。理解3NF的关键点在于它依赖于前两个范式（1NF和2NF）的基础。 1. 第一范式…...
Spring Boot框架下的单元测试
1. 什么是单元测试 1.1 基本定义 单元测试(Unit Test) 是对软件开发中最小可测单位（例如一个方法或者一个类）进行验证的一种测试方式。在 Java 后端的 Spring Boot 项目中，单元测试通常会借助 JUnit、Mockito 等框架对代码中核心逻辑进行快…...
AI测试工程师成长指南：以DeepSeek模型训练为例
目录 引言：AI测试工程师的使命与挑战成长日记：从测试小白到AI测试专家核心能力：AI测试工程师的必备素养知识体系：技术栈与技能图谱AI测试工具全景：以DeepSeek为核心的工具链实战训练模式：以DeepSeek模型迭…...
【数据结构】_队列的结构与实现
目录 1. 队列的概念和结构 2. 队列的应用 3. 队列的实现 3.1 队列实现的底层结构选择 3.2 结构体设计 3.2.1 仅为链表结点设计结构体 3.2.2 为链表再设计一个结构体 3.3 Queue.h 3.4 Queue.c 3.5 Test_Queue.c 注：部分方法实现细节 1. 队列的概念和结构 …...
机器学习--2.多元线性回归
多元线性回归 1、基本概念 1.1、连续值 1.2、离散值 1.3、简单线性回归 1.4、最优解 1.5、多元线性回归 2、正规方程 2.1、最小二乘法 2.2、多元一次方程举例 2.3、矩阵转置公式与求导公式 2.4、推导正规方程0的解 2.5、凸函数判定 成年人最大的自律就是：…...
MySQL时间类型相关总结(DATETIME, TIMESTAMP, DATE, TIME, YEAR)
MySQL时间类型相关总结(DATETIME, TIMESTAMP, DATE, TIME, YEAR) MySQL官方文档： https://dev.mysql.com/doc/refman/8.0/en/date-and-time-types.html 一. 对比： 在 MySQL 中，处理时间相关的数据类型主要有以下几种：DATE、TIME、…...
朴素贝叶斯原理
在所有的机器学习分类算法中，朴素贝叶斯和其他绝大多数的分类算法都不同。对于大多数的分类算法，比如决策树,KNN,逻辑回归，支持向量机等，他们都是判别方法，也就是直接学习出特征输出Y和特征X之间的关系，要么…...
)
k8s中，一.pod污点，二.pod容器污点容忍策略，三.pod优先级(PriorityClass类)
一.pod污点:污点是让节点与pod产生排斥的一类规则污点标签的命令1.查看污点标签kubectl describe nodes 节点名2.设置污点标签kubectl taint node 节点名 key值value值:污点标签种类3.删除污点标签kubectl taint node 节点名 key值value值:污点标签种类-4.污点标签种类驱逐:NoE…...
【重生之学习C语言----水仙花篇】
目录 编辑 ----------------------------------------begin-------------------------------------- 一、什么是水仙花数？ 二、问题分析 确定数字的位数：计算输入数字的位数 n。 分离每一位数字：例如将 153 分离为 1、5、3。 计算各…...
两步构建 AI 总结助手，实现智能文档摘要
在信息极度丰富的当下，如何从海量且复杂的文件资料中筛选出关键内容，成为了不少企业和个人急需解决的问题。本次解决方案将向您介绍，如何通过函数计算 FC 阿里云百炼平台搭建智能 AI 总结助手，实现高效的文本自动总结和信息提取。…...
数据链路层的主要功能是什么
数据链路层（OSI模型第2层）的核心功能是在相邻网络节点（如交换机、主机）间提供可靠的数据帧传输服务，主要职责包括： 🔑 核心功能详解： 帧封装与解封装 封装： 将网络层下发…...
让AI看见世界：MCP协议与服务器的工作原理
让AI看见世界：MCP协议与服务器的工作原理 MCP（Model Context Protocol）是一种创新的通信协议，旨在让大型语言模型能够安全、高效地与外部资源进行交互。在AI技术快速发展的今天，MCP正成为连接AI与现实世界的重要桥梁。…...
Xen Server服务器释放磁盘空间
disk.sh #!/bin/bashcd /run/sr-mount/e54f0646-ae11-0457-b64f-eba4673b824c # 全部虚拟机物理磁盘文件存储 a$(ls -l | awk {print $NF} | cut -d. -f1) # 使用中的虚拟机物理磁盘文件 b$(xe vm-disk-list --multiple | grep uuid | awk {print $NF})printf "%s\n"…...
jmeter聚合报告中参数详解
sample、average、min、max、90%line、95%line,99%line、Error错误率、吞吐量Thoughput、KB/sec每秒传输的数据量 sample（样本数） 表示测试中发送的请求数量，即测试执行了多少次请求。 单位，以个或者次数表示。 示例：…...
aardio 自动识别验证码输入
技术尝试 上周在发学习日志时有网友提议“在网页上识别验证码”，于是尝试整合图像识别与网页自动化技术，完成了这套模拟登录流程。核心思路是：截图验证码→OCR识别→自动填充表单→提交并验证结果。 代码在这里 import soImage; import we…...
深入解析 ReentrantLock：原理、公平锁与非公平锁的较量
ReentrantLock 是 Java 中 java.util.concurrent.locks 包下的一个重要类，用于实现线程同步，支持可重入性，并且可以选择公平锁或非公平锁的实现方式。下面将详细介绍 ReentrantLock 的实现原理以及公平锁和非公平锁的区别。 ReentrantLock 实现原理 基本架构 ReentrantLo…...
Element-Plus：popconfirm与tooltip一起使用不生效？
你们好，我是金金金。 场景 我正在使用Element-plus组件库当中的el-popconfirm和el-tooltip，产品要求是两个需要结合一起使用，也就是鼠标悬浮上去有提示文字，并且点击之后需要出现气泡确认框 代码 <el-popconfirm title"是…...
Linux中INADDR_ANY详解
在Linux网络编程中，INADDR_ANY 是一个特殊的IPv4地址常量（定义在 <netinet/in.h> 头文件中），用于表示绑定到所有可用网络接口的地址。它是服务器程序中的常见用法，允许套接字监听所有本地IP地址上的连接请求。 关…...
免费批量Markdown转Word工具
免费批量Markdown转Word工具 一款简单易用的批量Markdown文档转换工具，支持将多个Markdown文件一键转换为Word文档。完全免费，无需安装，解压即用！ 官方网站 访问官方展示页面了解更多信息：http://mutou888.com/pro…...
Linux系统：进程间通信-匿名与命名管道
本节重点 匿名管道的概念与原理匿名管道的创建命名管道的概念与原理命名管道的创建两者的差异与联系命名管道实现EchoServer 一、管道 管道（Pipe）是一种进程间通信（IPC, Inter-Process Communication）机制，用于在不…...