当前位置： 首页 > news >正文

LSKA（大可分离核注意力）：重新思考CNN大核注意力设计

news 2025/9/24 18:18:11

文章目录

  • 摘要
  • 1、简介
  • 2、相关工作
  • 3、方法
  • 4、实验
  • 5、消融研究
  • 6、与最先进方法的比较
  • 7、ViTs和CNNs的鲁棒性评估基准比较
  • 8、结论

摘要

https://arxiv.org/pdf/2309.01439.pdf
大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性能，超过了视觉转换器（ViTs）。然而，这些LSKA模块中的逐深度卷积层随着卷积核尺寸的增加，计算和内存占用呈二次增长。为了缓解这些问题，并使VAN的注意力模块能够使用极大的卷积核，我们提出了一种大型可分离核注意力模块，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平1D和垂直1D内核。与标准LKA设计不同，提出的分解使得可以直接使用注意力模块中的深度卷积层的大内核，而不需要任何额外的块。我们证明，与标准LKA模块相比，VAN中的提议LSKA模块可以获得相当的性能，并降低计算复杂性和内存占用。我们还发现，随着内核尺寸的增加，提议的LSKA设计使VAN更加偏向于对象的形状而不是纹理。此外，我们对LKA和LSKA在VAN、ViTs和最近的

相关文章：

LSKA（大可分离核注意力）：重新思考CNN大核注意力设计

文章目录 摘要1、简介2、相关工作3、方法4、实验5、消融研究6、与最先进方法的比较7、ViTs和CNNs的鲁棒性评估基准比较8、结论摘要 https://arxiv.org/pdf/2309.01439.pdf 大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性…...

编程日记 2023/10/24 15:34:25

muduo源码学习base——Exception(带 stack trace 的异常基类）

Exception(带 stack trace 的异常基类） 前置ExceptionCurrentThread::stackTrace() 前置 ABI: Application Binary Interface，应用程序二进制接口，可以参考：细谈ABI RTTI type_info: RTTI：Run Time Type Identificatio…...

编程日记 2023/10/24 15:33:23

2023-10-24 小总结

起始 不知不觉，作为职业码农，已经过去了4年。第4个1024了。 期间和Java、C#、JavaScript都打过交道。他们都很优秀。自然，好刀要在强者手中才能熠熠生辉。 快30了，回首过去，很感慨。发生了很多事，很多我都…...

编程日记 2023/10/24 15:32:22

2-MySQL的基本操作记录

1 数据库相关 -- --------------------表相关的---------- -- 查看字符集 show variables like %character%;show databases;# 创建数据库 create database test2;# 删除数据库 drop database test2; show databases;#查看当前使用的数据库 select database(); 2 用户相关 -…...

编程日记 2023/10/24 15:31:20

网站页脚展示备案号并在新标签页中打开超链接

备案时，我们就注意到，备案成功后需要在网站首页底部展示“备案号”，并将备案号链接至https://beian.miit.gov.cn。 这里我使用了WrodPress中的主题，主题自定义中有提供对页脚文本的编辑，支持用css标签定义样式。若是自…...

编程日记 2023/10/24 15:30:19

CentOS7 安装 nodejs

获取安装文件 node历史版本地址 安装 上传到服务器安装位置cd 到压缩包位置，执行解压安装操作 [rootps-fdcnops-01 /]# cd usr/local/nodejs/ [rootps-fdcnops-01 nodejs]# tar -xzvf node-v16.16.0-linux-x64 配置环境变量 [rootps-fdcnops-01 nodejs]# vim /…...

编程日记 2023/10/24 15:29:18

工程化测试：Apollo的单元测试与集成测试指南

前言 「作者主页」：雪碧有白泡泡 「个人网站」：雪碧的个人网站 「推荐专栏」： ★java一站式服务 ★ ★ React从入门到精通★ ★前端炫酷代码分享 ★ ★ 从0到英雄，vue成神之路★ ★ uniapp-从构建到提升★ ★ 从0到英雄&#xff…...

编程日记 2023/10/24 15:28:18

DevOps 笔记

01 总论 "DevOps"是一个术语，它是“Development（开发）”和“Operations（运维）”两个单词的组合。这个概念是为了强调并促进开发人员（构建产品）和IT运营团队（负责产品部署和管理）之间的沟通、协作与整合。通过DevOps，组织力求快速、高效地开发高质量软件，…...

编程日记 2023/10/24 15:27:17

基于食肉植物优化的BP神经网络（分类应用） - 附代码

基于食肉植物优化的BP神经网络（分类应用） - 附代码 文章目录 基于食肉植物优化的BP神经网络（分类应用） - 附代码1.鸢尾花iris数据介绍2.数据集整理3.食肉植物优化BP神经网络3.1 BP神经网络参数设置3.2 食肉植物算法应用 4.测试结果…...

编程日记 2023/10/24 15:26:16

Docker部署SpringBoot +Vue项目流程详解（含域名 + HTTPS）

文章目录 前言1、选购服务器2、部署 Docker3、前端、后端项目打包4、配置 Dockerfile5、配置 Nginx6、配置 DockerCompose6、启动 DockerCompose 完成部署7、【可选】域名 SSL证书 前言 本次整体部署操作使用阿里云服务器，这里我选择的是香港地区的2核2G ECS&…...

编程日记 2023/10/24 15:24:13

需要在 MySQL 服务器中监控的重要指标

MySQL是一个开源的关系数据库管理系统，它基于客户端-服务器模型运行，使用SQL作为其通信模式。它具有灵活性和可扩展性、高安全性、易用性以及无缝处理大型数据集的能力，由于其广泛的功能，MySQL 被用作数据库管理系统的一部分。 什…...

编程日记 2023/10/24 15:23:12

Hadoop之HDFS

目录 1.HDFS概述 1.1HDFS产出背景及定义 1.2 HDFS优缺点 1.3 HDFS组成架构 1.4 HDFS文件块大小 2. HDFS的Shell操作 2.1 基本语法 2.2 命令大全 2.3 常用命令实操 2.3.1 准备工作 2.3.2 上传 2.3.3 下载 2.3.4 HDFS直接操作 3. HDFS的API操作 3.1 客户端环境准备…...

编程日记 2023/10/24 15:22:11

【Matlab笔记_17】查找数组中相同元素

案例一：找到数组中相同元素所在位置索引 方法：使用unique函数用于找到唯一的元素和它们在原数组中的索引。然后，histc函数用于计算每个唯一元素的出现次数，并通过ismember函数找到重复元素在原数组中的索引。最后，通过…...

编程日记 2023/10/24 15:19:08

前端多媒体处理工具——ffmpeg的使用

写在前面 在前端领域，FFmpeg 是一个非常有用的工具，它提供了多种媒体格式的封装和解封装，包括多种音视频编码、多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率切换等。可以在多种操作系统安装使用。 安装 下载FFmpeg 在网…...

编程日记 2023/10/24 15:18:07

Pandas 数据分析系列1--SeriesDataFrame数据结构详解

Pandas 概述 Pandas 是一个开源的数据分析和数据处理库，是基于 NumPy 开发的。它提供了灵活且高效的数据结构，使得处理和分析结构化、缺失和时间序列数据变得更加容易。其在数据分析和数据处理领域广泛应用，在金融、社交媒体、科学研究等领域都有很高的使用率和广泛的应用场…...

编程日记 2023/10/24 15:16:05

【模型部署】c++部署yolov5使用openvino

1. 推理方式 CPU推理GPU推理（要求电脑具备核显，即CPU中有嵌入显卡） 2. openvino依赖项下载 https://github.com/openvinotoolkit/openvino/releases 直接解压（随便放到哪个路径） 环境配置 ********（…...

编程日记 2023/10/24 15:15:04

DC-7 靶机

DC_7 信息搜集 存活检测 详细扫描 后台网页扫描 网页信息搜集 搜索相关信息 在配置中发现了用户名密码字样 $username "dc7user"; $password "MdR3xOgB7#dW";ssh 登录 尝试使用获取的账密进行登录 网页登录失败 尝试 ssh 登录 成功登录 登陆今后提…...

编程日记 2023/10/24 15:14:03

Mr.Alright---MTK安卓13 抬手亮屏功能的逻辑

该功能在系统设置-显示-拿起设备时唤醒 alps\vendor\mediatek\proprietary\packages\apps\MtkSettings\src\com\android\settings\display\LiftToWakePreferenceController.javapublic boolean isAvailable() {SensorManager sensors (SensorManager) mContext.getSystemServ…...

编程日记 2023/10/24 15:13:01

thinkPHP5.0字符集修改为utf8mb4

Q:为什么要用utf8mb4 A:utf8mb4可以直接保存emoji字符 MySQL修改字符集 // 数据表编码改为utf8mb4 function to_utf8mb4() {$database config("database.database");$sql "ALTER DATABASE {$database} CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;&q…...

编程日记 2023/10/24 15:12:00

[架构之路-242]：目标系统 - 纵向分层 - 应用程序的类型与演进过程（单机应用程序、网络应用程序、分布式应用程序、云端应用程序、云原生应用程序）

目录 一、什么是计算机应用程序 1.1 什么是应用程序 1.2 应用程序的分类 二、应用程序架构分类详解与演进阶段 三、应用程序架构（Application Architecture） 3.1 基本类型 3.2 云应用程序架构 一、什么是计算机应用程序 1.1 什么是应用程序 计算…...

编程日记 2023/10/24 15:10:59

大话软工笔记—需求分析概述

需求分析，就是要对需求调研收集到的资料信息逐个地进行拆分、研究，从大量的不确定“需求”中确定出哪些需求最终要转换为确定的“功能需求”。 需求分析的作用非常重要，后续设计的依据主要来自于需求分析的成果，包括: 项目的目的…...

编程新知 2025/9/17 3:19:40

R语言AI模型部署方案：精准离线运行详解

R语言AI模型部署方案：精准离线运行详解 一、项目概述 本文将构建一个完整的R语言AI部署解决方案，实现鸢尾花分类模型的训练、保存、离线部署和预测功能。核心特点： 100%离线运行能力自包含环境依赖生产级错误处理跨平台兼容性模型版本管理# 文件结构说明 Iris_AI_Deployme…...

编程新知 2025/8/2 20:19:15

在rocky linux 9.5上在线安装 docker

前面是指南，后面是日志 sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo dnf install docker-ce docker-ce-cli containerd.io -y docker version sudo systemctl start docker sudo systemctl status docker …...

编程新知 2025/7/27 10:03:12

解决Ubuntu22.04 VMware失败的问题 ubuntu入门之二十八

现象1 打开VMware失败 Ubuntu升级之后打开VMware上报需要安装vmmon和vmnet，点击确认后如下提示 最终上报fail 解决方法 内核升级导致，需要在新内核下重新下载编译安装 查看版本 $ vmware -v VMware Workstation 17.5.1 build-23298084$ lsb_release…...

编程新知 2025/9/24 6:18:54

Python爬虫实战：研究feedparser库相关技术

1. 引言 1.1 研究背景与意义 在当今信息爆炸的时代，互联网上存在着海量的信息资源。RSS（Really Simple Syndication）作为一种标准化的信息聚合技术，被广泛用于网站内容的发布和订阅。通过 RSS，用户可以方便地获取网站更新的内容，而无需频繁访问各个网站。 然而，互联网…...

编程新知 2025/8/18 9:54:31

基于数字孪生的水厂可视化平台建设：架构与实践

分享大纲： 1、数字孪生水厂可视化平台建设背景 2、数字孪生水厂可视化平台建设架构 3、数字孪生水厂可视化平台建设成效 近几年，数字孪生水厂的建设开展的如火如荼。作为提升水厂管理效率、优化资源的调度手段，基于数字孪生的水厂可视化平台的…...

编程新知 2025/8/24 3:48:04

汇编常见指令

汇编常见指令 一、数据传送指令 指令功能示例说明MOV数据传送MOV EAX, 10将立即数 10 送入 EAXMOV [EBX], EAX将 EAX 值存入 EBX 指向的内存LEA加载有效地址LEA EAX, [EBX4]将 EBX4 的地址存入 EAX（不访问内存）XCHG交换数据XCHG EAX, EBX交换 EAX 和 EB…...

编程新知 2025/7/20 13:23:05

QT： `long long` 类型转换为 `QString` 2025.6.5

在 Qt 中，将 long long 类型转换为 QString 可以通过以下两种常用方法实现： 方法 1：使用 QString::number() 直接调用 QString 的静态方法 number()，将数值转换为字符串： long long value 1234567890123456789LL; …...

编程新知 2025/9/17 16:50:15

Springboot社区养老保险系统小程序

一、前言 随着我国经济迅速发展，人们对手机的需求越来越大，各种手机软件也都在被广泛应用，但是对于手机进行数据信息管理，对于手机的各种软件也是备受用户的喜爱，社区养老保险系统小程序被用户普遍使用，为方…...

编程新知 2025/9/22 16:24:17

【笔记】WSL 中 Rust 安装与测试完整记录

#工作记录 WSL 中 Rust 安装与测试完整记录 1. 运行环境 系统：Ubuntu 24.04 LTS (WSL2)架构：x86_64 (GNU/Linux)Rust 版本：rustc 1.87.0 (2025-05-09)Cargo 版本：cargo 1.87.0 (2025-05-06) 2. 安装 Rust 2.1 使用 Rust 官方安…...

编程新知 2025/9/22 22:46:40