当前位置：首页 > news >正文

解读CVPR2024-论文分享|RepViT: Revisiting Mobile CNN From ViT Perspective

news 2025/7/6 18:10:04

论文标题

RepViT: Revisiting Mobile CNN From ViT Perspective

论文链接：

https://arxiv.org/abs/2307.09283

论文作者

Ao Wang, Hui Chen, Zijia Lin, Jungong Han, Guiguang Ding

内容简介

这篇论文探讨了在资源受限的移动设备上，轻量级视觉变换器（ViTs）与轻量级卷积神经网络（CNNs）的性能和延迟。作者发现，尽管轻量级ViTs在性能上优于轻量级CNNs，但在硬件和计算库支持方面存在实际挑战。因此，研究团队重新审视了轻量级CNN的设计，并强调了其在移动设备部署上的潜力。通过将轻量级ViTs的高效架构设计集成到标准轻量级CNN（MobileNetV3）中，研究者们提出了一个新的轻量级CNN系列——RepViT。实验结果表明，RepViT在各种视觉任务中超越了现有的轻量级ViTs，并在延迟方面表现出优势。

方法

1.架构设计：

研究者们从MobileNetV3-L开始，逐步将其“现代化”，通过整合轻量级ViTs的高效架构设计。这个过程包括将ViTs的MetaFormer结构和Reparameterization卷积整合到CNN中，形成了新的RepViT块。

2.延迟度量：

为了更准确地评估模型在移动设备上的性能，研究者们使用实际设备（iPhone 12）上的延迟作为基准度量，而不是依赖于FLOPs或模型大小等传统指标。

3.训练方案对齐：

为了公平比较，研究者们将MobileNetV3-L的训练方案与现有的轻量级ViTs对齐，包括使用AdamW优化器、余弦学习率调度器、Mixup、自动增强和随机擦除等技术。

4.块设计：

研究者们分离了token mixer和channel mixer，并减少了扩张比，同时增加了网络宽度，以提高性能和减少延迟。

5.宏观设计：

对网络的宏观架构进行了优化，包括简化的stem、更深的下采样层和简化的分类器，以及调整整体阶段比。

6.微观设计：

关注于轻量级CNN的微观架构，包括内核大小选择和squeeze-and-excitation（SE）层的放置。

7.网络架构：

开发了多个RepViT变体，包括RepViT-M0.9/M1.0/M1.1/M1.5/M2.3，这些变体在通道数和每个阶段的块数上有所不同。

结论

RepViT作为一种新的轻量级CNN，不仅在性能上超越了现有的轻量级ViTs和CNNs，而且在延迟方面表现出色，特别是在移动设备上。这项工作不仅为轻量级模型的研究提供了一个强有力的基线，而且激发了对边缘部署轻量级模型的进一步研究。

CVPR2024论文合集链接：