具有HiLo注意力的快速视觉Transformer

摘要

https://arxiv.org/pdf/2205.13213
视觉Transformer（ViTs）在计算机视觉领域引发了最新且最重要的突破。其高效设计大多以计算复杂度的间接指标，即浮点运算数（FLOPs）为指导，然而，该指标与吞吐量等直接指标之间存在明显差距。因此，我们建议使用目标平台上的直接速度评估作为高效ViTs的设计原则。特别是，我们引入了一种简单且有效的ViT——LITv2，在各种不同模型尺寸下，LITv2均以更快的速度优于现有的最先进方法。LITv2的核心是一种新颖的自注意力机制，我们称之为HiLo。HiLo的灵感来源于以下见解：图像中的高频部分捕捉局部精细细节，而低频部分关注全局结构，然而，多头自注意力层忽略了不同频率特征。因此，我们提出在注意力层中将高频/低频模式分离，即将头部分成两组，其中一组通过每个局部窗口内的自注意力编码高频，另一组通过对每个窗口和输入特征图中每个查询位置的平均池化低频键和值执行全局注意力来编码低频。得益于两组的高效设计，我们通过全面对比GPU和CPU上的FLOPs、速度和内存消耗，证明了HiLo优于现有的注意力机制。例如，在CPU上，HiLo比空间降维注意力快