OrthoNets：正交信道注意网络

摘要

链接：https://arxiv.org/pdf/2311.03071v2.pdf
设计有效的通道注意力机制要求人们找到一种有损压缩方法，以实现最佳特征表示。尽管该领域近年来取得了进展，但仍然存在一个未解决的问题。FcaNet，即当前最先进的通道注意力机制，试图通过使用离散余弦变换（DCTs）找到这种信息丰富的压缩方法。FcaNet的一个缺点是DCT频率没有自然的选择。为了解决这个问题，FcaNet在ImageNet上实验以找到最佳频率。我们假设频率的选择只起辅助作用，注意力过滤器有效性的主要驱动力是DCT核的正交性。为了测试这个假设，我们使用随机初始化的正交滤波器构建了一个注意力机制。将此机制集成到ResNet中，我们创建了OrthoNet。我们将OrthoNet与FcaNet（和其他注意力机制）在Birds、MS-COCO和Places356上进行比较，并显示出优越的性能。在ImageNet数据集上，我们的方法与当前最先进的技术竞争或超越了当前最先进的技术。我们的结果表明，最佳滤波器的选择是难以捉摸的，并且可以通过足够数量的正交滤波器实现泛化。我们进一步研究了实施通道注意力的其他一般原则，例如它在网络中的位置和通道分组。我们的代码在&#