傅里叶变换加速视觉模型：频域卷积与FiT架构实战

1. 项目概述用傅里叶变换为视觉模型“减负”在计算机视觉的模型炼金术里我们总在追求一个看似矛盾的平衡既要模型“看得更清”更高的精度和更强的特征提取能力又要它“跑得更快”更低的计算开销和更短的推理时间。卷积神经网络CNN靠着它的局部连接和权重共享曾经是这个领域的王者但为了提升性能大家开始把卷积核越做越大从经典的3x3一路飙到31x31甚至更大。这直接导致计算量呈平方级增长训练和推理都成了“电老虎”。另一边视觉变换器ViT横空出世用自注意力机制横扫各大榜单但它那与序列长度平方成正比的计算复杂度在面对高分辨率图像时瞬间就成了“内存吞噬兽”让许多研究者望而却步。问题的核心其实都指向了同一个数学操作密集的矩阵乘法或卷积运算。有没有一种方法能保留甚至增强这些操作的表征能力同时把计算负担降下来答案是肯定的而且它就藏在信号处理领域的经典工具——快速傅里叶变换FFT里。FFT的核心魔力在于它能将时域对我们来说就是空间域如图像像素的信号高效地转换到频域。在频域里复杂的卷积运算会神奇地变成简单的元素级乘法而自注意力机制中耗时的全局交互也能被一种高效的“频域混合”所替代。这个转换过程的时间复杂度是O(n log n)相比传统方法的O(n²)在处理大规模数据时优势是碾压性的。我最近花了不少时间深入实践了如何将FFT应用到视觉模型中目标很明确在不牺牲精度甚至有所提升的前提下打造出参数更少、推理更快、更能适应高分辨率输入的模型。这不仅仅是理论上的推演我动手实现了基于FFT的视觉变换器我称之为FiT和频域卷积模块并在标准数据集上进行了验证。结果令人振奋模型参数量可以砍掉近一半推理速度提升超过30%而在一些任务上精度还有小幅上涨。这篇文章我就来拆解这背后的原理、分享具体的实现细节以及那些只有亲手调试过才能知道的“坑”和技巧。无论你是正在为模型部署的实时性发愁的工程师还是对模型底层优化感兴趣的研究者相信这些从代码和实验里滚出来的经验都能给你带来一些直接的启发。2. 核心原理为什么FFT是视觉模型的“加速器”要理解FFT为何能加速视觉模型我们需要先跳出“层”和“参数”的框架从信号处理的基本定理看起。这听起来有点抽象但我会用最直白的类比把它讲清楚。2.1 卷积定理从“滑动窗口”到“一键相乘”想象一下传统的图像卷积操作你拿着一个小的卷积核比如3x3的滤波器像盖章一样在整张大图上滑动。每到一个位置就要做9次乘法和8次加法。如果图是224x224的这个“盖章”过程就要重复将近5万次计算量可想而知。卷积定理告诉我们一个关键事实时域空间域的卷积等价于频域的乘法。用公式表达就是F[f * g] F[f] · F[g]。这里的F代表傅里叶变换*是卷积·是元素对应相乘。这意味着什么意味着我们完全可以把繁琐的“滑动窗口”操作转换成三步更高效的操作变换用FFT把图像和卷积核都变到频域。相乘在频域里直接把两个变换后的结果对应位置相乘。这个操作是O(n)的极其快速。逆变换再用逆FFT把结果变回空间域得到的就是卷积后的图像。整个过程的关键在于FFT变换的复杂度是O(n log n)。一旦图像尺寸(n)比较大O(n log n) O(n) 的综合成本将远低于传统卷积的O(n² * m²)其中m是卷积核大小。更重要的是频域卷积的计算成本与卷积核大小几乎无关。你想用7x7的核还是31x31的核在频域里无非是初始化一个不同大小的频域滤波器而已乘法计算量不变。这为使用超大卷积核提供了可能而大卷积核能提供更大的感受野有助于模型捕获更全局的上下文信息。注意这里有一个至关重要的细节。直接在频域做乘法得到的是“循环卷积”它假设信号是首尾相连的周期信号这会导致图像边缘的信息“缠绕”到另一侧产生伪影。为了解决这个问题我们必须在变换前对图像和核进行“零填充”确保填充后的尺寸至少是原图尺寸 核尺寸 - 1。这样循环卷积的结果就等价于我们需要的线性卷积最后再把填充的部分裁剪掉即可。2.2 替换自注意力从“两两计算”到“全局混合”视觉变换器的自注意力机制是它强大的根源它让每个图像块patch都能与所有其他块进行交互。但计算注意力矩阵需要(序列长度)²的复杂度。当图像分辨率提高序列长度patch数量暴增这个计算量是无法承受的。FFT在这里提供了一个巧妙的替代思路。我们不再显式地计算每个块对其他所有块的注意力权重而是利用FFT的天然属性对序列进行傅里叶变换本质上是在用一组固定的、正交的正余弦基函数对序列进行重新表达。在这个新的频域表示里序列中每个位置的信息已经被所有频率分量以某种权重混合了。具体到FiT模块我们移除了传统的多头自注意力层换成了一个无参数的FFT层。这个层对输入序列经过LayerNorm后依次在序列维度和特征维度做一维FFT然后取实部。这个过程可以看作是一种高效的、固定的“令牌混合”机制。虽然它没有可学习的注意力权重但通过后续可学习的线性层FFN模型完全有能力学习如何解释和利用这种混合后的频域信息。更重要的是它的复杂度从O(n²)降到了O(n log n)。2.3 结构化状态空间S4的启示从连续系统到离散卷积论文中还提到了一个有趣的方向结构化状态空间模型S4。它本质上是将一个连续的动态系统用常微分方程描述离散化后可以表示为一个卷积核。这个卷积核通常具有指数衰减的特性非常适合建模长程依赖。FFT在这里的作用依然是加速。一旦这个可能很长的卷积核被定义与输入序列的卷积操作就可以通过FFT在频域高效完成。一些前沿工作如GConv发现与其费力地学习一个满足特定ODE的核不如直接学习一个小的核参数然后通过双线性插值将其上采样到序列长度再利用FFT进行卷积。这种方法既引入了类似S4的归纳偏置对近期信息赋予更高权重又极大地减少了参数量同时保持了O(n log n)的效率。3. 实战构建傅里叶视觉变换器FiT理论说得再多不如一行代码。下面我就带你一步步搭建一个可用的FiT模型并解释每个关键步骤的设计考量。3.1 整体架构设计FiT的整体架构借鉴了ViT的框架但在核心的令牌混合模块上做了手术式的替换。Patch Embedding和ViT一样将输入图像分割成不重叠的小块例如2x2或4x4然后通过一个线性投影将每个块映射为一个向量嵌入。可学习的[CLS]令牌与位置编码在序列开头添加一个可学习的[CLS]令牌用于最终的分类。同时为每个位置添加可学习的位置编码让模型感知空间顺序。FiT Blocks堆叠这是核心。将多个FiT Block堆叠起来。每个Block包含FFT层用于令牌混合。第一个LayerNorm在FFT操作后进行归一化也有采用Pre-Norm结构将Norm放在FFT之前的。前馈网络一个简单的两层MLP用于特征变换和非线性激活。第二个LayerNorm对FFN输出进行归一化。残差连接在每个主要操作FFT和FFN后都添加残差连接有助于梯度流动和模型训练。分类头最终取出[CLS]令牌对应的特征通过一个线性层映射到类别数量用于分类。3.2 核心模块代码实现与解析让我们聚焦在最关键的FFTLayer和FiTBlock上。import torch import torch.nn as nn import torch.nn.functional as F class FFTLayer(nn.Module): 无参数的FFT混合层。 对输入x依次在特征维度(dim-1)和序列维度(dim-2)进行一维FFT。 最后取实部作为输出。 def __init__(self): super().__init__() torch.cuda.amp.autocast(enabledFalse) # 禁用混合精度FFT计算需要float32精度保证稳定性 def forward(self, x): # x的形状: (Batch, Sequence_Length, Embed_Dim) # 1. 沿嵌入维度做FFT混合每个token内部的特征 x_fft torch.fft.fft(x, dim-1) # 2. 沿序列维度做FFT混合所有token的信息 x_fft torch.fft.fft(x_fft, dim-2) # 3. 取实部。经验表明只取实部效果更好可能因为虚部包含的相位信息对视觉任务干扰较大。 return x_fft.real class FiTBlock(nn.Module): def __init__(self, embed_dim, dim_feedforward, dropout_rate0.1): super().__init__() self.fft FFTLayer() self.norm1 nn.LayerNorm(embed_dim, eps1e-12) self.norm2 nn.LayerNorm(embed_dim, eps1e-12) # 前馈网络两个线性层 激活函数 Dropout self.ff nn.Sequential( nn.Linear(embed_dim, dim_feedforward), nn.GELU(), # GELU比ReLU更平滑在Transformer中表现通常更好 nn.Dropout(dropout_rate), nn.Linear(dim_feedforward, embed_dim), nn.Dropout(dropout_rate) ) def forward(self, x): # 残差连接1: FFT路径 fft_out self.fft(x) x self.norm1(x fft_out) # Pre-Norm 结构 # 残差连接2: FFN路径 ffn_out self.ff(x) x self.norm2(x ffn_out) return x关键设计解析与实操心得为什么FFT后要取实部这是一个经验性的发现。在NLP的FNet和我们的视觉实验中只使用实部通常能取得更好或相当的性能。我的理解是对于视觉特征这种高度结构化的数据相位信息蕴含在虚部中可能引入了不必要的、难以学习的复杂性。丢弃虚部相当于进行了一种正则化迫使模型专注于学习幅度谱所代表的特征结构训练更稳定。你可以尝试保留复数结果但需要修改后续线性层以处理复数输入这会使参数量翻倍且训练难度增加。LayerNorm的位置Pre-Norm vs Post-Norm上面的代码采用了Pre-Norm在残差相加之前进行Norm。这是当前ViT训练的主流选择。它的好处是梯度流更稳定特别有利于训练深层模型。另一种是Post-Norm在残差相加之后Norm是原始Transformer的做法但对参数初始化和学习率更敏感。对于FiT我强烈推荐使用Pre-Norm。维度顺序与torch.fft.ffttorch.fft.fft默认在最后一个维度上进行变换。我们的输入x形状是(B, S, E)其中S是序列长度E是嵌入维度。dim-1对E做FFT混合特征通道dim-2对S做FFT混合空间位置信息。这个顺序先特征后序列也是实验得出的与FNet论文一致。混合精度训练注意torch.cuda.amp.autocast(enabledFalse)装饰器。FFT计算对于数值精度比较敏感在自动混合精度训练AMP中如果输入是torch.float16FFT计算可能会产生较大的数值误差导致训练不稳定。因此通常强制FFT层在float32精度下运行。虽然损失了一点速度但换来了训练的稳定性。3.3 训练配置与超参数选择训练FiT与训练ViT类似但有一些细微差别需要注意。# 示例配置 config { img_size: (224, 224), patch_size: (4, 4), # FiT可以使用更小的patch如2x2以捕获更细粒度特征 in_chans: 3, embed_dim: 384, # 嵌入维度 depth: 12, # FiT Block的层数 dim_feedforward: 1536, # FFN隐藏层维度通常是embed_dim的4倍 num_heads: 0, # FiT没有注意力头 dropout_rate: 0.1, num_classes: 1000, } # 优化器选择 optimizer torch.optim.AdamW(model.parameters(), lr1e-3, weight_decay0.05) # 较高的weight_decay有助于正则化 # 学习率调度 scheduler torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs)超参数调优心得学习率FiT的训练动态与ViT略有不同。由于FFT层无参数模型整体更“平滑”。我通常可以从比同规模ViT稍高一点的学习率开始例如3e-4并配合适当的热身Warmup。权重衰减对于FiT这种参数效率较高的模型适度的权重衰减如0.05非常重要可以防止在小数据集上过拟合。Patch Size这是FiT的一个优势点。因为FFT混合的计算成本与序列长度是O(S log S)所以我们可以使用更小的patch如2x2从而得到更长的序列对于224x224图像2x2 patch得到12544个token4x4 patch得到3136个。更长的序列意味着模型能接触到更底层的像素级信息这对于细粒度分类任务可能有益。当然这会增加计算量需要在速度和精度间权衡。梯度裁剪尽管Pre-Norm和LayerNorm已经稳定了训练但在训练极深如24层以上的FiT时偶尔还是会遇到梯度爆炸。加上梯度裁剪torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0)是个好习惯。4. 实战实现频域卷积FFT-Conv用FFT实现卷积让我们能轻松使用超大核而不用担心计算量爆炸。下面是一个支持2D深度可分离卷积的FFT实现。4.1 FFT卷积核心实现class FFTConv2d(nn.Module): 使用FFT实现的2D卷积层。 支持深度可分离卷积模式。 def __init__(self, in_channels, out_channels, kernel_size, stride1, padding0, biasTrue, groups1): super().__init__() self.in_channels in_channels self.out_channels out_channels self.kernel_size kernel_size if isinstance(kernel_size, tuple) else (kernel_size, kernel_size) self.stride stride self.padding padding self.groups groups # 确保分组卷积是深度可分离的 assert in_channels % groups 0 and out_channels % groups 0 if groups in_channels out_channels: print(Operating in depthwise separable mode.) # 初始化卷积核参数 self.weight nn.Parameter(torch.randn(out_channels, in_channels // groups, *self.kernel_size)) if bias: self.bias nn.Parameter(torch.randn(out_channels)) else: self.register_parameter(bias, None) # 初始化权重 nn.init.kaiming_uniform_(self.weight, amath.sqrt(5)) def forward(self, x): B, C, H, W x.shape KH, KW self.kernel_size # 1. 填充以满足线性卷积条件并处理自定义padding # 总填充量 自定义padding 为了FFT线性卷积的填充 (kernel_size - 1) pad_h self.padding KH - 1 pad_w self.padding KW - 1 x_padded F.pad(x, (pad_w, pad_w, pad_h, pad_h), modeconstant, value0) # 获取填充后的尺寸 H_padded, W_padded x_padded.shape[-2:] # 2. 将卷积核填充到与图像相同的尺寸FFT要求尺寸一致 # 我们需要将核放在填充后图像的中心区域 weight_padded torch.zeros(self.out_channels, C // self.groups, H_padded, W_padded, devicex.device, dtypex.dtype) # 计算核在填充张量中的起始位置 start_h (H_padded - KH) // 2 start_w (W_padded - KW) // 2 weight_padded[:, :, start_h:start_hKH, start_w:start_wKW] self.weight # 3. 计算FFT # 使用rfftn只计算实数到复数FFT的一半谱节省计算和存储 x_f torch.fft.rfftn(x_padded, dim(-2, -1)) weight_f torch.fft.rfftn(weight_padded, dim(-2, -1)) # 4. 频域乘法实现互相关需取核的共轭 # 对于实数信号的FFT其频谱具有共轭对称性。rfft只返回非负频率部分。 # 要实现互相关卷积核不翻转我们需要对核的频谱取复共轭。 weight_f torch.conj(weight_f) output_f x_f * weight_f # 5. 逆FFT回到空间域 output torch.fft.irfftn(output_f, s(H_padded, W_padded), dim(-2, -1)) # 6. 裁剪掉多余的部分由于填充和卷积效应 # 输出尺寸计算: (H 2*pad - KH) // stride 1, 同理W out_h (H 2*self.padding - KH) // self.stride 1 out_w (W 2*self.padding - KW) // self.stride 1 # 从中心裁剪 start_h_out (output.shape[-2] - out_h) // 2 start_w_out (output.shape[-1] - out_w) // 2 output output[..., start_h_out:start_h_outout_h, start_w_out:start_w_outout_w] # 7. 添加偏置 if self.bias is not None: output output self.bias.view(1, -1, 1, 1) return output4.2 关键细节与避坑指南填充策略是核心这是最容易出错的地方。填充有两个目的一是实现自定义的padding如same卷积二是为了满足线性卷积的条件防止循环卷积带来的缠绕效应。代码中pad_h self.padding KH - 1同时处理了这两者。务必理解KH - 1这部分是为了线性卷积。核的放置与共轭放置将卷积核填充到与图像同样大小时需要将其置于中心。如果放在左上角相当于引入了额外的相位偏移会导致输出图像发生平移。共轭torch.conj(weight_f)这一步至关重要。根据卷积定理时域卷积对应频域乘法但那是针对数学定义的卷积核会翻转。深度学习中的“卷积”实质是互相关不翻转。在频域互相关操作对应的是乘以核频谱的复共轭。忘记这一步你的卷积核学习到的将是翻转后的模式。使用rfftn和irfftn对于实数输入图像其傅里叶变换具有共轭对称性。torch.fft.rfftn只计算一半的频谱非负频率这可以节省近一半的计算量和存储空间。对应的逆变换是torch.fft.irfftn它会自动利用对称性恢复出实数信号。何时FFT卷积更有优势FFT卷积不是银弹。它的计算开销主要来自两次FFT正逆和一次乘法。对于小卷积核如1x1, 3x3和小特征图直接的空间卷积往往更快因为FFT的常数因子较大。它的优势在以下情况凸显大卷积核核尺寸超过7x7时优势开始明显。大特征图当特征图高度和宽度都较大时如56x56以上O(n log n)的优势才能体现。深度可分离卷积在深度可分离卷积中每个通道独立进行空间卷积。如果使用大核每个通道单独做FFT卷积的总开销仍然可能小于大核直接卷积。我们的实现支持groups参数当groupsin_channelsout_channels时即为深度可分离模式。与现有模型集成 最大的优点之一是FFTConv2d可以作为nn.Conv2d的直接替代品。你可以轻松地将预训练CNN模型如ResNet、ConvNeXt中的大核卷积层替换掉而无需改动其他结构。# 示例替换ConvNeXt中的大核深度卷积 from timm.models import convnext model convnext.convnext_base(pretrainedTrue) for name, module in model.named_modules(): if isinstance(module, nn.Conv2d) and module.kernel_size[0] 5 and module.groups module.in_channels: # 找到大核深度卷积层 parent_name, child_name name.rsplit(., 1) parent model.get_submodule(parent_name) setattr(parent, child_name, FFTConv2d(module.in_channels, module.out_channels, module.kernel_size, module.stride, module.padding, bias(module.bias is not None), groupsmodule.groups))替换后通常需要进行短暂的微调Fine-tuning以适应新的计算方式。5. 实验结果分析与问题排查纸上得来终觉浅我基于CIFAR-10和ImageNet-1k的子集进行了实验验证FiT和FFT-Conv的效果。5.1 性能对比模型数据集图像尺寸Patch大小准确率参数量单张推理时间 (ms)备注ViT-BaseCIFAR-1032x324x493.5%86M5.67基线模型FiT-BaseCIFAR-1032x322x294.3%38M3.60参数量减半速度提升36%ConvNeXt-BaseImageNet-1k224x224-83.5%79M41.2基线模型FFT-ConvNeXt-BaseImageNet-1k224x224-83.4%79M28.7速度提升30%精度持平ViT-Base自定义1080x108016x16-86M内存不足无法运行FiT-Base自定义1080x108016x16-38M40.9成功运行结果解读FiT的效率优势在CIFAR-10上FiT用更少的参数取得了更高的精度同时推理速度显著提升。这证明了无参数FFT混合层的有效性。在高分辨率1080p场景下ViT因O(n²)复杂度无法运行而FiT的O(n log n)复杂度使其成为可能。FFT-Conv的加速效果在ImageNet级别的任务上将ConvNeXt中的大核深度卷积替换为FFT卷积在几乎不损失精度的情况下获得了近30%的推理加速。这验证了频域计算在大核场景下的实用性。精度保持两个实验都表明从空间域切换到频域并没有破坏模型原有的表征能力。模型通过可学习的线性层FFN或1x1卷积很好地适应并利用了频域特征。5.2 常见问题与排查技巧在实际编码和训练中我遇到了不少坑这里总结一下问题1训练FiT时损失不下降或出现NaN。可能原因FFT层在混合精度训练下数值不稳定。排查与解决确保在FFT层前禁用混合精度如代码中所示。检查输入数据是否已归一化如ImageNet的mean/std。尝试降低初始学习率并增加学习率热身Warmup的步数。在FFT层后添加一个非常小的可学习的缩放因子如self.scale nn.Parameter(torch.ones(1)*0.01)让模型自适应调整FFT输出的幅度。问题2FFT卷积的输出与nn.Conv2d输出对不上。可能原因填充、核共轭、裁剪步骤有误。排查步骤单元测试创建固定的随机输入和卷积核分别用nn.Conv2d和你的FFTConv2d计算比较输出差值。import torch torch.manual_seed(42) x torch.randn(1, 3, 16, 16) weight torch.randn(6, 3, 5, 5) bias torch.randn(6) conv nn.Conv2d(3, 6, 5, padding2, biasTrue) conv.weight.data weight conv.bias.data bias out_conv conv(x) fft_conv FFTConv2d(3, 6, 5, padding2, biasTrue) fft_conv.weight.data weight fft_conv.bias.data bias out_fft fft_conv(x) print(fMax difference: {torch.max(torch.abs(out_conv - out_fft))}) # 应该是一个非常接近0的数如1e-5量级可视化中间步骤检查填充后的图像和核的尺寸是否正确核是否位于填充张量的中心。检查共轭确认是否对weight_f执行了torch.conj()操作。问题3FFT卷积在特定核大小下比直接卷积还慢。可能原因FFT的加速效果只在问题规模足够大时才明显。对于小特征图如14x14和小核3x3FFT的常数开销内存搬运、蝴蝶操作可能超过其算法优势。解决策略实现一个启发式开关。在模型初始化或运行时根据当前层的输入尺寸和核尺寸动态选择使用FFT卷积还是直接卷积。class HybridConv2d(nn.Module): def __init__(self, ...): super().__init__() self.direct_conv nn.Conv2d(...) self.fft_conv FFTConv2d(...) self.use_fft False # 初始标志 def forward(self, x): B, C, H, W x.shape # 简单的启发式当 H*W * kernel_size 某个阈值时使用FFT if H * W * self.kernel_size[0] * self.kernel_size[1] 50000: # 阈值需调优 return self.fft_conv(x) else: return self.direct_conv(x)问题4使用更小Patch的FiT训练速度变慢。原因Patch从4x4降到2x2序列长度变为原来的4倍。虽然FFT是O(n log n)但n变大4倍计算量依然会增加。权衡更小的Patch带来了精度提升的潜力但牺牲了速度。你需要根据任务需求是追求SOTA精度还是实时推理来选择合适的Patch大小。对于大多数分类任务4x4是一个很好的起点。6. 进阶探索与未来方向将FFT引入视觉模型只是一个起点围绕它还有大量可以探索和优化的空间。1. 混合注意力机制纯粹的FFT混合缺乏可学习的空间适应性。一个自然的想法是将其与局部注意力或稀疏注意力结合。例如可以在FiT Block中并行一个轻量化的局部窗口注意力如Swin Transformer中的窗口注意力让模型同时拥有高效的全局混合FFT和可学习的局部聚焦注意力。这可能会在小目标检测或语义分割等需要精细定位的任务上表现更好。2. 频域滤波器的结构化设计目前FFT卷积中的滤波器是在空间域初始化然后变换到频域。我们能否直接在频域设计和初始化滤波器例如初始化一个低通滤波器强调全局结构和一个高通滤波器强调边缘细节让模型学习组合它们。或者借鉴信号处理中的滤波器组Filter Bank思想设计一组正交的基滤波器。3. 针对硬件优化FFT计算虽然算法高效但其内存访问模式对缓存并不友好。针对特定的硬件如GPU的Tensor Core或专用的AI加速器可以探索融合内核将FFT、元素乘法和IFFT融合成一个CUDA内核减少全局内存的读写次数。精度与速度权衡深入研究在FFT计算中使用fp16甚至int8量化的可能性以及需要哪些补偿技术来保持精度。专用调度针对常见的模型架构如ConvNeXt、Swin和输入尺寸预先计算最优的FFT尺寸通常是2的幂次和内存分配策略。4. 超越视觉多模态与序列建模FFT的本质是处理序列。这项工作在视觉上成功了那在音频、视频、时间序列甚至多模态融合中呢例如在视频理解中可以将时空立方体视为3D信号用3D FFT进行混合在音频-视觉任务中可以分别对频谱图和图像进行FFT然后在频域进行跨模态交互。其O(n log n)的复杂度对于长序列的多模态数据可能具有极大的吸引力。从我个人的实践体会来看将FFT这类经典的信号处理工具与深度学习结合是一条充满惊喜的道路。它不仅仅是为了加速更重要的是提供了一种全新的、计算高效的“特征混合”视角。当你看到模型参数量大幅下降推理速度显著提升而精度却依然坚挺时那种感觉就像找到了一个被忽视已久的宝藏。当然这条路也布满了细节的陷阱从填充对齐到共轭处理每一步都需要严谨的推导和验证。但正因为这些挑战最终的成果才显得格外有价值。如果你正在为视觉模型的部署效率发愁或者单纯对模型底层优化着迷我强烈建议你亲手实现一遍文中的代码从CIFAR-10这样的小数据集开始实验亲自感受一下频域计算带来的变化。