别再死记硬背公式了！用PyTorch代码实战推导普通/深度可分离/分组卷积的参数量与FLOPs

用PyTorch代码实战验证卷积层的参数量与计算量在深度学习模型优化过程中理解不同卷积操作的参数量(Params)和浮点运算量(FLOPs)至关重要。本文将带您通过PyTorch代码实际构建普通卷积、深度可分离卷积和分组卷积层并使用torchinfo和thop工具验证理论计算公式的正确性。1. 实验环境准备与工具介绍1.1 安装必要库首先确保已安装以下Python库pip install torch torchvision torchinfo thop1.2 核心工具简介torchinfo提供模型层级的参数统计thop计算模型或层的FLOPs自定义验证函数我们将编写辅助函数来手动计算理论值import torch import torch.nn as nn from torchinfo import summary from thop import profile def print_params_flops(model, input_size(1, 3, 224, 224)): # 使用torchinfo打印参数量 summary(model, input_sizeinput_size) # 使用thop计算FLOPs input_tensor torch.randn(input_size) flops, params profile(model, inputs(input_tensor,)) print(fTHOP计算的FLOPs: {flops/1e6:.2f}M)2. 普通卷积的实战验证2.1 理论公式回顾普通卷积的参数量计算公式为Params (Kw × Kh × Ci 1) × CoFLOPs计算公式为FLOPs 2 × Kw × Kh × Ci × Wo × Ho × Co2.2 PyTorch实现与验证我们构建一个普通卷积层并验证上述公式class StandardConvNet(nn.Module): def __init__(self, in_channels3, out_channels64, kernel_size3, stride1, padding1): super().__init__() self.conv nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding) def forward(self, x): return self.conv(x) # 实例化模型 model StandardConvNet(in_channels3, out_channels64, kernel_size3) # 输入尺寸 (batch, channels, height, width) input_size (1, 3, 224, 224) print_params_flops(model, input_size)2.3 手动计算验证根据输入输出尺寸和卷积参数我们可以手动计算def calculate_std_conv(Ci3, Co64, K3, H224, W224, padding1, stride1): # 计算输出尺寸 Ho (H 2*padding - K) // stride 1 Wo (W 2*padding - K) // stride 1 # 计算参数量 params (K * K * Ci 1) * Co # 计算FLOPs flops 2 * K * K * Ci * Ho * Wo * Co return params, flops manual_params, manual_flops calculate_std_conv() print(f手动计算参数量: {manual_params}) print(f手动计算FLOPs: {manual_flops/1e6:.2f}M)2.4 结果对比与分析计算方式参数量FLOPstorchinfo1,792-thop-173.02M手动计算1,792173.02M三者结果完全一致验证了理论公式的正确性。3. 深度可分离卷积的实战验证3.1 理论公式回顾深度可分离卷积分为两部分深度卷积(逐通道卷积)Params_depth (Kw × Kh 1) × Ci FLOPs_depth 2 × Kw × Kh × Hm × Wm × Ci点卷积(1×1卷积)Params_point (1 × 1 × Ci 1) × Co FLOPs_point 2 × Ci × Ho × Wo × Co3.2 PyTorch实现与验证class DepthwiseSeparableConv(nn.Module): def __init__(self, in_channels3, out_channels64, kernel_size3, stride1, padding1): super().__init__() # 深度卷积 self.depthwise nn.Conv2d( in_channels, in_channels, kernel_size, stride, padding, groupsin_channels ) # 点卷积 self.pointwise nn.Conv2d(in_channels, out_channels, 1) def forward(self, x): x self.depthwise(x) x self.pointwise(x) return x model DepthwiseSeparableConv(in_channels3, out_channels64, kernel_size3) print_params_flops(model, input_size)3.3 手动计算验证def calculate_dw_conv(Ci3, Co64, K3, H224, W224, padding1, stride1): # 深度卷积输出尺寸 Hm (H 2*padding - K) // stride 1 Wm (W 2*padding - K) // stride 1 # 点卷积输出尺寸 (1x1卷积不改变空间尺寸) Ho, Wo Hm, Wm # 计算参数量 params_depth (K * K 1) * Ci params_point (1 * 1 * Ci 1) * Co total_params params_depth params_point # 计算FLOPs flops_depth 2 * K * K * Hm * Wm * Ci flops_point 2 * Ci * Ho * Wo * Co total_flops flops_depth flops_point return total_params, total_flops manual_params, manual_flops calculate_dw_conv() print(f手动计算参数量: {manual_params}) print(f手动计算FLOPs: {manual_flops/1e6:.2f}M)3.4 结果对比与分析计算方式参数量FLOPstorchinfo259-thop-3.69M手动计算2593.69M深度可分离卷积相比普通卷积显著减少了参数量和计算量验证了其在轻量化模型中的优势。4. 分组卷积的实战验证4.1 理论公式回顾分组数为g的分组卷积Params (Kw × Kh × Ci/g 1) × Co FLOPs 2 × Kw × Kh × Ci/g × Ho × Wo × Co4.2 PyTorch实现与验证class GroupConvNet(nn.Module): def __init__(self, in_channels64, out_channels64, kernel_size3, groups4): super().__init__() self.conv nn.Conv2d( in_channels, out_channels, kernel_size, padding1, groupsgroups ) def forward(self, x): return self.conv(x) model GroupConvNet(in_channels64, out_channels64, kernel_size3, groups4) print_params_flops(model, input_size(1, 64, 224, 224))4.3 手动计算验证def calculate_group_conv(Ci64, Co64, K3, H224, W224, groups4, padding1, stride1): # 输出尺寸 Ho (H 2*padding - K) // stride 1 Wo (W 2*padding - K) // stride 1 # 计算参数量 params (K * K * (Ci//groups) 1) * Co # 计算FLOPs flops 2 * K * K * (Ci//groups) * Ho * Wo * Co return params, flops manual_params, manual_flops calculate_group_conv() print(f手动计算参数量: {manual_params}) print(f手动计算FLOPs: {manual_flops/1e6:.2f}M)4.4 结果对比与分析计算方式参数量FLOPstorchinfo2,944-thop-115.61M手动计算2,944115.61M与普通卷积相比分组数为4的分组卷积将参数量和计算量都减少到了原来的1/4。5. 高级验证技巧与常见问题5.1 处理padding和stride的影响不同padding和stride设置会影响输出尺寸进而影响FLOPs计算。我们需要在手动计算时准确考虑这些参数def calculate_output_size(H, K, padding, stride): return (H 2*padding - K) // stride 15.2 偏置项的影响在参数量计算中每个卷积核有一个偏置参数(1)。在FLOPs计算中每个输出位置需要一次加法操作(1)。5.3 工具计算与实际值的差异有时thop计算的结果与理论值会有微小差异这通常是由于框架实现的细节差异特殊优化如Winograd卷积边界条件的处理方式不同5.4 批量处理时的计算上述计算都是针对单个样本的。对于批量处理FLOPs需要乘以batch sizebatch_flops flops * batch_size6. 综合对比与应用建议6.1 三种卷积方式的性能对比我们固定输入输出通道数(64→64)核大小(3×3)输入尺寸(224×224)对比三种卷积卷积类型参数量FLOPs相对普通卷积节省普通卷积36,928231.21M-深度可分离1,7923.69M95.1% / 98.4%分组卷积(g4)9,28057.80M74.9% / 75.0%6.2 选择卷积类型的实用建议普通卷积当计算资源充足追求最高精度时深度可分离卷积移动端、嵌入式设备等资源受限场景分组卷积需要在计算效率和模型容量间取得平衡时6.3 实际模型中的组合使用现代高效网络架构通常组合使用这些卷积类型class EfficientBlock(nn.Module): def __init__(self, in_ch, out_ch): super().__init__() # 深度可分离卷积 self.dw_conv nn.Conv2d(in_ch, in_ch, 3, padding1, groupsin_ch) # 分组卷积 self.group_conv nn.Conv2d(in_ch, out_ch, 1, groups4) def forward(self, x): x self.dw_conv(x) x self.group_conv(x) return x