关于单项梯度冻结小记

单项权重冻结（Partial Weight Freezing）详解

单项权重冻结（Partial Weight Freezing） 是深度学习模型训练中的一种技巧，指的是在训练过程中，只冻结（固定）部分网络权重，而让其他部分继续更新。这种方法在迁移学习（Transfer Learning）、模型微调（Fine-tuning） 和 多任务学习（Multi-task Learning） 中尤为重要。

---

1. 为什么要进行单项权重冻结？

在深度学习训练过程中，完全训练一个深度神经网络需要大量的数据和计算资源。而单项权重冻结的主要目的是：

1. 减少计算量：冻结部分层的参数，减少梯度计算，加速训练。
2. 防止过拟合：冻结预训练层，避免模型因小数据集过度拟合。
3. 保留预训练知识：冻结低层特征（如边缘、纹理），只微调高层任务相关的特征。
4. 实现迁移学习：从大规模数据训练的模型迁移知识到新任务，而不改变基础特征提取层。

---

2. 单项权重冻结的工作原理

单项权重冻结的关键在于梯度的计算和更新：

• 冻结的参数：其梯度设为 0，即在反向传播时不会更新。
• 未冻结的参数：继续进行正常的梯度更新。

在 PyTorch 中，冻结权重的典型实现方式：

for param in model.features.parameters():param.requires_grad = False  # 冻结部分层的参数

这样，在反向传播计算梯度时，这些参数不会被更新。

---

3. 单项权重冻结的不同策略

(1) 冻结底层特征（低级层冻结，高级层可训练）

适用场景：迁移学习、微调（如从 ImageNet 预训练模型迁移到小型数据集）

示例（PyTorch）：

import torchvision.models as models
import torch.nn as nn# 加载预训练模型（以 ResNet50 为例）
model = models.resnet50(pretrained=True)# 冻结前面所有的卷积层
for param in model.conv1.parameters():param.requires_grad = False
for param in model.layer1.parameters():param.requires_grad = False
for param in model.layer2.parameters():param.requires_grad = False# 修改全连接层，使其适应新的任务
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 10)  # 例如输出10类

---

(2) 仅冻结部分权重（Selective Freezing）

适用场景：多任务学习、特定层微调（如只调整 BatchNorm 参数）

示例（PyTorch）：

# 冻结 ResNet50 的所有层，但保持 BatchNorm 可训练
for name, param in model.named_parameters():if "bn" not in name:  # 只让 BatchNorm 层可训练param.requires_grad = False

---

(3) 分阶段解冻（Progressive Unfreezing）

适用场景：逐步调整预训练模型，使其适应新任务

示例（PyTorch）：

# 第 1 阶段：冻结所有层，仅训练全连接层
for param in model.parameters():param.requires_grad = False
for param in model.fc.parameters():param.requires_grad = True# 第 2 阶段：解冻 ResNet layer4
for param in model.layer4.parameters():param.requires_grad = True# 第 3 阶段：解冻所有层，进行全局微调
for param in model.parameters():param.requires_grad = True

---

4. 代码示例：完整的单项权重冻结训练流程

import torch
import torchvision.models as models
import torch.nn as nn
import torch.optim as optim# 1. 加载预训练模型
model = models.resnet50(pretrained=True)# 2. 冻结 ResNet 的前几层（conv1, layer1, layer2）
for param in model.conv1.parameters():param.requires_grad = False
for param in model.layer1.parameters():param.requires_grad = False
for param in model.layer2.parameters():param.requires_grad = False# 3. 修改分类头（假设目标任务有 10 类）
num_features = model.fc.in_features
model.fc = nn.Linear(num_features, 10)# 4. 定义损失函数和优化器（仅优化可训练参数）
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=1e-4)# 5. 训练循环（示意）
for epoch in range(10):for images, labels in train_loader:optimizer.zero_grad()outputs = model(images)loss = criterion(outputs, labels)loss.backward()optimizer.step()

---

5. 总结

• 单项权重冻结是指只冻结部分层的参数，而让其他层继续训练，常用于迁移学习和微调。

• 常见策略：

  1. 冻结低级层，微调高级层（适用于迁移学习）

  2. 仅解冻 BatchNorm 层（适用于分布变化）

  3. 分阶段解冻（从只训练全连接层到全局微调）

• 代码实现主要通过 requires_grad = False 控制梯度计算，确保冻结的层不更新参数。

最后煮啵还想说，单项梯度冻结和迁移学习有不小的渊源，煮啵会努力想想该如何解释清楚这件事！