计算机视觉（五）全连接神经网络MLP实战：从理论到代码实现

1. 从线性到非线性为什么我们需要全连接神经网络如果你之前跟着我一起学过线性分类器可能会觉得它挺酷的给一张图片算个分数就能分出是猫是狗。但说实话它的能力也就到这儿了。现实世界里的图片多复杂啊光线、角度、背景稍微一变线性分类器可能就懵了。这就好比你想用一根直线去分开地上的一堆混杂的红色和蓝色弹珠如果它们混在一起这根直线画得再好也总会有分错的。全连接神经网络或者大家更常叫的MLP就是为了解决这个“线性”的局限而生的。它的核心思想很简单用多个“线性分类器”堆叠起来并且在它们之间插入一些“非线性”的开关。这样模型就能学习到非常复杂的、弯弯曲曲的决策边界从而更好地拟合数据。我刚开始接触的时候总喜欢把MLP想象成一个多层的加工流水线。第一层工人神经元先看图片最原始的特征比如某个角落是不是有个亮斑可能是个车灯。第二层工人接收第一层的汇报综合一下判断“这可能是一个车头”。第三层再结合更多信息最终拍板“这是一辆汽车”。每一层工人都在前一层的基础上进行更抽象、更高级的理解。而那个“非线性开关”就是激活函数它决定了工人是否要把自己的发现“兴奋地”汇报给下一层还是“抑制住”不说。没有它不管堆多少层本质上还是在做线性叠加能力并没有提升。所以MLP在计算机视觉里扮演的角色就是一个强大的、可学习的特征提取器分类器。它不再依赖人工设计的特征比如SIFT、HOG而是直接从像素数据中一层层地自动学习出从边缘、纹理到部件、整体的层次化特征表示。这个能力是后来深度学习在视觉领域大放异彩的基础。接下来我们就亲手把这个流水线搭建起来。2. 搭建你的第一个MLP数据、模型与代码光说不练假把式咱们直接上代码。我会用最流行的PyTorch框架因为它对新手特别友好像搭积木一样就能构建网络。我们的任务是用经典的MNIST手写数字数据集教电脑认识0到9。2.1 数据准备让模型“看得懂”图片模型不会直接看图片它只认识数字。所以我们的第一步是把图片变成一堆数字张量并且处理好。import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader # 1. 定义数据预处理管道 transform transforms.Compose([ transforms.ToTensor(), # 把PIL图片或numpy数组转换成PyTorch张量形状从(H, W, C)变为(C, H, W)并归一化像素值到[0, 1] transforms.Normalize((0.1307,), (0.3081,)) # 对单通道图像进行标准化使用MNIST数据集的均值和标准差 ]) # 2. 下载并加载训练集和测试集 train_dataset torchvision.datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset torchvision.datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) # 3. 创建数据加载器 (DataLoader) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) # 训练时打乱顺序很重要 test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse) # 测试时不需要打乱 print(f训练集样本数: {len(train_dataset)}) print(f测试集样本数: {len(test_dataset)}) print(f一个批次的形状: {next(iter(train_loader))[0].shape}) # 输出: torch.Size([64, 1, 28, 28])这里有几个关键点我踩过坑ToTensor()它不仅转换格式还自动把像素值从0-255压缩到0-1之间这对神经网络的稳定训练至关重要。Normalize()标准化。用数据的均值减标准差除目的是让所有特征这里就是每个像素点都处于相似的数值范围通常接近0均值1方差。这能大大加速模型收敛。MNIST的均值0.1307和标准差0.3081是数据集固有的如果你用自己的数据需要先计算出来。Batch Size一次喂给模型多少数据。太小如1则训练不稳定且慢太大如全部数据则内存可能爆炸且可能陷入不好的局部最优。64或128是个不错的起点。Shuffle训练时一定要打乱防止模型学到数据顺序的虚假规律。2.2 模型定义用PyTorch“搭积木”数据准备好了我们来搭建网络结构。MNIST图片是28x28的灰度图拉平后就是784个特征。我们设计一个包含两个隐藏层的网络。import torch.nn as nn import torch.nn.functional as F class SimpleMLP(nn.Module): def __init__(self, input_size784, hidden_size1128, hidden_size264, num_classes10): super(SimpleMLP, self).__init__() # 定义网络层 self.fc1 nn.Linear(input_size, hidden_size1) # 第一全连接层784 - 128 self.fc2 nn.Linear(hidden_size1, hidden_size2) # 第二全连接层128 - 64 self.fc3 nn.Linear(hidden_size2, num_classes) # 输出层64 - 10 (10个数字) # 注意我们没有在这里直接定义激活函数通常在forward里用F.relu def forward(self, x): # x的形状: [batch_size, 1, 28, 28] # 第一步将图片拉平Flatten变成 [batch_size, 784] x x.view(-1, 28*28) # 前向传播 x self.fc1(x) # 线性变换 x F.relu(x) # 非线性激活这是关键 x self.fc2(x) x F.relu(x) # 再次激活 x self.fc3(x) # 最后一层线性输出不需要激活后面接CrossEntropyLoss包含了Softmax return x # 实例化模型 model SimpleMLP() print(model)这个SimpleMLP类就是我们的神经网络蓝图。nn.Linear是核心它做了y Wx b的线性计算。F.relu是我们选择的激活函数它把负数都变成0正数保留。为什么要在forward里写而不是在__init__里定义成层这是一种灵活性的考量对于ReLU这种没有可学习参数的函数两种方式都可以但在forward里写更常见也更灵活。你可以试着改改hidden_size1和hidden_size2感受一下神经元数量越多网络的“容量”越大能拟合更复杂的函数但也更容易过拟合记住训练集但认不出新图片。3. 让模型学习损失、优化与训练循环模型有了但它现在还是个“随机参数生成器”谁也不认识。我们需要定义它怎么判断自己错了损失函数以及如何改正错误优化器。3.1 损失函数与优化器指明方向与步伐对于十分类问题交叉熵损失Cross-Entropy Loss是标准选择。它和Softmax函数是黄金搭档。PyTorch的nn.CrossEntropyLoss已经帮我们把Softmax和交叉熵计算打包好了注意它的输入应该是最后一层线性层的原始输出logits不需要我们手动加Softmax。import torch.optim as optim # 定义损失函数 criterion nn.CrossEntropyLoss() # 内部已包含Softmax # 定义优化器 optimizer optim.Adam(model.parameters(), lr0.001) # 学习率是个超级重要的超参数这里我直接选择了Adam优化器。为什么不用最基础的SGD我实测下来Adam在大多数情况下收敛更快、更稳因为它自适应地调整每个参数的学习率还带有动量。对于新手来说Adam的默认参数lr0.001, betas(0.9, 0.999)往往就能工作得很好省去了很多调参的麻烦。当然如果你想追求极致的性能调优SGD可能上限更高但那属于“炼丹”的范畴了。3.2 训练循环迭代中成长训练就是一个反复迭代的过程前向计算预测 - 计算损失 - 反向传播梯度 - 优化器更新参数。def train(model, device, train_loader, optimizer, criterion, epoch): model.train() # 切换到训练模式影响Dropout、BatchNorm等层的行为 running_loss 0.0 correct 0 total 0 for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) # 1. 梯度清零 optimizer.zero_grad() # 2. 前向传播 output model(data) loss criterion(output, target) # 3. 反向传播 loss.backward() # 4. 参数更新 optimizer.step() # 统计信息 running_loss loss.item() _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() # 每100个batch打印一次 if batch_idx % 100 99: print(fEpoch: {epoch}, Batch: {batch_idx1}, Loss: {running_loss/100:.4f}, Acc: {100.*correct/total:.2f}%) running_loss 0.0 # 返回本轮平均精度 return 100. * correct / total这个循环是深度学习的核心模板务必理解每一步zero_grad()必须的不然梯度会累加相当于一次更新走了好几步方向就乱了。loss.backward()PyTorch的自动求导引擎开始工作从loss这个标量开始沿着计算图反向传播计算出图中每个可学习参数W和b的梯度。optimizer.step()优化器根据计算出的梯度parameter.grad和它自身的算法如Adam更新所有参数。3.3 模型评估看看学得怎么样训练完不能自嗨得用没见过的数据测试集来检验。def test(model, device, test_loader, criterion): model.eval() # 切换到评估模式关闭Dropout固定BatchNorm的统计量 test_loss 0 correct 0 total 0 with torch.no_grad(): # 关闭梯度计算节省内存和计算 for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) test_loss criterion(output, target).item() # 累加损失 _, predicted output.max(1) total target.size(0) correct predicted.eq(target).sum().item() test_loss / len(test_loader.dataset) accuracy 100. * correct / total print(f\n测试集结果: 平均损失: {test_loss:.4f}, 准确率: {correct}/{total} ({accuracy:.2f}%)\n) return accuracy注意model.eval()和torch.no_grad()。前者改变了某些层如Dropout的行为后者是性能优化关键在推理时我们不需要计算和存储梯度这能省下大量显存。4. 核心技巧与深度优化让模型从“能用”到“好用”如果你的模型跑起来了但准确率不高或者训练很慢别急这才是深度学习的常态。下面这些技巧是我实战中觉得最管用的。4.1 权重初始化好的开始是成功的一半千万别小看参数初始值用全0初始化那完了所有神经元学到的都一样对称性无法打破。PyTorch的线性层默认使用一种叫“Kaiming初始化”也叫He初始化的方法特别适合我们后面接的ReLU激活函数。但了解原理很重要# 如果你想手动初始化通常用默认的就好 def init_weights(m): if isinstance(m, nn.Linear): nn.init.kaiming_uniform_(m.weight, nonlinearityrelu) # He初始化 nn.init.constant_(m.bias, 0) # 偏置初始化为0 model.apply(init_weights)Xavier初始化适合Tanh/SigmoidHe初始化适合ReLU系列。核心思想是让每一层输出的方差尽量保持一致避免在前向或反向传播时信号变得太大爆炸或太小消失。4.2 批归一化BatchNorm训练稳定的加速器这是我强烈推荐你加上的一招。把它加在全连接层之后、激活函数之前。class BetterMLP(nn.Module): def __init__(self, input_size784, hidden_size1256, hidden_size2128, num_classes10): super(BetterMLP, self).__init__() self.fc1 nn.Linear(input_size, hidden_size1) self.bn1 nn.BatchNorm1d(hidden_size1) # 批归一化层 self.fc2 nn.Linear(hidden_size1, hidden_size2) self.bn2 nn.BatchNorm1d(hidden_size2) self.fc3 nn.Linear(hidden_size2, num_classes) def forward(self, x): x x.view(-1, 28*28) x self.fc1(x) x self.bn1(x) # 先归一化 x F.relu(x) # 再激活 x self.fc2(x) x self.bn2(x) x F.relu(x) x self.fc3(x) return xBatchNorm做了什么它在一个小批次Batch的数据上对每个神经元的输出进行标准化减均值、除标准差然后缩放平移。这样做有三大好处允许使用更大的学习率输入分布稳定了训练不容易发散。减少对初始化的依赖网络对初始权重的选择不那么敏感了。有一定的正则化效果因为每个批次的均值方差是估计的引入了轻微噪声。加了BatchNorm后你甚至可以把学习率调大一点试试比如从0.001调到0.01训练速度会快很多。4.3 对抗过拟合Dropout与正则化当模型在训练集上表现很好在测试集上却很差时就是过拟合了。MLP因为参数多很容易过拟合。Dropout在训练时随机“丢弃”一部分神经元将其输出置为0。class RegularizedMLP(nn.Module): def __init__(self, input_size784, hidden_size1256, hidden_size2128, num_classes10, dropout_rate0.5): super(RegularizedMLP, self).__init__() self.fc1 nn.Linear(input_size, hidden_size1) self.bn1 nn.BatchNorm1d(hidden_size1) self.dropout1 nn.Dropout(dropout_rate) # Dropout层 self.fc2 nn.Linear(hidden_size1, hidden_size2) self.bn2 nn.BatchNorm1d(hidden_size2) self.dropout2 nn.Dropout(dropout_rate) self.fc3 nn.Linear(hidden_size2, num_classes) def forward(self, x): x x.view(-1, 28*28) x self.fc1(x) x self.bn1(x) x F.relu(x) x self.dropout1(x) # 在激活后应用Dropout x self.fc2(x) x self.bn2(x) x F.relu(x) x self.dropout2(x) x self.fc3(x) return xDropout率通常设在0.2到0.5之间。它强迫网络不能依赖任何单个神经元必须学习到冗余的、鲁棒的特征表示。注意在模型评估model.eval()时Dropout层会自动被关闭。L2权重衰减这其实就是优化器里的一个参数给损失函数加上所有权重平方和的一个惩罚项让权重倾向于取小值模型变得更平滑。# 在定义优化器时通过weight_decay参数实现L2正则化 optimizer optim.Adam(model.parameters(), lr0.001, weight_decay1e-5) # weight_decay就是L2系数一个小经验当使用了BatchNorm和Dropout后weight_decay的值可以设得小一些或者不加也行因为它们本身已经有正则化效果了。4.4 学习率调度动态调整步伐一开始可以大步快跑接近终点时要小步慢走防止错过最低点。学习率调度器就是这个作用。# 使用StepLR每过一定epoch将学习率乘以一个系数 scheduler optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) # 或者使用更平滑的CosineAnnealingLR # scheduler optim.lr_scheduler.CosineAnnealingLR(optimizer, T_maxepochs) # 在每个epoch的训练循环结束后调用一次 scheduler.step()把上面所有技巧组合起来合适的初始化、BatchNorm、Dropout、Adam优化器加上学习率调度你的MLP性能会有质的提升。在我的实验中一个简单的两层MLP在MNIST上达到98%以上的准确率是很容易的。5. 实战演练整合与结果分析让我们把所有的零件组装起来进行一次完整的训练并观察结果。import matplotlib.pyplot as plt device torch.device(cuda if torch.cuda.is_available() else cpu) print(f使用设备: {device}) # 使用我们增强版的模型 model RegularizedMLP(dropout_rate0.3).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr0.001, weight_decay1e-5) scheduler optim.lr_scheduler.StepLR(optimizer, step_size15, gamma0.5) num_epochs 30 train_acc_history [] test_acc_history [] for epoch in range(1, num_epochs 1): train_acc train(model, device, train_loader, optimizer, criterion, epoch) test_acc test(model, device, test_loader, criterion) scheduler.step() # 更新学习率 train_acc_history.append(train_acc) test_acc_history.append(test_acc) # 绘制训练曲线 plt.figure(figsize(10, 5)) plt.subplot(1, 2, 1) plt.plot(range(1, num_epochs1), train_acc_history, labelTrain Acc) plt.plot(range(1, num_epochs1), test_acc_history, labelTest Acc) plt.xlabel(Epoch) plt.ylabel(Accuracy (%)) plt.title(Training and Test Accuracy) plt.legend() plt.grid(True) plt.subplot(1, 2, 2) # 可以再加一个损失曲线图 plt.show()运行这段代码你会看到准确率随着训练轮次Epoch逐渐上升最终趋于平稳。观察训练集和测试集的准确率曲线如果两条线很接近且都高说明模型拟合得很好泛化能力也不错。如果训练集准确率远高于测试集说明过拟合了可能需要加强Dropout或增加weight_decay。如果两条线都很低说明欠拟合可能需要增加网络容量更多层或更多神经元或者训练更久。我建议你多跑几次改变一些参数比如隐藏层大小、Dropout率、学习率亲自感受一下这些“超参数”对模型性能的影响。这个过程没有银弹最好的配置往往来自于对数据和模型的不断实验和理解。MLP虽然是深度学习中最基础的组件但把它吃透了后面学习卷积神经网络CNN和循环神经网络RNN就会轻松很多因为很多训练技巧和思想都是相通的。