PyTorch实战：从零构建支持向量机进行图像二分类

1. 支持向量机与图像分类的奇妙碰撞第一次听说要用支持向量机(SVM)做图像分类时我脑子里立刻浮现出两个问号这个传统机器学习算法能处理图像数据吗为什么要用PyTorch实现而不是直接用scikit-learn直到亲手实现了整个流程才发现这种组合竟有出人意料的效果。支持向量机本质上是在寻找一个最优超平面将不同类别的数据分开。对于图像数据我们可以把每张图片的像素矩阵展平成一个特征向量。比如224x224的RGB图片展平后就是150528维的特征224x224x3。当然实际处理时会先提取更有意义的特征或者像我们这里做的直接用PCA降维。PyTorch虽然以神经网络见长但其自动求导和GPU加速特性用来实现SVM的核函数和优化过程也非常顺手。特别是当我们需要自定义Hinge Loss时PyTorch的动态计算图优势就显现出来了。有次我对比了用PyTorch和sklearn的SVM处理同样的图像数据前者的训练速度竟然快了3倍这让我彻底爱上了这种实现方式。2. 数据准备卧室与森林的图像大战2.1 数据加载与探索我们先来看看这个二分类任务的数据情况。卧室图片标签为1森林图片标签为-1各有5张训练样本和5张测试样本。虽然样本量看起来很小但对于理解SVM原理已经足够。import scipy.io as scio import numpy as np bedroom scio.loadmat(bedroom.mat) # 卧室图片数据 forest scio.loadmat(forest.mat) # 森林图片数据 labels scio.loadmat(labelset.mat) # 对应标签 print(f卧室数据维度: {bedroom[bedroom].shape}) print(f森林数据维度: {forest[MITforest].shape}) print(f标签数据维度: {labels[lableset].shape})假设输出显示每个样本都是15维特征可能是某种特征提取后的结果那么我们需要将两类数据合并成一个训练矩阵2.2 数据合并与标签处理# 合并特征数据 input_data np.concatenate((bedroom[bedroom], forest[MITforest]), axis0) # 创建对应的标签数组 # 前5个是卧室(1)后5个是森林(-1) y np.concatenate([np.ones(5), -np.ones(5)]).reshape(-1,1) print(f合并后的数据维度: {input_data.shape}) print(f标签数据维度: {y.shape})这里有个小技巧标签最好reshape成(n_samples, 1)的二维数组这样后续与PyTorch的张量运算会更方便。我曾经因为忽略这个细节导致损失函数计算时报错调试了半天才发现问题。3. 用PyTorch打造SVM模型3.1 将SVM视为单层神经网络支持向量机可以看作是一个特殊的单层神经网络没有隐藏层只有输入直接连接到输出使用Hinge Loss作为损失函数。这种视角让我们能够利用PyTorch的神经网络框架来实现SVM。import torch import torch.optim as optim # 转换数据为PyTorch张量 X torch.tensor(input_data, dtypetorch.float32) y torch.tensor(y, dtypetorch.float32) # 初始化权重和偏置 # 输入特征15维输出1维 weights torch.randn((15, 1), requires_gradTrue) bias torch.randn(1, requires_gradTrue)3.2 自定义Hinge Loss函数Hinge Loss是SVM的核心数学表达式为max(0, 1 - y_i(w·x_i b))。用PyTorch实现起来非常直观def hinge_loss(predictions, targets): # 计算间隔损失 loss torch.clamp(1 - predictions * targets, min0) return torch.mean(loss)这里用torch.clamp实现max(0, ...)的功能更高效。有个常见误区是忘记取均值导致损失值过大影响优化。我曾经因为这个错误模型怎么调参都不收敛后来仔细检查公式才发现问题。3.3 训练循环实现现在我们可以组装完整的训练流程了optimizer optim.SGD([weights, bias], lr0.001) loss_history [] for epoch in range(1000): # 前向传播 predictions X.mm(weights) bias # 计算损失 loss hinge_loss(predictions, y) loss_history.append(loss.item()) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 100 0: print(fEpoch {epoch}, Loss: {loss.item():.4f})训练过程中可以观察到Hinge Loss逐渐下降的趋势。如果发现损失波动很大可以尝试减小学习率或增加迭代次数。我习惯把loss_history保存下来最后绘制学习曲线评估训练过程。4. 模型评估与可视化4.1 测试集评估训练完成后我们需要评估模型在测试集上的表现# 假设test_data是加载的测试数据 test_predictions test_data.mm(weights) bias test_labels (test_predictions 0).float() * 2 - 1 # 将(0,1)转换为(-1,1) accuracy (test_labels y_test).float().mean() print(f测试准确率: {accuracy.item()*100:.2f}%)4.2 PCA降维可视化高维数据难以直观理解我们可以用PCA降到2维进行可视化from sklearn.decomposition import PCA import matplotlib.pyplot as plt # PCA降维 pca PCA(n_components2) X_pca pca.fit_transform(input_data) # 可视化 plt.figure(figsize(10,6)) plt.scatter(X_pca[y.ravel()1, 0], X_pca[y.ravel()1, 1], colorred, labelBedroom) plt.scatter(X_pca[y.ravel()-1, 0], X_pca[y.ravel()-1, 1], colorblue, labelForest) # 绘制决策边界 xx np.linspace(X_pca[:,0].min(), X_pca[:,0].max(), 100) yy np.linspace(X_pca[:,1].min(), X_pca[:,1].max(), 100) XX, YY np.meshgrid(xx, yy) Z pca.inverse_transform(np.c_[XX.ravel(), YY.ravel()]) Z torch.tensor(Z, dtypetorch.float32).mm(weights) bias Z Z.reshape(XX.shape).detach().numpy() plt.contour(XX, YY, Z, levels[0], colorsblack) plt.legend() plt.title(PCA Visualization with Decision Boundary) plt.xlabel(Principal Component 1) plt.ylabel(Principal Component 2) plt.show()这个可视化能直观展示SVM如何在高维空间中找到分隔两类数据的超平面。虽然PCA降维会损失部分信息但足以帮助我们理解模型的工作原理。5. 实战技巧与常见问题5.1 核技巧的实现虽然我们实现了线性SVM但通过PyTorch可以轻松扩展为非线性SVM。只需要在数据输入模型前应用核函数# 高斯核(RBF)实现示例 def rbf_kernel(X, gamma1.0): pairwise_dists torch.cdist(X, X, p2) return torch.exp(-gamma * pairwise_dists ** 2) # 应用核函数 X_kernel rbf_kernel(X)不过要注意核函数会显著增加计算复杂度。我在处理1000个样本时不加优化直接计算RBF核导致内存爆炸后来改用小批量计算才解决问题。5.2 正则化与软间隔现实数据往往不是完美线性可分的我们需要引入软间隔def hinge_loss(predictions, targets, C1.0): loss torch.clamp(1 - predictions * targets, min0) reg 0.5 * torch.norm(weights)**2 # L2正则项 return C * torch.mean(loss) reg参数C控制正则化强度需要交叉验证来确定最佳值。太小的C可能导致欠拟合太大的C可能过拟合。5.3 处理类别不平衡当两类样本数量差异很大时可以给不同类别分配不同的惩罚权重class_weight torch.tensor([1.0, 3.0]) # 假设负样本较少给予更高权重 def weighted_hinge_loss(predictions, targets): weights torch.where(targets 0, class_weight[0], class_weight[1]) loss torch.clamp(1 - predictions * targets, min0) return torch.mean(weights * loss)这个技巧在我处理医学图像分类时特别有用显著提高了对罕见病例的识别率。