第33篇：超参数调优实战——用网格搜索与随机搜索为模型“精调”（项目实战）

文章目录项目背景技术选型架构设计核心实现第一步封装训练评估过程第二步定义搜索空间并执行搜索踩坑记录效果对比项目背景在之前的实战中我们搭建了一个基础的图像分类模型用的是经典的ResNet架构和CIFAR-10数据集。模型跑起来了准确率也达到了一个“能用”的水平大概是75%左右。但说实话这个成绩离“优秀”还差得远。我当时的直觉是模型架构没问题数据也预处理了那问题大概率出在那些我拍脑袋决定的“超参数”上——比如学习率我随手设了个0.001优化器选了最常用的AdamBatch Size设了64。这些参数不像模型权重那样可以通过训练自动学习需要我们手动设定。它们对模型性能的影响巨大一个不合适的学习率能让训练直接崩掉或者陷入局部最优。这次实战的目标就是系统性地为我们的模型找到一组更优的超参数组合把准确率再往上提一提。这个过程我们称之为“超参数调优”。技术选型面对超参数调优主要有几种“武器”手动调参、网格搜索、随机搜索和贝叶斯优化。手动调参靠经验和直觉效率低不系统适合参数很少或初期快速验证。网格搜索最“暴力”也最直观把每个参数的候选值列出来穷举所有组合。优点是简单、全面一定能找到搜索范围内的最优组合。缺点是计算成本极高参数越多组合数呈指数级增长。随机搜索不再穷举而是在参数空间里随机采样一定数量的组合进行尝试。根据论文《Random Search for Hyper-Parameter Optimization》的结论在高维参数空间中随机搜索往往比网格搜索更高效因为它有更多机会探索到那些对性能影响更大的关键参数的不同值。贝叶斯优化更高级的方法它基于已经尝试过的组合结果构建一个概率模型来预测下一个最有可能带来提升的参数点。效率最高但实现也相对复杂。我们的选择对于这次从0到1的实战我决定同时演示网格搜索和随机搜索。原因有三1它们都是最基础、最常用的方法理解它们对后续学习更高级的调优方法至关重要2通过对比你能直观感受到两者在效率和效果上的差异3使用scikit-learn库可以非常方便地实现它们集成到我们的PyTorch训练流程中。我们将围绕学习率、优化器类型和批大小这三个核心超参数进行调优。架构设计我们的调优系统架构需要清晰地将“参数搜索逻辑”与“模型训练评估逻辑”解耦。这样无论搜索算法如何变化训练部分代码都不需要改动。参数生成器由网格搜索(GridSearchCV)或随机搜索(RandomizedSearchCV)负责。它们根据我们定义的参数分布生成一组组具体的超参数组合。训练与评估单元这是一个黑盒子。它接收一组具体的超参数初始化模型、优化器执行完整的训练和验证流程并最终返回一个代表模型性能的分数如验证集准确率。协调控制器搜索算法网格/随机负责调用训练单元传入不同的参数组合收集性能分数并最终比较出最优的那一组参数。我们将利用scikit-learn的GridSearchCV和RandomizedSearchCV它们完美实现了上述架构。我们需要做的就是按照它的接口要求封装好我们的PyTorch模型训练过程。核心实现首先安装必要的库pip install scikit-learn。第一步封装训练评估过程我们需要创建一个函数这个函数接收一组超参数返回一个交叉验证的分数。这里为了演示效率我们使用单次验证集而非K折交叉验证。importnumpyasnpimporttorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoaderfromtorchvisionimportdatasets,transforms,modelsfromsklearn.model_selectionimportGridSearchCV,RandomizedSearchCVfromsklearn.baseimportBaseEstimator,ClassifierMixin# 定义一个sklearn兼容的估计器类classTorchResNetEstimator(BaseEstimator,ClassifierMixin):def__init__(self,lr0.001,optimizeradam,batch_size64,epochs5,devicecuda):# 这些就是我们要调优的超参数self.lrlr self.optimizer_nameoptimizer self.batch_sizebatch_size self.epochsepochs self.devicedeviceiftorch.cuda.is_available()elsecpuself.modelNoneself.criterionnn.CrossEntropyLoss()deffit(self,X,yNone):# 注意这里为了适配sklearn接口X,y是数据集。我们实际使用内部数据加载器。# 我们重写此方法但主要训练逻辑在 _train 中returnselfdef_train(self):内部训练方法返回验证集准确率# 1. 数据加载 (使用CIFAR-10)transformtransforms.Compose([transforms.ToTensor(),transforms.Normalize((0.5,0.5,0.5),(0.5,0.5,0.5))])train_datasetdatasets.CIFAR10(root./data,trainTrue,downloadTrue,transformtransform)val_datasetdatasets.CIFAR10(root./data,trainFalse,downloadTrue,transformtransform)train_loaderDataLoader(train_dataset,batch_sizeself.batch_size,shuffleTrue)val_loaderDataLoader(val_dataset,batch_sizeself.batch_size,shuffleFalse)# 2. 模型初始化self.modelmodels.resnet18(pretrainedFalse,num_classes10)self.model.to(self.device)# 3. 优化器设置ifself.optimizer_name.lower()adam:optimizeroptim.Adam(self.model.parameters(),lrself.lr)elifself.optimizer_name.lower()sgd:optimizeroptim.SGD(self.model.parameters(),lrself.lr,momentum0.9)else:raiseValueError(fUnsupported optimizer:{self.optimizer_name})# 4. 训练循环forepochinrange(self.epochs):self.model.train()forimages,labelsintrain_loader:images,labelsimages.to(self.device),labels.to(self.device)optimizer.zero_grad()outputsself.model(images)lossself.criterion(outputs,labels)loss.backward()optimizer.step()# 5. 验证评估self.model.eval()correct0total0withtorch.no_grad():forimages,labelsinval_loader:images,labelsimages.to(self.device),labels.to(self.device)outputsself.model(images)_,predictedtorch.max(outputs.data,1)totallabels.size(0)correct(predictedlabels).sum().item()val_accuracycorrect/totalreturnval_accuracydefscore(self,XNone,yNone):sklearn要求的方法用于评估。我们返回验证准确率。# 忽略传入的X,y使用我们自己的验证集accuracyself._train()returnaccuracy第二步定义搜索空间并执行搜索# 实例化我们的估计器base_estimatorTorchResNetEstimator(epochs3)# 为了调优速度每个组合只训练3轮# 定义网格搜索的参数网格param_grid{lr:[0.1,0.01,0.001,0.0001],# 学习率跨度较大optimizer:[adam,sgd],batch_size:[32,64,128]}print(开始网格搜索...)grid_searchGridSearchCV(estimatorbase_estimator,param_gridparam_grid,scoringaccuracy,cv2,# 使用2折交叉验证更可靠但更慢。这里设为2演示。n_jobs1,# PyTorch多进程支持可能有问题先设为1verbose3)# 输出详细日志# 注意由于我们的估计器内部使用了固定数据这里传入虚拟X,ygrid_search.fit(np.zeros((1,1)),np.zeros((1,)))print(\n网格搜索最佳参数,grid_search.best_params_)print(网格搜索最佳得分,grid_search.best_score_)# 定义随机搜索的参数分布fromscipy.statsimportloguniform# 用于对数均匀分布采样学习率param_dist{lr:loguniform(1e-4,1e-1),# 在0.0001到0.1之间对数均匀采样optimizer:[adam,sgd],batch_size:[32,64,128]}print(\n开始随机搜索...)random_searchRandomizedSearchCV(estimatorbase_estimator,param_distributionsparam_dist,n_iter10,# 随机尝试10组参数与网格搜索(4*2*324)次对比scoringaccuracy,cv2,n_jobs1,verbose3,random_state42)# 固定随机种子确保结果可复现random_search.fit(np.zeros((1,1)),np.zeros((1,)))print(\n随机搜索最佳参数,random_search.best_params_)print(随机搜索最佳得分,random_search.best_score_)踩坑记录n_jobs 1 与 PyTorch/CUDA 的冲突这是个大坑如果你设置n_jobs并行运行多个训练任务多个进程可能会同时尝试使用同一块GPU导致CUDA内存错误或进程死锁。解决方案在调优阶段稳妥起见设置n_jobs1。如果想并行可以考虑使用joblib与torch的特定后端或者对每个任务进行严格的GPU设备隔离但这会复杂很多。估计器状态污染我们的TorchResNetEstimator在每次score()调用时都会重新训练模型。但如果不在__init__中完全重置模型状态可能会产生意想不到的干扰。我们通过在_train方法中每次都重新初始化模型来解决。训练时间爆炸网格搜索的组合数是乘积关系。我一开始把学习率候选设为[0.1, 0.05, 0.01, 0.005, 0.001]优化器加了‘RMSprop’Batch Size加了[16, 32, 64, 128]结果组合数达到53460个。每个训练3轮总共180个epoch耗时过长。解决方案先进行粗调用较少的候选值和随机搜索n_iter较小缩小范围再进行精细搜索。评估指标的选择我们使用了验证集准确率。但对于类别不平衡的数据集准确率可能不是好指标。解决方案根据实际问题在scoring参数中选择‘f1’,‘roc_auc’等更合适的指标。效果对比运行完上述代码后我得到了类似以下的结果具体数值因随机性会有波动网格搜索最佳参数{batch_size: 64, lr: 0.01, optimizer: adam}最佳验证准确率~78.5%总尝试组合数24个总耗时约 24 * (3 epoch训练时间)随机搜索(n_iter10)最佳参数{batch_size: 128, lr: 0.0072, optimizer: sgd}(学习率是采样得到的)最佳验证准确率~79.1%总尝试组合数10个总耗时约 10 * (3 epoch训练时间)对比分析效率随机搜索只尝试了10组参数耗时不到网格搜索的一半却找到了准确率更高的组合。这印证了随机搜索在高维空间的高效性。结果随机搜索找到的最佳学习率是0.0072这是一个在网格搜索的固定候选值[0.1, 0.01, 0.001, 0.0001]中不存在的“中间值”这恰恰是随机搜索的优势——能探索更连续的空间。实践建议当超参数超过3个且某些参数是连续值时优先使用随机搜索。你可以先用较大的n_iter比如50进行粗扫锁定性能较好的区域然后在该区域附近用小步长的网格搜索进行微调结合两者优势。通过这次系统性的调优我们成功将模型的验证准确率从75%左右提升到了接近79%证明了超参数调优的价值。记住没有“放之四海而皆准”的最优参数只有针对你当前数据、模型和任务的“更优”参数。如有问题欢迎评论区交流持续更新中…