深度学习/强化学习调参技巧

深度调优策略

1. 学习率调整

• 技巧：学习率是最重要的超参数之一。过大可能导致训练不稳定，过小则收敛速度慢。可以使用学习率衰减（Learning Rate Decay）或自适应学习率方法（如Adam、RMSprop）来动态调整学习率。
• 例子：在训练一个图像分类模型时，初始学习率设置为0.001，使用学习率衰减策略，每经过10个epoch将学习率减少为原来的一半，或者使用Adam优化器自动调整学习率。

2. 批量大小（Batch Size）选择

• 技巧：批量大小影响模型的收敛速度和泛化性能。较大的批量大小可以加速训练，但也可能增加内存消耗；较小的批量大小可能导致训练不稳定。

3. 正则化（Regularization）

• 技巧：正则化方法如L2正则化、Dropout可以防止模型过拟合。Dropout率通常在0.2到0.5之间。
• 例子：在训练一个深度学习模型时，可以在全连接层中添加Dropout层，设置Dropout率为0.3，观察模型在验证集上的表现是否有所提升。

4. 网络架构优化

• 技巧：通过调整网络的层数、每层的神经元数量、激活函数等来优化模型。常见的激活函数有ReLU、Leaky ReLU、ELU等。
• 例子：在构建一个卷积神经网络（CNN）时，可以尝试增加或减少卷积层的数量，或者将ReLU激活函数替换为Leaky ReLU，观察模型性能变化。

5. 权重初始化

• 技巧：合适的权重初始化方法可以加速模型收敛。常见的初始化方法有He初始化、Xavier初始化等。相比于随机初始化，前两者可以更快地收敛并提高模型性能。

6. 数据增强（Data Augmentation）

• 技巧：数据增强可以增加数据的多样性，提高模型的泛化能力。常见的增强方法包括图像旋转、翻转、裁剪等。
• 例子：在训练一个图像分类模型时，对训练数据进行随机旋转、翻转和裁剪，增加数据的多样性，从而提升模型的泛化性能。

7. 超参数搜索

• 技巧：使用网格搜索（Grid Search）或随机搜索（Random Search）来寻找最佳超参数组合。更高效的方法是使用贝叶斯优化（Bayesian Optimization）。
• 例子：在优化一个推荐系统的模型时，使用贝叶斯优化方法搜索最佳的学习率、批量大小和正则化参数组合，从而提升模型性能。

深度强化学习调优技巧

1. 调整探索与利用的平衡

• 问题：奖励下降可能是由于探索不足（陷入局部最优）或过度探索（未有效积累经验）。
• 技巧：
  • 调整探索率（ε-greedy）：初期高探索率（如ε=0.8），逐步衰减到低探索率（如ε=0.05）。
  • 熵正则化（Entropy Regularization）：在策略梯度方法（如PPO、A3C）中增加熵项，防止策略过早收敛。
• 例子：
  • 在训练DQN玩Atari游戏时，初始阶段设置ε=0.8以充分探索环境，并在训练过程中线性衰减到0.05，确保后期稳定利用已知策略。

---

2. 优化回报估计（Reward Shaping）

• 问题：稀疏奖励导致模型难以学习目标。
• 技巧：
  • 设计中间奖励：提供与任务相关的辅助奖励信号。
  • 奖励缩放（Reward Scaling）：将奖励范围标准化（如[-1,1]），避免梯度爆炸。
• 例子：
  • 在机械臂抓取任务中，除了成功抓取的最终奖励（+100），添加距离目标的接近奖励（如每靠近1cm奖励+0.1），帮助模型更快学习。

---

3. 调整折扣因子（Gamma）

• 问题：奖励突然下降可能因未来奖励权重（gamma）不合理——gamma过高导致模型过于关注远期目标（可能难以收敛），过低导致短视。
• 技巧：逐步调整gamma，观察长期累积奖励。
• 例子：
  • 在Mujoco行走任务中，初始gamma设置为0.99，但发现模型探索早期动作混乱，尝试逐步降低到0.95，模型更快稳定。

---

4. 改进经验回放（Experience Replay）

• 问题：奖励下降可能与数据集质量有关（如过期经验或关键样本缺失）。
• 技巧：
  • 优先级经验回放（Prioritized Replay）：对高TD误差的经验优先采样。
  • 调整缓冲区大小：缓冲区太小可能导致数据过时，太大可能引入噪声。
• 例子：
  • 在训练DDPG算法控制四旋翼无人机时，缓冲区大小设置为1e6，并使用优先级采样。发现模型在复杂环境中的稳定性提升。

---

5. 调整策略更新频率

• 问题：Actor-Critic框架中，Actor（策略网络）和Critic（价值网络）更新频率不匹配可能导致策略劣化。
• 技巧：
  • 策略更新延迟：Critic多次更新后，再更新Actor。
  • Clipped Surrogate Objective（如PPO）：限制策略更新的幅度，防止突变。
• 例子：
  • 在PPO训练机械臂避障任务时，设置每收集512个样本更新Critic 4次，再更新Actor 1次，避免破坏已学习的策略。

---

6. 网络架构调整

• 问题：模型表达力不足（欠拟合）或训练不稳定（梯度问题）。
• 技巧：
  • 共享特征层：Actor和Critic共享前端网络（降低计算成本）。
  • 梯度裁剪（Gradient Clipping）：防止Critic网络的梯度爆炸。
• 例子：
  • 在Dueling DQN中，拆分状态价值和动作优势流（Value & Advantage streams），使模型在稀疏奖励下更鲁棒。

---

7. 动态调整学习率（Learning Rate Schedule）

• 问题：固定学习率可能导致后期策略震荡。
• 技巧：联用学习率衰减与自适应优化器（如Adam）。
• 例子：
  • 在训练SAC算法时，初始学习率设为3e-4，每10万步衰减为原来的0.5，配合Adam优化器，使策略在后期微调时更稳定。

---

8. 课程学习（Curriculum Learning）

• 问题：复杂任务直接训练效果差。
• 技巧：从简单环境逐步过渡到复杂环境（“分阶段训练”）。
• 例子：
  • 在Meta-RL任务中，先让机器人学习在平坦地面行走，再逐步增加障碍物和坡度，避免直接训练导致奖励骤降。

---

实际案例：训练奖励下降的调试步骤

• 现象：在训练一个基于PPO的自动导航无人机时，初期奖励上升，但中期奖励突然下降。
• 调试步骤：
  1. 检查探索率：发现ε衰减太快（从0.8到0.1仅10万步），导致Agent过早停止探索 → 调整为缓慢衰减（50万步）。
  2. 调整折扣因子gamma：原gamma=0.99 → 尝试0.95，短期动作选择更明确。
  3. 优化奖励函数：原奖励仅考虑终点成功，增加过程奖励（如避障平滑性）。
  4. 观察Critic损失曲线：发现Critic的预测误差震荡 → 增加Critic的网络宽度（128→256神经元）。
  5. 添加梯度裁剪：Critic网络梯度幅度限制在[-0.5, 0.5]防止震荡。
• 结果：奖励曲线恢复增长，最终性能提升30%。

---

总结：关键调试顺序

1. 检查奖励函数是否合理（是否存在数值范围过大或逻辑错误）。
2. 调整探索策略（优先确保充分探索）。
3. 优化网络架构和超参数（gamma, learning rate, batch size）。
4. 改进训练流程（经验回放、更新频率）。
5. 引入课程学习或辅助任务（应对复杂环境）。