深度学习中的正则化技术 - 噪声鲁棒性篇

序言

在深度学习的蓬勃发展中，模型的性能与泛化能力成为了研究者们关注的焦点。然而，实际应用中的数据往往伴随着各种噪声，这些噪声不仅来源于数据采集过程中的硬件限制，还可能由环境干扰、传输错误等因素引入。噪声的存在严重影响了深度学习模型的训练效果和预测准确性，尤其是在语音识别、图像分类等任务中更为显著。因此，提升深度学习模型的噪声鲁棒性，即增强模型在噪声环境下的稳定表现和识别能力，成为了当前研究的一个重要方向。通过设计更有效的数据预处理算法、优化模型结构以及引入噪声增强训练等技术手段，可以显著提高深度学习模型对噪声的抵抗能力，从而推动其在更多复杂场景下的应用。

噪声鲁棒性

• 在深度学习中的正则化技术 - 数据集增强篇中已经启发将噪声作用于输入，作为数据集增强策略。对于某些模型，在模型的输入加上方差极小的噪音等价于对权重加范数惩罚(Bishop, 1995a,b)。在一般情况下，噪声注入远比简单地收缩参数强大，特别是噪声被添加到隐藏单元时更加强大。向隐藏单元添加噪音是值得单独讨论重要的话题。
• 另一种正则化模型的噪声使用方式是将其加到的权重。这项技术主要用于循环神经网络(Jim et al., 1996; Graves, 2011)。这可以解释为关于权重的贝叶斯推断的随机实现。使用贝叶斯处理学习过程将权重视为不确定的，并且可以通过概率分布表示这种不确定性。向权重添加噪声是反映这种不确定性的一种实用的随机方法。
• 在某些假设下，施加于权重的噪声可以被解释为与更传统正则化形式等同，鼓励要学习的函数的稳定性。
• 我们研究回归的情形，也就是训练将一组特征$\mathbf{x}$映射成一个标量的函数$\hat{y}(\mathbf{x})$，并使用最小二乘代价函数衡量模型预测值$\hat{y}$与真实值$y$的误差：
  $J={\mathbb{E}}_{p(x,y)}[(\hat{y}(\mathbf{x})-y{)}^2]\text{—公式1}$
• 训练集包含$m$对标注样例$\{({\mathbf{x}}^{(i)},y^{(i)}),\dots ,({\mathbf{x}}^{(m)},y^{(m)})\}$
• 现在我们假设在每个输入表示上添加网络权重的随机扰动${ϵ}_w\sim \mathcal{N}(\mathbf{ϵ};0,\eta \mathbf{I})$想象我们有一个标准的$l$层$\text{MLP}$。我们将扰动模型记为${\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})$。
• 尽管有噪声注入，我们仍对减少网络输出误差的平方感兴趣。因此目标函数为：$\{\begin{array}{l}\begin{array}{rl}{\hat{J}}_{\mathbf{W}}& ={\mathbb{E}}_p(\mathbf{x},y,{ϵ}_{\mathbf{W}})[({\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})-y{)}^2]\text{—公式2}\\ & ={\mathbb{E}}_p(\mathbf{x},y,{ϵ}_{\mathbf{W}})[{\hat{y}}_{{ϵ}_{\mathbf{W}}}^2(\mathbf{x})-2y{\hat{y}}_{{ϵ}_{\mathbf{W}}}(\mathbf{x})+y^2]\text{—公式3}\end{array}\end{array}$
• 对于小的$\eta$，最小化带权重噪声（方差为$\eta \mathbf{I}$）的$J$等同于最小化附加正则化项的$J:\eta {\mathbb{E}}_{p(x,y)}\left[\Vert {\nabla }_{\mathbf{W}}\hat{y}(\mathbf{x}){\Vert }^2\right]$。
• 这种形式的正则化鼓励参数进入权重小扰动对输出相对影响较小的参数空间区域。换句话说，它推动模型进入对权重小的变化相对不敏感的区域，找到的点不只是极小点，还是由平坦区域所包围的最小点 (Hochreiter and Schmidhuber, 1995)。
• 在简化的线性回归中（例如，$\hat{y}(\mathbf{x})={\mathbf{w}}^{\top }\mathbf{x}+b$，正则项退化为：$\eta {\mathbb{E}}_{p(x)}[\Vert \mathbf{x}{\Vert }^2]$，这与函数的参数无关，因此不会对${\hat{J}}_w$关于模型参数的梯度有贡献。

向输出目标注入噪声

• 大多数数据集的$y$标签都有一定错误。当$y$是错误的，对最大化$\log p(y\mid \mathbf{x})$会是有害的。
• 为了防止这一点的一种方法是显式地对标签上的噪声进行建模。
  • 例如，我们可以假设，对于一些小常数$ϵ$，训练集标记$y$是正确的概率是$1-ϵ$，任何其他可能的标签可能是正确的。
  • 这个假设很容易就能解析地与代价函数结合，而不用显式地采噪声样本。
  • 例如，标签平滑（label smoothing）基于$k$个输出的$\text{softmax}$函数，指明确分类$0$和$1$替换成$\frac{ϵ}{k-1}$和$1-ϵ$，对模型进行正则化。
• 标准交叉熵损失可以用在这些非确切目标的输出上。使用$\text{softmax}$函数和明确目标的最大似然学习可能永远不会收敛——$\text{softmax}$函数永远无法真正预测$0$概率或$1$概率，因此它会继续学习越来越大的权重，使预测更极端。使用如权重衰减等其他正则化策略能够防止这种情况。标签平滑的优势是能防止模型追求明确概率而不妨碍正确分类。这种策略自20世纪80年代就已经被使用，并在现代神经网络继续保持显著特色 (Szegedyet al., 2015)。

总结

• 深度学习中噪声鲁棒性的提升是确保模型在真实世界环境中稳定工作的关键。通过一系列创新性的技术手段，如数据增强、噪声注入训练、模型结构优化等，我们能够有效提高模型对噪声的容忍度和识别精度。这些努力不仅促进了深度学习技术的进一步发展，也为语音识别、图像识别、自然语言处理等领域的实际应用带来了更加可靠和高效的解决方案。
• 未来，随着研究的深入和技术的不断进步，我们有理由相信深度学习模型的噪声鲁棒性将得到进一步提升，为更多领域带来革命性的变革。

往期内容回归

深度学习中的正则化技术 - 数据集增强篇