深度学习之表示学习 - 引言篇

序言

在数据爆炸的今天，如何从纷繁复杂的信息中抽取有价值的知识，成为了人工智能领域亟待解决的核心问题。深度学习，作为机器学习的一个重要分支，以其强大的特征表示能力和自动化学习特性，引领了这场数据革命的浪潮。而表示学习（$\text{Representation Learning}$），则是深度学习中的核心灵魂，它致力于让机器能够自动地学习数据的有效表示形式，即学习如何将原始数据（如图像、文本、声音等）转换成更高级、更抽象、更易于理解和处理的形式。这一过程不仅极大地提升了模型处理复杂数据的能力，还促进了人工智能技术在计算机视觉、自然语言处理、语音识别等多个领域的突破性进展。

表示学习（Representation Learning）

• 在本篇中，首先我们会讨论学习表示是什么意思，以及表示的概念如何有助于深度框架的设计。
  • 我们探讨学习算法如何在不同任务中共享统计信息，包括使用无监督任务中的信息完成监督任务。
  • 共享表示有助于处理多模式或多领域，或是将已学到的知识转移到样本很少或没有、但任务表示依然存在的任务上。
  • 最后，我们回溯去探讨表示学习成功的原因，从分布式表示 ($\text{Hinton et al., 1986}$) 和深度表示的理论优势，最后会讲到数据生成过程潜在假设的更一般概念，特别是观测数据的基本成因。
• 很多信息处理任务，非常容易或者非常困难，这取决于信息是如何表示的。
  • 这是一个普适于日常生活，普适于计算机科学的基本原则，也普适于机器学习。
  • 例如，对于人而言，可以直接使用长除法计算 $210$ 除以 $6$。
  • 但如果使用罗马数字表示，这个问题就没那么直接了。
  • 大部分现代人在计算$\text{CCX}$除以$\text{VI}$时，都会将其转化成阿拉伯数字，从而使用位值系统的长除法。
  • 更具体地，我们可以使用合适或不合适的表示来量化不同操作的渐近运行时间。
  • 例如，插入一个数字到有序表中的正确位置，如果该数列表示为链表，那么所需时间是 $O(n)$；如果该列表表示为红黑树，那么只需要 $O(\log n)$ 的时间。
• 在机器学习中，到底是什么因素决定了一种表示比另一种表示更好呢？
  • 一般而言，一个好的表示可以使随后的学习任务更容易。
  • 选择什么表示通常取决于随后的学习任务。
• 我们可以将监督学习训练的前馈网络视为表示学习的一种形式。
  • 具体地，网络的最后一层通常是线性分类器，如$\text{softmax}$回归分类器。
  • 网络的其余部分学习出该分类器的表示。
  • 监督准则下的训练自然会使得每个隐藏层（比较接近顶层的隐藏层）的表示趋向于具有使训练任务更容易的性质。
  • 例如，输入特征线性不可分的类别可能在最后一个隐藏层变成线性可分离的。
  • 原则上，最后一层可以是另一种模型，如最近邻分类器 ($\text{Salakhutdinov and Hinton, 2007a}$)。
  • 倒数第二层的特征应该根据最后一层的类型学习不同的性质。
• 前馈网络的监督训练并没有给学习到的中间特征明确强加任何条件。
  • 其他的表示学习算法往往会以某种特定的方式明确设计的表示。
  • 例如，我们想要学习一种使得密度估计更容易的表示。
  • 具有更多独立性的分布会更容易建模，因此，我们可以设计鼓励表示向量 $\mathbf{h}$ 中元素之间相互独立的目标函数。
  • 就像监督网络，无监督深度学习算法有一个主要的训练目标，但也额外地学习出了表示。
  • 不论该表示是如何得到的，它都可以用于其他任务。
  • 另外，很多任务（有些是监督的，有些是无监督的）可以通过共享的内部表示一起学习。
• 大多数表示学习算法都会在保留尽可能多和输入相关的信息和追求良好的性质（如独立性）之间做出权衡。
• 表示学习特别有趣，因为它提供了进行无监督学习和半监督学习的一种方法。
  • 我们通常会有非常大量的无标签的训练数据和相对较少的有标签的训练数据。
  • 在非常有限的有标签的数据集上监督学习通常会导致严重的过拟合。
  • 半监督学习通过进一步学习无标签的数据，来解决过拟合的问题。
  • 具体地，我们可以从无标签的数据上学习出很好的表示，然后用这些表示来解决监督学习问题。
• 人类和动物能够从非常少的有标签的样本中学习。
  • 我们至今仍不知道这是如何做到的。
  • 有许多假说解释人类的卓越学习能力——例如，大脑可能使用了大量的分类器或者贝叶斯推断技术的集成。
  • 一种流行的假说是，大脑能够利用无监督学习和半监督学习。
  • 利用无标签的数据有多种方式。
  • 在本篇中，我们主要探讨无标签的数据可以学习出更好的表示。

总结

• 表示学习作为深度学习的基石，通过无监督学习、监督学习或半监督学习等方式，使模型能够自动捕捉数据的内在结构和规律，生成高效、紧凑的数据表示。这种表示不仅减少了数据的冗余，还增强了数据的可解释性和泛化能力，为后续的预测、分类、聚类等任务奠定了坚实的基础。
• 随着研究的深入和技术的进步，表示学习正不断推动着深度学习向更加智能化、高效化的方向发展，为人工智能的广泛应用和普及开辟了广阔的前景。
• 在未来的发展中，我们有理由相信，表示学习将继续在人工智能领域发挥关键作用，引领我们迈向更加智能、便捷的未来。

往期内容回顾

深度网络现代实践 - 深度前馈网络介绍篇
应用数学与机器学习基础 - 无监督学习算法篇