生成式人工智能之路，从马尔可夫链到生成对抗网络

人工智能（Artificial intelligence，AI）技术在过去几年中取得了显著进展，其中生成式AI（Generative AI）因其强大的内容生成能力而备受关注。生成式AI可以创建新的文本、图像、音频、视频、代码以及其他形式的数据，这一特性使其在多个领域都有广泛的应用。其实，我们现在大多数在数据领域接触主要是生成式AI与判别式AI。这是AI的两个主要类别。判别式AI是传统且更为人知的部分，而生成式AI则是今天讲的主题。

生成式AI的概念源于20世纪50年代末和60年代初。当时，研究人员开始探索使用算法生成新数据的可能性。一个早期的例子是马尔可夫链（Markov Chain）。这是一个统计模型，能够根据输入生成新的数据序列。虽然这个模型看起来简单，但它为生成式AI的进一步发展奠定了基础。

上面的是一个马尔可夫链的状态转移图，用于表示马尔可夫过程中的状态之间的转移概率。在这种图中，每个圆圈代表一个状态，而箭头则表示从一个状态转移到另一个状态的概率。每条箭头上标注的数字表示从起始状态转移到目标状态的概率。在这个示例中，有两个状态：E 和 A。从状态 E 转移到状态 A 的概率是 0.7，而留在状态 E 的概率是 0.3。从状态 A 转移到状态 E 的概率是 0.4，而留在状态 A 的概率是 0.6。

由于马尔可夫链模型是一种描述系统在不同状态之间随机转移的数学模型，它在生成式AI及其他领域中有着广泛的应用。1）在文本生成方面，马尔可夫链可以通过预测下一个单词生成文本，应用于聊天机器人、自动补全系统等。2）在音乐创作中，它能够建模音乐序列，预测音符或和弦，从而辅助音乐生成。3）金融领域则利用马尔可夫链模拟股票市场趋势、信用评级变化和利率波动，而在天气预测中，它帮助根据当前和过去的条件预测未来天气。4）语音识别系统中，隐马尔可夫模型（HMMs）用于建模音素序列的概率，提升语音识别的准确性。5）在生物信息学中，马尔可夫链用于建模DNA序列，辅助基因预测和序列分析。6）Google的PageRank算法也利用了马尔可夫链来建模用户浏览行为，并对网页进行排名。7）自然语言处理领域中，马尔可夫链用于词性标注，提升文本分析和理解的效果。在游戏AI中，它能建模非玩家角色的行为，创造更加真实和多样化的动等等。

上图，安德烈·马尔可夫(1856年6月14日- 1922年7月20日)在20世纪初研究了马尔可夫过程，并在1906年发表了关于这一主题的第一篇论文。他的工作基于早期的泊松过程，对独立随机序列进行了扩展。马尔可夫在他的第一篇论文中展示了在特定条件下，马尔可夫链的平均结果会收敛到一个固定的值，从而在没有独立性假设的情况下证明了弱大数法则。马尔可夫还利用马尔可夫链研究了亚历山大·普希金的《叶甫盖尼·奥涅金》中元音的分布，并证明了这样的链的中心极限定理。

早期的生成式AI实例

接下来，我们要谈到1960年代的一个重要人物——约瑟夫·魏岑鲍姆。魏岑鲍姆最著名的贡献是他在1960年代开发的ELIZA程序（名为 ELIZA，是以乔治·伯纳德·萧伯纳的《皮格马利翁》中的天真少女命名，它可以与用户聊天。ELIZA 是用魏泽鲍姆自己创建的 SLIP 编程语言编写的。该程序将模式匹配规则应用于语句以确定其回复。（现在这样的程序被称为聊天机器人）。ELIZA是早期的自然语言处理程序之一，能够进行基于文本的对话。它通过使用一组预定义的规则和模式来识别用户输入中的关键词，并生成相应的回应。尽管ELIZA的能力非常有限，主要依赖于模式匹配，但它在当时的技术背景下展示了机器能够进行“对话”的潜力。ELIZA的成功引发了人们对计算机能够模拟人类对话的广泛兴趣，也为后来的对话系统和自然语言处理技术奠定了基础。

约瑟夫·魏岑鲍姆（Joseph Weizenbaum，1923 年 1 月 8 日 - 2008 年 3 月 5 日）是一位德裔美国计算机科学家，也是麻省理工学院的教授。魏泽鲍姆奖和魏泽鲍姆研究所都是以他的名字命名的。

80年代之后

到了1980年代和90年代，神经网络的引入标志着生成式AI的一个重大突破。神经网络能够模拟人脑的工作原理，通过大量数据训练，从而生成复杂的模式和结构。这一时期的进展为后来的生成式AI系统奠定了基础。

2014年，生成式AI迎来了一个重要的里程碑。伊恩·古德费洛（Ian Goodfellow）及其同事提出了生成对抗网络（GANs）的概念。然而，GANs通过对抗训练机制，显著提升了生成模型的能力。

在GANs中，两个神经网络——生成器（Generator）和判别器（Discriminator）——在对抗中相互博弈。生成器负责生成新内容，如图像或文本，而判别器则评估这些内容的真实性。生成器的目标是欺骗判别器，使其无法区分生成的内容与真实内容，而判别器则力求准确识别真假。通过这种对抗过程，判别器的判断标准也逐渐提高，使生成器能够生成更为高度逼真的数据。

GANs的出现标志着现代生成式AI的重要进展。

生成式AI的发展不是由某一个发明者推动的，而是许多研究人员和科学家的共同努力。最早的生成式AI实验集中在简单的统计模型和算法上，如马尔可夫链。随着计算能力的提升和神经网络技术的发展，生成式AI进入了一个新的阶段。多层神经网络（Deep Neural Networks）和卷积神经网络（Convolutional Neural Networks）的引入，使得生成式AI能够处理更加复杂和多样的数据。

除了GANs，其他先进技术如变分自编码器（VAEs）和Transformer模型也对生成式AI的发展起到了关键作用。现代生成式AI不仅能生成高质量的文本，还能生成逼真的图像和视频，创作新的音乐作品，甚至在医疗和科学研究中应用，生成合成数据用于模型训练，辅助诊断和治疗。