《这就是ChatGPT》读书笔记

书名：这就是ChatGPT
作者：[美] 斯蒂芬·沃尔弗拉姆（Stephen Wolfram）

ChatGPT在做什么？

ChatGPT可以生成类似于人类书写的文本，它基本任务是弄清楚如何针对它得到的任何文本产生“合理的延续”。当ChatGPT写一篇文章时，它实质上只是在一遍又一遍地询问“根据目前的文本，下一个词应该是什么”，并且每次都添加一个词。更准确地说，它是每次都添加一个“标记”(token)，而标记可能只是词的一部分。这就是它有时可以“造词”的原因。
可以简单的将ChatGPT做的事情看作是“单字接龙”，它总是根据概率选择下一个字，但是这些概率是从何而来的呢？
最佳思路是建立一个模型，让我们能够估计序列出现的概率。ChatGPT的核心正是所谓的“大语言模型”。

什么是模型？

假设你想（像16世纪末的伽利略一样）知道从比萨斜塔各层掉落的炮弹分别需要多长时间才能落地。当然，你可以在每种情况下进行测量并将结果制作成表格。不过，你还可以运用理论科学的本质：建立一个模型，用它提供某种计算答案的程序，而不仅仅是在每种情况下测量和记录。
模型是指有某种特定的基本结构，以及用于拟合数据的一定数量的“旋钮”（也就是可以设置的参数）。
对于ChatGPT，我们需要为人脑产生的人类语言文本建立模型。
如果函数给出的结果总是与人类的意见相符，那么我们就有了一个“好模型”。

LLM 容易产生所谓的 “幻觉”，即生成看似合理但实际并非真实的输出，这是因为 LLM 在训练时是基于训练数据中的模式预测下一个最可能的词，而非真正理解信息。

神经网络

用于图像识别等任务的典型模型到底是如何工作的呢？目前最受欢迎而且最成功的方法是使用神经网络。可以视作对大脑工作机制的简单理想化。
神经网络可以被视为根据其输入和权重计算的一个数学函数。可以执行各种任务，还可以通过逐步“根据样例训练”来学习执行这些任务
神经网络的基本思想是利用大量简单（本质上相同）的组件来创建一个灵活的“计算结构”，并使其能够逐步通过学习样例得到改进。
神经网络的一个重要特征是说到底和计算机一样只是在处理数据。
如果有一个足够大的神经网络，那么你可能能够做到人类可以轻易做到的任何事情。

嵌入

神经网络以目前的设置来说，基本上是基于数的。因此，如果要用它来处理像文本这样的东西，我们需要一种用数表示文本的方法。
可以将嵌入视为一种尝试通过数的数组来表示某些东西“本质”的方法，其特性是“相近的事物”由相近的数表示，这就是“嵌入”(embedding)的思想。我们可以将词嵌入视为试图在一种“意义空间”中布局词，其中“在意义上相近”的词会出现在相近的位置。如果测量这些向量之间的距离，就可以找到词之间的“相似度”。
如何才能构建这样的嵌入呢？大致的想法是查看大量的文本（这里查看了来自互联网的50亿个词），然后看看各个词出现的“环境”有多“相似”。例如，alligator（短吻鳄）和crocodile（鳄鱼）在相似的句子中经常几乎可以互换，这意味着它们将在嵌入中被放在相近的位置。但是，turnip（芜菁）和eagle（鹰）一般不会出现在相似的句子中，因此将在嵌入中相距很远。

ChatGPT的内部原理

从根本上说，ChatGPT是一个专门为处理语言而设置的庞大的神经网络，ChatGPT的总体目标是根据所接受的训练（查看来自互联网的数十亿页文本，等等），以“合理”的方式续写文本。它最显著的特点是一个称为Transformer的神经网络架构，Transformer引入了“注意力”的概念。
Transformer的思想是，为组成一段文本的标记序列做与此相似的事情。但是，Transformer不是仅仅定义了序列中可以连接的固定区域，而是引入了“注意力”的概念。

它的操作分为三个基本阶段：
● 第一阶段，它获取与目前的文本相对应的标记序列，并找到表示这些标记的一个嵌入（即由数组成的数组）；
● 第二阶段，它以“标准的神经网络的方式”对此嵌入进行操作，值“像涟漪一样依次通过”网络中的各层，从而产生一个新的嵌入（即一个新的数组）；
● 第三阶段，它获取此数组的最后一部分，并据此生成包含约50000个值的数组，这些值就成了各个可能的下一个标记的概率。（没错，使用的标记数量恰好与英语常用词的数量相当，尽管其中只有约3000个标记是完整的词，其余的则是片段。）
这条流水线的每个部分都由一个神经网络实现，其权重是通过对神经网络进行端到端的训练确定的。换句话说，除了整体架构，实际上没有任何细节是有“明确设计”的，一切都是从训练数据中“学习”来的。
当ChatGPT要生成一个新的标记时，它总是“读取”（即获取为输入）之前的整个标记序列，包括ChatGPT自己先前“写入”的标记。

个人常用的GPT工具推荐

文生文：

kimi
智谱清言

文生图

即梦

个人书评

这本书是看小红书推荐的，OpenAI的CEO称之为“对ChatGPT原理最佳的解释”，本书包含作者在ChatGPT问世后不久写的两篇长文。第一篇介绍了ChatGPT，第二篇则展望了ChatGPT的未来，第二篇我没读，只读了第一篇。第一篇介绍了ChatGPT在做什么，并且一步一步推导如何通过计算机生成语言文字解释了它为何拥有像人类一样的生成语言的能力，推导过程中还会解释重要的概念，但是个人感觉并不适合完全新手小白阅读，像我读起来很吃力，很多内容读不太懂，但是我觉得不是作者的问题，是我文化水平的问题，所以我给这本书4颗星，满分5颗星。