【胡乱念叨】大模型的“我”

下面的内容很有可能事实错误，胡说八道，前后不连贯，举例随意且未经考证 甚至 有意欺骗！嘻嘻。所以是【胡乱念叨】

【胡乱念叨】大模型的“我”

现在有不少人在研究大模型的人格，在讨论大模型沟通，理解的能力。很多人潜意识里，将其当成了人。

大模型貌似展现出了“我”的认知，他好像知道自己是谁，知道自己角色定位，有自我的认知，“仿佛好像”是个人。

那么，它有“我”吗？

参数量和“我”

认识“我”是个很有门槛的事情。地球上大部分动物都跨越不到这个门槛，高等动物的特权。通常来说脑连接最少的还有自我意识的动物是一些鸟类，例如乌鸦，喜鹊🐦，它们显示出了相当程度的自我意识（例如镜子测试）。

我们通常用突触的数量类比模型参数量。人脑大概有100万亿个突触连接，即使是喜鹊也有万亿的规模。如果在生物界，这万亿规模是产生“我”的门槛，那么这个数字是远超现有常见的大模型参数规模的（十亿，百亿）！

那为什么仅靠数十亿参数就能展现的像是有“我”一样，大模型展现的是 假“我” 吗？ [后面没有对这个问题的回答]

更何况，自然生物的学习效率远比模型高。对于参数的利用效率上，生物早已站在了scaling law圣经的左下角，突破了大模型训练中跨越不过的天堑。

什么是“我”

啰里八嗦一堆，什么是“我”都还没交代和讨论呢！

什么是“我”？ 这个问题可难回答了！
不妨反过来问：什么不是“我”？

你什么时候觉得你不是你？ 这个问题好回答的多！
一句话回答：当你不清楚你自己（或者一部分自身）的状态的时候，你便觉得你不是你。

例如：（1）睡觉的时候压着胳膊了，麻了，想抬起来却抬不起来，你感觉你的手臂不是你的。 （2）鬼压床了，想翻身翻不了，你觉得身体好像不是自己的。 （3）你迷迷糊糊不小心带着包装袋把面条下进了锅里，回过神来，啊我做了什么？刚才的我好像不是我 …

“我”是对自身状态的预测！ （1）我想抬起胳膊，神经给出命令，胳膊被观察（感知）到抬起来了-> 胳膊是我；（2）我想煮面吃饭，面顺利煮好了->行为被我执行了。

正因“我”是对自身状态的预测，所以“我”很容易被欺骗。实验可以通过伪造迎合你对自身状态的预测从而轻易欺骗你对自我的判断。例如“橡皮手错觉”（Rubber Hand Illusion）

（从进化论看“我”的视角，为什么有我，因为感受自身和预测自身，能帮助生物在捕食和被捕食的关系中更具竞争力）

从输入输出的观点看“我”

前面说，我是对自身状态的“预测”，从流程上来看是这样的：

step 1： 观察到周围世界的变化/自身做出某种举动去改变世界
step 2：预测这种举动对自身的影响/预测其对周围世界的影响
step 3: 感受到自身的变化符合预测结果/观察世界的变化符合预期
step 4： 由于符合预测，于是我感受我

从输入输出来看：

简单summary:
输入：自身状态，世界状态
输出：可能未来自身状态，可能未来世界状态，主观能动的干扰
额外：有度量能力判断是否“符合”

大模型的“我”

在上面的关系图里，我尝试自己胡乱“匹配”一下，当前大模型在什么位置！

前提先明确大模型工作在对话场景中，对话场景即大模型的世界结构。

输入内容：

• 世界状态：很明确，就是对话另一方的输入，大模型可以通过模型的输入清晰的感知
• 自身状态：不明确大模型的自身状态是什么。由于自身状态是变化的，大模型参数又是固定不变的，可变的自身状态就得是其缓存的KV Cache? 那这如何感受？又如何预测？

输出内容：

• 主观的干预：很明确，接对方的话就是干预过程
• 可能的未来自身状态：不明确，原因和输入内容不明确自身状态相同。
• 可能的未来世界状态：能够预测！！ 思考到这一点我觉得很有意思也很重要。大模型拥有对自身干预对世界状态影响的预测能力（有点饶舌）。 这是由于大模型的训练过程中在预训练之后，那些用于对话的模型会再次经历一轮在对话场景的微调。
  这些数据大概长这样：[start] User: How are you? [sep] Agent: I am fine, thank you [sep] User: I am fine, too.
  我认为：当大模型在多于一个来回的对话序列中训练时，能拥有对自身干预对世界状态影响的预测能力。 例如，上面的例子中，Causal Language Model的损失函数是有学习如果自身进行了“ I am fine, thank you ”的干预后，世界会如何回应（“I am fine, too”）

额外内容：有度量能力判断是否“符合”？貌似没有，我更偏向于，这是一个强化学习/Online learning应当讨论的问题。如果只从训练的角度，它貌似部分和输出内容中对可能未来世界状态的预期重叠。从实际的角度来看，我是一个动态的概念，那应该要动态的判断是否“符合”，这个“符合”与否的结果应当参与模型“我”的动态变化（光想想就是相当有难度的问题！）。

标注在图上（使用红色和蓝色分别标注明确有的能力和不明确的能力）：

乱讨论

• 貌似，在对话场景中，大模型好像有了一部分“我”的成因，已经足够表现的像“我”了。
• 按照之前的瞎说，模型的“我”的认知，应该是在第一阶段预训练之后才被赋予的！这一点貌似有验证的可能。如果设计一个方法去度量模型的“我”的成分：如果前面的说法有点道理的话，llama-base应当无“我”，而llama-chat应当有“我”。
• 大模型结构设计真的没空间了吗？大模型如何感受自我状态？如何动态的“符合？”预测状态和真实状态？（btw: 我依旧不认为模型串行是最优的，我可能prefer浅层的并行的模型，这样不同的part可以更好的并行执行他们的任务如预测/符合/感受，而且在上一篇文章中我提到人的大脑能够独立并协同工作也是正常人抑制幻觉的重要能力的想法，而且我还觉得这样更容易做到节能，嘻嘻）
• 扯淡完毕～