OpenAI科学家谈GPT-4的潜力与挑战

OpenAI Research Scientist Hyung Won Chung 在首尔国立大学发表的一场演讲。

模型足够大，某些能力才会显现，GPT-4 即将超越拐点并在其能力上实现显着跳跃。GPT-3 和 GPT-4 之间的能力仍然存在显着差距，并且尝试弥合与当前模型的差距可能是无效的。  

01

核心观点

改变观点的必要性，我们需要改变观念，因为某些能力只有在模型达到一定规模时才会显现。即使现有的大型语言模型（LLM）在某些方面表现不佳，我们也不能草率断言“这不行”。更准确地说，应该是“还不行”。当有更大的模型出现时，很多原有的结论都可能会被推翻。  

这也意味着，我们需要不断更新、甚至摒弃过去基于某些理念建立的认知。  

02

主要亮点

1. 能力的扩展和出现

💡 大型语言模型的某些能力只有在一定规模时才会出现，这凸显了从不同角度看待该领域的重要性。大语言模型有潜力通过不断从失败的实验中学习来提高解决问题的能力，但 GPT-3 和 GPT-4 之间的能力仍然存在显着差距，并且尝试弥合与当前模型的差距可能是无效的。

🤔 人工智能研究中的缩放曲线表明，记录失败的实验和不断更新模型可以带来新的能力和改进的直觉。

📈 GPT-4 即将超越拐点并在其能力上实现显着跳跃。

🧠 在预训练 GPT-4 等大型语言模型中，缩放法则的概念是一个关键且基本的方面，可以显着影响其性能。

2. 新颖的视角和方法

🧠 具有新鲜视角的人工智能领域的新人通常可以带来有影响力的想法和工作，因为他们不受经验丰富的人可能已经尝试过但发现不成功的直觉和想法的束缚。

📢通过将注意力机制拆分为单独的头，利用多台机器和芯片，并使用 GSP MD 方法进行无需通信的并行化，借助 Jax 的前端工具 PJ 将阵列轴映射到硬件，可以实现大型语言模型的并行化。

👨🏻 使用强化学习（RL）和神经网络来制定奖励模型可以在下棋等情况下实现更复杂和细致的奖励，从而有可能增强人工智能代理的能力。

💡 在训练语言模型中使用人类偏好可以让他们学习两个完成之间的差异轴，即使它们都不是最佳答案，这对他们的行为至关重要。

🌟 人工智能的下一个范式可能涉及展示难以形式化的行为的模型，这可能会彻底改变该领域。

视频中演讲PPT：https://docs.google.com/presentation/d/1636wKStYdT_yRPbJNrf8MLKpQghuWGDmyHinHhAKeXY/edit#slide=id.g27b7c310230_0_496