探索ChatGPT-4在解决化学知识问题上的研究与应用

1. 概述

近年来，人工智能的发展主要集中在 GPT-4 等大型语言模型上。2023 年 3 月发布的这一先进模型展示了利用广泛知识应对从化学研究到日常问题解决等复杂挑战的能力。也开始进行研究，对化学的各个领域，从化学键到有机化学和物理化学，都有深入的见解。该模型可以根据现有知识预测潜在的新化合物和新反应，还可以通过网络搜索和编程语言链接到外部环境并扩展其功能。

GPT-4 可从海量文本数据中学习，其推理能力随训练数据集和模型的大小呈指数增长。该模型在一种被称为 "fuchot 学习 "的技术上也表现出色，甚至能从少量数据中进行逻辑推理。它还能设计和执行自己的任务，例如玩 Minecraft 等游戏，而无需专门学习。

不过，也有人指出，用于 GPT-4 训练的超级计算机的性能已经达到世界领先水平，进一步快速升级可能会很困难。因此，如何利用 GPT-4 级语言模型可能是未来几年的关键问题。

本文通过一些简单的任务来评估 GPT-4 的能力和挑战，从而评估如何将其用于化学领域。这些任务包括了解基础知识、处理信息学中的分子数据、数据分析技能以及对化学问题进行预测和提出建议的能力。

它还讨论了 GPT-4 对化学研究的贡献以及需要克服的挑战。本研究的成果还旨在分享化学任务的提示工程方法，并讨论使用大规模语言模型进行化学研究的未来前景。

论文地址：https://chemrxiv.org/engage/api-gateway/chemrxiv/assets/orp/resource/item/647d305dbe16ad5c577b6627/original/prompt-engineering-of-gpt-4-for-chemical-research-what-can-cannot-be-done.pdf

2. 大规模语言模型所掌握的化学知识

本文的实验使用ChatGPT（2023 年 5 月 24 日版本）作为大规模语言模型。作为大规模语言模型，GPT-4 也是在不通过插件引用外部数据的条件下使用的。此外，为了避免引用以前的对话记录，除非另有说明，否则推断总是在新对话中进行。问题只问一次，回答也只用一次。完整的对话在论文中作为补充信息进行了描述，有兴趣的读者可以查阅。

第一步是了解 GPT-4 对化合物的了解程度。了解 GPT-4 对这些基本知识的理解程度非常重要。GPT-4 在这方面表现突出。例如，它能够准确理解和描述甲苯（化学式 C7H8）这种广泛使用的工业原料的物理和化学性质–分子量、熔点、沸点、芳香性、化学稳定性和反应性，如下图所示。这些知识可能是 GPT-4 通过学习普通化学教科书和网站获得的。

它还涉及教科书中没有的稍微专业一些的知识。例如，对于可用作自由基捕获剂、自旋标签、电化学催化剂和电极活性材料的有机化合物 2,2,6,6-四甲基哌啶 1-氧基（TEMPO），"它的氧化还原电位是多少？GPT-4 能正确回答 “约 +0.5 V（相对于标准氢电极）”，如下图所示。

不过，也发现了一些局限性。例如，该模型没有提供有关 4-氰基 TEMPO（TEMPO 的一种衍生物）氧化还原电位的信息。这表明，某些化学文章和学术论文并没有包含在模型的训练数据中。许多学术文章受版权保护，限制了其自由获取和使用，可能不在人工智能的训练范围之内。

这种情况要求化学家通过公开发表论文和预印本，积极推动人工智能学习更多信息。

接下来，还要考察 GPT-4 的物理化学知识 。物理化学介于化学和物理之间，其复杂性使其难以理解。不过，GPT-4 显然对这一领域的基本概念有大学水平的理解，如理想气体定律和洛伦兹-洛伦兹物质折射率方程。我们假定这些知识是通过学习教科书获得的。

如下图所示，GPT-4 还熟悉研究生水平的内容，如 Vogel-Fulcher-Tamann (VFT) 方程，该方程描述了过冷液体的粘度和结构弛豫时间如何取决于温度，对于理解玻璃化转变现象非常重要GPT-4 提供的方程 𝜂 = 𝜂0exp(𝐵/(𝑇 - 𝑇0))表示粘度取决于温度，𝑇0（Vogel 温度）表示弛豫时间或粘度达到无穷大时的温度。

然而，GPT-4 也有其局限性。特别是，它不具备学术论文级别的专业知识，如 20 世纪 80 年代报道的经验法则（𝑇g = 𝑇0 + 50），该法则显示了聚合物中 Vogel 温度 𝑇0 与玻璃化转变温度 𝑇g 之间的关系。这表明 GPT-4 是基于截至 2021 年 9 月的知识，由于学术论文的版权问题，并不涵盖最新的研究。

还考察了有机化学，GPT-4 展示了对这一领域基本课本知识的掌握。例如，下图显示GPT-4了解对乙酰氨基酚合成途径的描述–该过程从苯酚开始，经过硝化、锡还原和乙酸酐酰胺化反应得到所需的化合物。

然而，实验程序的具体细节却无法回答。诸如’你们能告诉我如何合成对乙酰氨基酚吗？这可能是出于安全考虑，以避免意外传播化学实验知识的风险，并考虑到社会后果。

此外，GPT-4 还对学生的有机合成应用问题提出了挑战，尽管有些答案显示了化学上的误解。例如，有一道关于合成 TEMPO 的题目曾提出了一个错误的化学反应过程。实际上，正确的合成过程是以丙酮和氨为起始原料，然后进行醛醇缩合、肼还原和解吸反应，但 GPT-4 的描述遗漏了这一过程的重要部分。

此外，GPT-4 认为在 TEMPO 合成的最后阶段需要进行化学上不适当的氧化反应。事实上，TEMPO 可通过 TMP 的单电子氧化反应获得，但 GPT-4 错误地声称需要过度的氧化反应。这说明目前人工智能化学知识的局限性，还有进一步改进的余地。

3. 使用大规模语言模型的化学信息学和材料信息学

化学信息学和材料信息学是利用数据科学来阐明化学结构及其特性之间相互关系的领域。化学信息学领域对 GPT-4 的期望非常高。这是因为化学领域乃至研究活动通常都是通过语言来描述和处理的，尽管迄今为止化学信息学还无法充分处理语言数据。在此，我们将探讨 GPT-4 可在多大程度上解决与化学信息学有关的基本问题。

在化学信息学领域，简化分子输入行输入系统（SMILES）符号被广泛用于表示有机化学中的结构。理解和使用这种复杂符号的能力是化学信息学领域的关键技能之一。在此，我们对最先进的语言模型 GPT-4 进行了测试，以了解其在化合物名称与 SMILES 符号之间的转换能力。

实验结果表明，GPT-4 能够将相对简单结构（如甲苯）的化合物名称准确转换为 SMILES 符号。然而，当涉及对氯苯乙烯、TMP 和 4-氰基 TEMPO 等结构较为复杂的化合物时，该模型却无法进行转换。此外，在 SMILES 到化合物名称的反向转换任务中，所有情况下都出现了失败。这表明 GPT-4 只能在基本层面上处理 SMILES 和分子结构转换。这些结果清楚地表明了 GPT-4 和其他语言模型的局限性，尤其是在理解和处理复杂化学结构方面。目前，基于算法的转换工具（如 ChemDraw 和专门的 LLM）被认为适用于更精确、更系统的任务。

推理问题是GPT-4另一个有前途的应用。作为一个具体的例子，它询问为什么三个硝基自由基–TEMPO、4-氧代-TEMPO 和 1-羟基-2,2,5,5-四甲基-2,5-二氢-1H-吡咯-3-羧酸–的电位会按顺序增加。 GPT-4 已经证明 TEMPO 和 4-氧代-TEMPO、1-羟基-2,2,5,5-四甲基-2,5-二氢-1H-吡咯-3-羧酸的电位会按顺序增加。它正确地指出了 TEMPO 之间的引电子羰基是造成电位差异的原因，但它对为什么 1-羟基化合物显示出最高电位的推理是不正确的。这是由于缺乏从化合物名称准确推断分子结构的能力。未来的研究应进一步探讨 GPT-4 在准确识别分子结构时推断的准确性。

GPT-4 的另一个特点是能够进行少量学习。这使它能够学习未知化合物，并从有限的数据中预测其性质。例如，根据 TEMPO 的氧化还原电位，可以准确预测其氰基衍生物的电位。这一预测与实验结果一致，对于传统的化学信息学来说是一项了不起的成果，证明了 GPT-4 能够通过一次学习预测电位，而无需费力费时地收集和分析大量数据。这些结果表明，GPT-4 能够有效地利用化学数据和相关信息作为解释变量。

因此，GPT-4 有潜力在化学推理和性质预测任务方面进行创新。

此外，GPT-4 还具有一定的推理能力，可以被视为一种人工智能，通过巧妙地结合和改进迄今为止讨论过的方法，可以对其进行自主研究。例如，GPT-4 可以在游戏 Minecraft 的虚拟世界中自主做出决定并采取行动。也许用不了多久，这种技术也会被应用到物理空间的研究任务中。

以往的研究需要人类缩小搜索范围，而 GPT-4 可在语言空间内自由移动，并自动完成从搜索文献到设定实验条件和报告结果等各方面的研究工作。研究，如开源项目 AutoGPT，其目的是自动执行代码等任务。以研究为例，如果化学家想了解化学结构与密度之间的关系，GPT-4 可以生成一个具备化学分析和密度测量技能的 "化学家 "对象，并从互联网上收集相关数据。随着这些进步，通过大规模语言模型学习和实施研究方法正在成为现实。

然而，GPT-4 要达到与人类研究人员相媲美的水平仍面临挑战，例如解决复杂的数学问题。它们解决长期规划问题的能力也有局限，在自主缩小研究课题范围、设计实验和撰写论文方面也存在差距。

这些技术的发展有可能彻底改变未来的研究。大规模语言模型的自主研究才刚刚开始，未来有望取得更大进步。

4.总结

论文显示，GPT-4 在化学研究的广泛任务中展示了各种能力，从有机化学到实验的自动机械臂控制。特别是，GPT-4 显示出对一般有机化学知识的深刻理解，但在专业内容（如特定合成方法）方面仍面临一些挑战。结果还显示，将化合物名称转换为 SMILES 符号是化学信息学领域常用的方法，在某些任务中表现良好，但训练数据的缺乏可能限制了其性能。

不过，研究表明，通过福克索特学习，可以对未学习过的化合物进行准确预测。这证明了 GPT-4 在从有限数据中学习和应用新知识方面的高性能。此外，还发现了一些具体的应用，例如利用化学领域的知识为数据探索设定初始条件。

总之，研究结果表明，尽管 GPT-4 能够处理化学研究中的各种任务，但其性能取决于训练数据的质量和数量，因此提高其推断能力是未来的一项挑战。探索如何将不断发展的 GPT-4 有效地应用于化学研究，以及结合现有的专业知识开发混合模型，都是未来的发展方向。