未来是神经-符号的：AI 推理是如何演变的

原文towardsdatascience.com/the-future-is-neuro-symbolic-how-ai-reasoning-is-evolving-143ce6485b4f人工智能软件被用于增强本文文本的语法、流畅性和可读性。一个名为AlphaGeometry的显著新 AI 系统最近解决了大多数人类都难以解决的困难高中水平数学问题。通过结合深度学习神经网络与逻辑符号推理AlphaGeometry 为开发更类似人类思维的 AI 开辟了令人兴奋的方向。AlphaGeometry 背后的关键创新是其“神经-符号”架构该架构将神经学习组件与形式符号演绎引擎集成。正如 DeepMind 的研究人员解释的那样定理证明任务如几何构造问题需要既要有灵活的神经创造性推理来推断隐含关系并引入新步骤也要有逻辑上严格的基于规则的演绎来可靠地构建严谨推理链。纯神经网络或纯符号 AI 单独都无法解决这样的多方面挑战。但结合在一起它们实现了单独使用任何一种范式都无法实现的令人印象深刻的协同效应。数学定理证明的挑战证明定理被认为是逻辑推理能力的终极测试。像几何构造这样的任务涉及多方面的挑战灵活的模式识别以揭示隐含的几何关系创造性的飞跃引入辅助构造并扩展证明搜索空间逻辑上严谨的推理链遵循形式演绎规则基于规则的推理和数据驱动学习在同时解决这些不同方面时都有局限性纯符号引擎在模式识别和推测性证明步骤的提出方面缺乏灵活性。但它们能够可解释、可验证的推理链基于数学严谨性的可靠基于规则的演绎纯神经网络在逻辑严谨性和透明度方面存在不足。但它们在以下方面具有优势从数据示例中学习复杂策略识别隐藏在几何图中的复杂关系灵活的推测性推理以假设潜在的证明方向神经-符号解决方案如 AlphaGeometry 所展示的将神经学习与符号逻辑引擎集成实现了显著的协同效应。该系统紧密耦合基于强大的 Transformer 架构的神经证明引导模块提供可靠符号推理的几何演绎数据库通过协调它们互补的优势AlphaGeometry 能够在证明困难的定理方面与杰出的人类数学家相媲美。这种融合为在人工智能系统中发展更类似人类的推理设定了一个引人入胜的方向。将神经网络推测和基于规则的验证相结合有望推动在自动化推理前沿长期存在的挑战的进展。https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/79d18880071e99cce854614ed9fdc4ca.png由 Dall-E-3 生成概述第一部分标题混合神经-符号系统的力量过渡我们看到了 AlphaGeometry 如何将神经网络和符号系统相结合。现在让我们来探讨它是如何克服纯神经网络方法的局限性的。第二部分标题克服纯神经网络方法的瓶颈过渡凭借其数据生成创新AlphaGeometry 使进步摆脱了瓶颈。接下来我们将探讨其更广泛的影响。第三部分标题为自动化推理开辟道路过渡AlphaGeometry 的开创性工作展示了混合推理的潜力。最后我们将这一成果与神经-符号人工智能的起源联系起来。第四部分标题回归神经-符号推理I. 混合神经-符号系统的力量神经网络实现多变的模式识别AlphaGeometry 的核心是一个基于前沿 Transformer 架构的神经网络证明引导模块。Transformer 推动了在语言、图像、语音和其他领域模式识别方面的突破。类似地AlphaGeometry 利用 Transformer 的多变学习能力来揭示隐藏在问题图中的潜在几何关系。通过摄入数百万个合成训练示例神经网络模型学会识别复杂的模式——如识别特殊角度或线段比例——这些模式可以提供构建性证明步骤的信息。这种灵活的神经网络模式识别为假设非显而易见的辅助术语提供了灵感这些术语可以扩展证明构建选项。神经网络模型通过引导基于学习到的视觉模式的潜在证明方向来指导整体搜索过程。符号推理引擎实现数学严谨性为了补充其神经创造性推测AlphaGeometry 集成了一个几何演绎数据库系统该系统确定性地应用形式符号逻辑规则。这个演绎引擎提供了一个坚如磐石的数学严谨性基础。它通过构建可验证的有效几何推理链来构建可解释、透明的推理链。每个演绎步骤都遵循已证明的逻辑规则通过符号验证确保整体证明的合理性。这在神经网络可能不透明或具有推测性的地方提供了精确性和可靠性。演绎系统还高效地实现了优化的符号操作程序以实现快速的多步形式推理。协同互补优势通过紧密集成 transformer 的模式识别和演绎引擎的逻辑严谨性AlphaGeometry 在合作框架内融合了机器创造力和数学严谨性。神经引导探索无限的构造空间假设有成效的辅助术语。符号验证用纪律性的逐步逻辑链将这些推测性跳跃固定下来。这种互动与人类在处理灵活见解和纪律性推理方面的能力相匹配甚至超越了人类。推理的未来在于混合神经符号架构这些架构协调各种 AI 技术以实现超越任何单一方法的协同效应。正如 AlphaGeometry 在数学领域开创性地展示的那样集成系统在推进逻辑思维方面具有巨大的潜力。我们看到了 AlphaGeometry 如何协同神经网络和符号系统。现在让我们来看看它是如何克服纯神经网络方法的局限性的。II. 克服纯神经网络方法的瓶颈克服神经网络数据稀缺瓶颈基于神经的推理系统的一个长期障碍是它们对大量标记训练数据的渴望。在几何等正式领域对数学证明进行手动标注以进行训练会严重造成数据稀缺。收集成千上万的人类构建的证明数据集可能成为一个难以克服的瓶颈阻碍进步。AlphaGeometry 通过一种称为合成数据生成的创新技术绕过这一障碍。自动化合成证明生成关键思想是算法性地制造合成训练数据而不是依赖于稀缺的人类示例。AlphaGeometry 通过以下方式做到这一点随机采样几何构造步骤如线、圆、角度等。将这些原始步骤结合起来自动生成数百万个新颖的定理陈述。将平行线原理等演绎规则应用于推导合成定理的证明。该管道同时合成新的定理前提及其相关证明无需手动标注。超越人类极限自动化合成证明生成消除了工程和数据收集瓶颈。这使得创造了超过一亿个独特的训练示例——远远超过手动可行的情况。广度探索了广泛的推理策略这些策略超出了有限的人类标注所能覆盖的范围。这种多样性为模型准备了解决数学逻辑证明搜索组合复杂性的能力。解锁可泛化推理通过在合成证明上而不是在罕见的人类示例上进行预训练神经网络引导模型AlphaGeometry 完全摆脱了数据依赖。自动数据生成充当了任意可扩展的替代品用于手动标注。这承诺即使在缺乏人类训练数据的专门形式领域推理也能取得进步。结果产生的神经符号系统在从未训练过人类证明的情况下展现出人类水平的数学直觉这展示了合成数据在解锁人工智能进步方面的范式转变潜力。通过其数据生成创新AlphaGeometry 使进步摆脱了瓶颈。最后我们将探讨更广泛的影响。III. 为自动化推理开辟道路AlphaGeometry 的开创性工作展示了一个有希望的模板用于进化更强大的 AI 推理系统。通过紧密协调神经推测和符号逻辑验证混合神经符号架构可以应对超越任何单一方法的多方面挑战。克服单一方法的局限纯神经网络和纯符号引擎在处理复杂现实世界推理如数学证明方面都表现出局限性单一的神经网络缺乏可解释性和可靠性保证单一的符号系统局限于没有创造性灵活性的演绎链条AlphaGeometry 通过合作的双架构克服了这些个别弱点。神经变换器组件在证明搜索过程中假设创造性的辅助结构。这扩大了推理画布的范围超出了演绎符号引擎的领域。同时符号逻辑组件严格验证神经推测巩固了严谨的推理链条。它们协同工作实现了单方面无法达到的协同效应。绘制人工智能推理的未来连接主义机器学习与可解释的符号逻辑的结合有望推动自动化推理达到前所未有的高度。通过协调它们互补的能力混合神经符号系统可以应对超越当今人工智能的多方面现实世界复杂性。AlphaGeometry 的创新在这个方向上开辟了一条令人兴奋的道路。它的技术可以催化解决数学、计算机科学、科学分析、逻辑辩论和其他推理前沿的长期挑战。通过将神经创造性与逻辑纪律相结合人工智能的未来在于既灵活又严谨的集成系统。AlphaGeometry 开创了混合推理的承诺——通过将机器学习与可解释的符号逻辑融合匹配并超越人类。其神经符号方法指向了一条培养更全面、类似人类的自动化智能的可行路径。IV. 回顾神经符号推理迈向混合推理将结构融入亚符号系统正如我们在 AlphaGeometry 系统中看到的那样将神经网络与符号方法如演绎数据库相结合能够解决单独采用任一方法所无法克服的挑战。同样结构化知识图谱的融合有望增强大型语言模型LLM以应对复杂的推理。正如符号引擎在 AlphaGeometry 中为神经创造力提供逻辑严谨性一样知识图谱可以为 LLM 的无节制推测提供经验基础和可追溯的推理路径。强化混合系统需求尽管大型语言模型表现出卓越的流畅性和适应性但如果没有辅助它们在深入解释推理、长因果链和创造性假设机制方面会面临挑战。知识图谱提供了结构化的符号表示来填补这些空白——但同时也面临着规模、噪声、不完整和稀疏性等自身挑战。这促使我们采取协调的神经符号方法融合这两种技术。正如演绎数据库在 AlphaGeometry 中为 Transformer 推理奠定基础一样基于事实的知识图谱可以为 LLM 生成的内容提供本体论框架以赋予其有效性。将神经推测推理与结构化逻辑知识相结合有望构建既灵活又严谨的集成系统。这种融合为培养全面、类似人类的自动化推理提供了稳健的途径。—首席人工智能官与架构师Fribl 神经符号 AI 系统构建者增强通用人工智能GenAI在人力资源领域的应用Fribl