MiniCTX：面向大语言模型定理证明的上下文相关基准测试系统

卡内基梅隆大学的研究人员推出MiniCTX，这是一个强大的基准测试系统，旨在通过整合前所未有的多重上下文元素（包括前提、先前证明、注释、符号以及导入和声明等结构组件）来彻底改变大型语言模型中定理证明能力的评估方式，从而更真实地模拟现实世界中的数学证明环境。

论文介绍

大型语言模型 (LLM) 在数学自动化领域有着巨大的潜力，而形式化定理证明已成为评估其推理能力的关键基准。虽然这些模型在通过证明完成和形式化工具辅助数学家方面展现出希望，但在弥合当前评估方法与现实世界定理证明复杂性之间的差距方面仍然存在重大挑战。实验室性能与实际应用之间的脱节引发了人们对基于 LLM 的证明器真正有效性的担忧。当前的方法通常无法捕捉到真实定理证明场景中所需的数学推理的复杂性，从而限制了它们的实际效用。这种差异凸显了对更复杂的评估框架的需求，这些框架可以准确地评估 LLM 处理真实数学证明中遇到的多方面挑战的能力。

为了增强语言模型的定理证明能力，人们开发了各种方法。最早的突破是下一个策略预测，其中模型根据当前的证明状态生成下一个证明步骤。随后出现了更复杂的方法，例如前提检索条件化（将相关的数学前提纳入生成过程）和非正式证明条件化（使用自然语言证明作为指导）。另一种值得注意的方法涉及使用文件上下文微调模型，使其能够在没有中间证明状态的情况下生成完整的证明。虽然这些方法证明了渐进式的改进，但它们主要集中在定理证明的孤立方面，而不是解决数学推理的全部复杂性。每种方法都带来了具体的创新，但在处理形式化定理证明的综合要求方面仍然有限。

卡内基梅隆大学的研究人员推出了 MiniCTX，这是一个强大的基准测试系统，旨在彻底改变大型语言模型中定理证明能力的评估。该系统通过整合先前方法忽略的多个上下文元素，为定理证明中的上下文处理引入了一种综合方法。这个创新框架通过整合前提、先前证明、注释、符号以及导入和声明等结构组件，专门解决了现实世界定理证明的挑战。该系统由 NTP-TOOLKIT 支持，NTP-TOOLKIT 是一个从 Lean 项目中提取相关定理和上下文的自动化工具，可确保持续更新并防止数据污染。这种强大的架构代表着在创建更真实、更实用的定理证明评估方面迈出的重要一步。

MiniCTX 的架构建立在一个包含 376 个定理的综合数据集之上，这些定理来自六个不同的数学项目，包括素数定理、多项式 Freiman-Ruzsa 猜想和科学计算形式化。该系统的结构围绕着每个定理的三个关键组件：定理陈述本身、完整的先前文件内容以及详细的元数据。元数据组件特别复杂，包含文件信息、版本控制数据、位置上下文、前提关系、模块导入和证明特征。这种分层架构支持精确的上下文重建，允许用户访问文件内和跨文件的上下文信息。该系统以 JSON 格式维护所有数据，确保可访问性和标准化。该实现包括自包含的定理和那些在多个文件之间具有复杂依赖关系的定理，从而创建了数学证明环境的真实表示。

实验结果表明，在定理证明中使用上下文相关方法可以显着提高性能。在包含所有文件上下文的条件下训练的文件微调模型的成功率达到了 35.94%，而仅依赖证明状态的状态-策略模型的成功率为 19.53%。类似地，向 GPT-4o 提供先前文件上下文带来了实质性改进，达到了 27.08%，而仅使用证明状态时为 11.72%。前提选择在不同场景中表现出不同的有效性，特别是在 GPT-4o 的高跨文件依赖性案例中提高了性能，尤其是在 PFR 和 SciLean 等项目中。然而，文件微调模型在使用前提选择时表现出不一致的结果，这表明在有效整合跨文件上下文方面存在挑战。值得注意的是，在 miniF2F 基准测试（侧重于没有上下文依赖关系的独立问题）中进行测试时，文件微调模型相对于状态-策略模型的改进很小，这突出了 miniCTX 评估上下文相关证明能力的独特能力。

该研究揭示了上下文相关定理证明未来发展需要改进的几个关键领域。当前在处理长上下文方面的局限性（为了满足 token 预算而进行的截断可能会丢弃有价值的信息）提出了重大挑战。整合存储库级别的上下文和跨文件依赖关系仍然特别具有挑战性，因为当前的前提选择方法显示出不一致的改进。此外，在复杂证明（尤其是那些需要五行以上代码的证明）上的性能相对较低，这表明处理复杂的数学推理仍然是一个开放的挑战。这些发现强调需要更复杂的方法来处理自动化定理证明中的上下文。

论文下载

• 论文地址：https://www.arxiv.org/abs/2408.03350
• 项目地址：https://cmu-l3.github.io/minictx/

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。