【GPT入门】第9课 思维树概念与原理

1.思维树概念与原理

思维树（Tree of Thought，ToT ）是一种大模型推理框架，旨在解决更加复杂的多步骤推理任务，让大模型能够探索多种可能的解决方案路径 ，并选出最优解。以下为你详细介绍：

• 起源与背景：由普林斯顿和谷歌DeepMind联合提出。在大模型发展中，前谷歌大脑华人科学家Jason Wei提出的思维链（CoT）能增强大模型推理能力，但存在局限性。现有使用大模型解决通用问题的方法，局部上未充分探索思维过程的不同延续，总体上缺乏计划、前瞻或回溯机制。为解决这些问题，研究者提出了思维树框架。
• 核心原理 ：将问题解决视为在一棵思维树上进行搜索，每个节点都是一个状态，代表输入和思维序列的部分解。具体执行任务时需回答4个关键问题：
  • 思维分解：根据问题属性，将中间过程分解为合适的思维步骤。想法的粒度要恰当，既不能过大导致大模型难以连贯生成，也不能过小而无法评估其对解决问题的作用。
  • 思维生成器：基于树的当前状态，通过从思维链提示采样思维，或直接提出不同想法这两种策略，为下一个思维步骤生成多个候选者。
  • 状态求值器：评估不同状态在解决问题上的进展情况，以此作为搜索算法的启发式算法，来判断哪些状态值得继续探索以及探索的先后顺序。可以对每个状态独立赋值，也可以跨状态投票。
  • 搜索算法：根据思维树的结构，选用合适的搜索算法，如广度优先搜索（BFS）和深度优先搜索（DFS） 。BFS每一步维护一组最有希望的状态；DFS先探索最有希望的状态，必要时回溯到父状态继续探索。
• 与思维链的关系：思维链是让大模型生成一系列中间推理步骤来增强逻辑推理，而思维树是在思维链基础上的进一步发展。思维链是线性的推理路径，思维树则允许模型尝试多种不同的推理思路，进行自我评估、选择下一步行动方案，还能在必要时回溯，使大模型思维更加灵活和全面。
• 应用案例：
  • 24点游戏：将模型的思维过程分解为3个步骤，每个步骤是一个中间方程。利用思维树进行宽度优先搜索，每一步保留最好的若干候选项，并让大模型评估每个思维候选项达成目标的可能性，基于常识消除不可能的部分，最终大幅提升问题解决成功率。
  • 创意写作：对于给定多个随机句子，要求输出连贯段落的任务。构建深度为2的思维树，大模型先生成中间思维步骤，探索不同写作思路，然后基于这些思路生成最终的连贯段落，激发创造性思维以及高级规划能力。
  • 迷你填字游戏 ：思维树可以帮助大模型在填字过程中，探索不同的单词选择和填写顺序，通过评估每个状态来逐步完成填字任务，提高填字的准确率和效率。
    

2. 算24游戏的方法