语言模型和人类的推理都依赖内容

人类不太擅长逻辑，需要依赖内容直觉进行推理。许多认知研究表明，人类的推理并不是完全抽象的（不是完全的形式与内容分离）。

相反，我们的推理取决于问题的内容：

• 当内容支持逻辑推理时，我们回答得更准确，
• 当内容和逻辑冲突时，我们会犯更多的错误。

这篇论文对最先进的大型语言模型和人类进行了评估，发现语言模型反映了人类在这些任务中观察到的许多相同模式--与人类一样，当任务的语义内容更准确时，模型的回答也更准确。

这些相似之处既反映在回答模式中，也反映在较低层次的特征中，如模型回答分布与人类响应时间之间的关系。我们的研究结果对理解人类的这些认知效应以及语言模型性能的影响因素都有意义。

抽象推理是智能系统的一项关键能力。
大型语言模型（LMs）在抽象推理任务中的表现超过了预期，但也表现出许多不完美之处。然而，人类的抽象推理也是不完美的。例如，人类的推理会受到现实世界知识和信念的影响，并表现出明显的 "内容效应"；当问题的语义内容支持正确的逻辑推理时，人类的推理会更加可靠。

这些与内容相关的推理模式在有关人类智力基本性质的争论中发挥着核心作用。

在这里，我们研究了语言模型（其先验预期捕捉到了人类知识的某些方面）是否同样在逻辑问题的答案中混入了内容。

我们在三个逻辑推理任务中探讨了这一问题：自然语言推理、判断三段论的逻辑有效性和华森选择任务。

• 在简单的NLI自然语言推理任务中，无论内容如何，LM和人类都接近天花板。
• 在更困难的三段论和Wason任务中，准确性降低，并且当内容支持逻辑时，人类和LM都表现出比不支持逻辑时更好的性能。

在许多情况下，这些相似之处延伸到捕获人类内容效应的更精细的细节，例如内容对无效三段论的影响大于有效三段论，甚至在内容和其他任务变量的准确性控制中存在显着的项目级相关性。

相似之处还不仅仅是准确性;

• 在NLI和三段论任务中，我们发现人类响应时间和模型置信度之间存在项目级关联（logprob差异），即使在控制内容等时也是如此。
• 在Wason任务中，响应时间以不同的方式很重要-即使是现实的（内容支持的）版本对人类来说也比我们预期的要困难，只有响应最慢的子集（80秒）在这些问题上表现出高于机会的表现。

总的来说，我们发现LM和人类在推理任务上的表现有很大的重叠：内容对准确性和其他行为指标产生了类似的影响。人类和LMs都不是理想的抽象推理者

人类不太擅长逻辑，但内容可以在一定程度上提供帮助。

观点：推理源于直觉的证据
这篇令人信服的证据表明，人类和LLM大模型在推理时都非常依赖直观的归纳过程，而不是纯粹的逻辑演绎。以下是其中的三个主要原因：

首先，推理的准确性在很大程度上取决于人类和LLM的语义内容，这一发现表明了直觉知识和偏见的影响。如果推理是纯粹的逻辑（形式）推理，那么它就不会受到所涉及的实体是否符合现实世界关系的影响。内容效应揭示了直觉对逻辑应用的影响。

其次，人类与 LLM大模型 之间的相似性意味着人类与 LLM 有着共同的归纳、直觉基础。LLM 从语言的统计模式中获取知识，而不是逻辑规则的指导。它们通过归纳学习获得的偏差与人类的直觉如出一辙，这表明人类的推理与归纳有关。

第三，正规的逻辑教育只能部分减少人类的内容偏差。这表明仅靠明确的逻辑训练无法消除直觉偏差的影响。尽管进行了逻辑训练，但这些偏差依然存在，这有力地说明直觉过程在人类推理中发挥着不可或缺的作用。

总之，人类与 LLM 在将内容与逻辑相融合方面的相似之处、模型归纳与人类直觉之间的共性以及逻辑训练的局限性共同提供了令人信服的证据，证明人类和人工智能在推理时都会利用直觉和演绎。这些发现使人们对将人类推理视为纯粹逻辑系统的观点产生了怀疑。推理似乎深受对世界统计模式的直觉吸收的影响。

https://www.jdon.com/69468.html