机器之心原创

2024/06/24 14:50

语言≠思维，大模型学不了推理：一篇Nature让AI社区炸锅了

方向完全搞错了？

大语言模型（LLM）为什么空间智能不足，GPT-4 为什么用语言以外的数据训练，就能变得更聪明？现在这些问题有「标准答案」了。

近日，一篇麻省理工学院（MIT）等机构发表在顶级学术期刊《自然》杂志的文章观察到，人类大脑生成和解析语言的神经网络并不负责形式化推理，而且提出推理并不需要语言作为媒介。

这篇论文声称「语言主要是用于交流的工具，而不是思考的工具，对于任何经过测试的思维形式都不是必需的」，引发了科技领域社区的大讨论。

难道真的如语言学家乔姆斯基所言，追捧 ChatGPT 是浪费资源，大语言模型通向通用人工智能（AGI）的路线完全错了？

让我们看看这篇论文《Language is primarily a tool for communication rather than thought》是怎么说的。

论文链接：https://www.nature.com/articles/s41586-024-07522-w

语言是人类智能的一个决定性特征，但它所起的作用或多或少一直存在争议。该研究提供了神经科学等相关学科角度的最新证据，以论证现代人类的语言是一种交流工具，这与我们使用语言进行思考的流行观点相反。

作者首先介绍了支持人类语言能力的大脑网络。随后回顾语言和思维双重分离的证据，并讨论语言的几种特性，这些特性表明语言是为交流而优化的。该研究得出结论认为，尽管语言的出现无疑改变了人类文化，但语言似乎并不是复杂思维（包括符号思维）的先决条件。相反，语言是传播文化知识的有力工具，它可能与我们的思维和推理能力共同进化，并且只反映了人类认知的标志性复杂性，而不是产生这种复杂性。

^{图 1}

研究证据挑战了语言对于思维的重要性。如图 1 所示，使用 fMRI 等成像工具，我们可以识别完整、健康的大脑中的语言区域，然后检查在完成需要不同思维形式的任务时，语言区域的相关响应。

人类大脑中的语言网络

从人脑的生物学结构来看，语言生成和语言理解由左半球一组相互连接的大脑区域支持，通常称为语言网络（图 1a；Box 2 描述了它与语言神经生物学经典模型的关系）。

^{Box 2。许多教科书仍然使用 Wernicke 提出的语言神经基础模型，并由 Lichteim 和 Geschwind 进行了阐述和修订。该模型包括两个皮层区域：Broca 区位于下额叶皮层，Wernicke 区位于后上颞叶皮层。这两个区域分别支持语言产生和理解，并通过一条背侧纤维束（弓状束）连接。}

语言网络有两个非常重要的特性：

首先，语言区域表现出输入和输出模态的独立性，这是表征抽象性的关键特征。主要表现为在理解过程中，这些大脑区域对跨模态（口头、书面或手语）的语言输入做出反应。同样，在语言生成过程中，无论我们是通过口语还是书面语来产生信息，这些区域都是活跃的。这些区域支持语言理解和生成（图 1a）这一事实表明，它们很可能存储了我们的语言知识，这对于编码和解码语言信息都是必需的。

其次，语言区还能对词义和句法结构进行表征和处理。特别是，关于脑磁图和颅内记录研究的证据表明，语言网络的所有区域都对词义以及词间句法和语义依赖性敏感（图 1a）。总之，语言网络中语言表征的抽象性以及网络对语言意义和结构的敏感性使其成为评估语言在思维和认知中的作用假设的明确目标（(Box 3）。

我们对人类语言和认知能力，以及它们之间关系的理解仍然不完整，还有一些悬而未决的问题：

语言表征的本质是什么？
思维是否依赖于符号表征？
儿童学习语言时，语言网络是如何成长的？

语言对于任何经过检验的思维形式都不是必需的

经典的方法是通过研究大脑损伤或疾病的个体来推断大脑与行为之间的关联和分离。这种方法依赖于观察大脑某部分受损时个体行为的变化，从而推测不同大脑区域的功能和行为之间的联系。

有证据表明 —— 有许多个体在语言能力上有严重的障碍，影响到词汇和句法能力，但他们仍然表现出在许多思考形式上的完整能力：他们可以解决数学问题，进行执行规划和遵循非言语指令，参与多种形式的推理，包括形式逻辑推理、关于世界的因果推理和科学推理（见图 1b）。

研究表明，尽管失去了语言能力，一些患有严重失语症的人仍然能够进行所有测试形式的思考和推理，他们在各种认知任务中的完整表现就是明证。他们根本无法将这些想法映射到语言表达上，无论是在语言生成中（他们无法通过语言向他人传达自己的想法），还是在理解中（他们无法从他人的单词和句子中提取意义）（图 1b）。当然，在某些脑损伤病例中，语言能力和（某些）思维能力都可能受到影响，但考虑到语言系统与其他高级认知系统的接近性，这是可以预料的。

尤其是一些聋哑儿童，他们长大后很少或根本没有接触过语言，因为他们听不见说话，而他们的父母或看护人不懂手语。缺乏语言接触会对认知的许多方面产生有害影响，这是可以预料的，因为语言是了解世界的重要信息来源。尽管如此，语言剥夺的个体无疑表现出复杂的认知功能能力：他们仍然可以学习数学、进行关系推理、建立因果链，并获得丰富而复杂的世界知识。换句话说，缺乏语言表征并不会使人从根本上无法进行复杂的（包括符号的）思考，尽管推理的某些方面确实表现出延迟。因此，在典型的发展中，语言和推理是平行发展的。

完整的语言并不意味着完整的思维

以上证据表明，迄今为止测试的所有类型的思维都可以在没有语言的情况下实现。

接下来，论文讨论了语言和思维双重分离的另一面：与语言介导思维的观点相反，完整的语言系统似乎并不意味着完整的推理能力。

^{人类语言是由交流压力塑造的。}

来自发育性和后天性脑部疾病的证据表明，即使语言能力基本完好，也可能存在智力障碍。

例如，有些遗传疾病导致智力受损程度不同，但患有这些疾病的人的语言能力似乎接近正常水平；还有一些精神层面有缺陷的人，会影响思考和推理能力，但同样不会影响语言。最后，许多获得性脑损伤的个体在推理和解决问题方面表现出困难，但他们的语言能力似乎完好无损。换句话说，拥有完整的语言系统并不意味着自动具备思考能力：即使语言能力完好无损，思考能力也可能受损。

总的来说，这篇论文回顾了过去二十年的相关工作。失语症研究的证据表明：所有经过检验的思维形式在没有语言的情况下都是可能的。fMRI 成像证据表明：参与多种形式的思考和推理并不需要语言网络。因此，语言不太可能成为任何形式思维的关键基础。

MIT 研究得出结论的同时，顶尖 AI 领域学者最近也发表了对大模型发展的担忧。上个星期四 Claude 3.5 的发布号称拥有研究生水平的推理能力，提升了行业的标准。不过也有人表示经过实测可见，它仍然具有 Transformer 架构的局限性。

对此，图灵奖获得者 Yann LeCun 表示，问题不在于 Transformer，而是因为 Claude 3.5 仍然是一个自回归大模型。无论架构细节如何，使用固定数量的计算步骤来计算每个 token 的自回归 LLM 都无法进行推理。

LeCun 也评论了这篇 Nature 论文，对思维不等于语言表示赞同。

对此，你怎么看？

^{参考内容：}

^{https://news.ycombinator.com/item?id=40756176}

^{https://x.com/ylecun/status/1804834054954459539}

理论麻省理工学院

相关数据

因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes

神经科学技术

神经科学，又称神经生物学，是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。对人脑研究是个跨领域的范畴，当中涉及分子层面、细胞层面、神经小组、大型神经系统，如视觉神经系统、脑干、脑皮层。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

逻辑推理技术

逻辑推理中有三种方式：演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

通用人工智能技术

通用人工智能（AGI）是具有一般人类智慧，可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标，也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI（strong AI）或者完全AI（full AI），或称机器具有执行通用智能行为（general intelligent action）的能力。与弱AI（weak AI）相比，强AI可以尝试执行全方位的人类认知能力。

来源：wikipedia

语言学技术

每种人类语言都是知识和能力的复合体，语言的使用者能够相互交流，表达想法，假设，情感，欲望以及所有其他需要表达的事物。语言学是对这些知识体系各方面的研究：如何构建这样的知识体系，如何获取，如何在消息的制作和理解中使用它，它是如何随时间变化的？语言学家因此关注语言本质的一些特殊问题。比如: 所有人类语言都有哪些共同属性？语言如何不同，系统的差异程度如何，我们能否在差异中找到模式？孩子如何在短时间内获得如此完整的语言知识？语言随时间变化的方式有哪些，语言变化的局限性是什么？当我们产生和理解语言时，认知过程的本质是什么？语言学研究的就是这些最本质的问题。

来源：Linguistics