ChatGPT 的走红再次掀起人们对人工智能的关注，那么在 ChatGPT 之后，人工智能将会如何发展？业内及 ChatGPT 的母公司 OpenAI 都认为 AGI 将是未来人工智能的发展方向。
AGI 理论研究和应用实践将可以从哪些方面出发？【ChatGPT 和大模型春季课程】最后一场话题讨论对此进行了解答，来自 UCL、人大、华为、清华、中科院、上交大、南大、利物浦大学的学者专家共聚一堂，探讨 “ChatGPT 后的通用人工智能理论和应用”。
以下是圆桌讨论内容的亮点整理。
Topic 1：我们以前一直向往通用人工智能，不需要为了任务设计算法对机器训练。ChatGPT 是不是给我们带来了这样的可能性，近几年可能实现这样的梦想吗？
刘群：一开始，我对 “通用人工智能” 这个词是有点反感的，因为我理解这是比较科幻的说法，感觉不太靠谱。所以我以前不太愿意回答有关这个概念的问题。但最近看来，这个词还挺合理的。它不是科幻性质的，现在的人工智能模型越来越通用，原来只能处理一些小问题或单一问题，现在 ChatGPT 基本可以处理各类问题，我感觉通用人工智能这个词还是挺合适的。
通用人工智能是否将要实现，我也不敢判断，但一定程度上，通用的自然语言处理是实现了。自然语言领域，解决任何一个小问题都是很复杂的，如机器翻译、情感分析、中文分词，它总是牵扯到所有东西，因为词都是文本和符号。任何小的方向，要做好，必须理解整个语言系统。所以 ChatGPT 在语言上的功能实现是很厉害的，尤其是 discourse 能力。因为 discourse 是自然语言里非常深层次和难解决的问题。ChatGPT 很好地学到了人类交流过程中的篇章结构，包括写文章的套路和话术，这是非常抽象的一种逻辑和组织文章的方式。还有一些最近的例子是它能模拟人讲话，代入某个角色，这是个嵌套结构的自然语言处理，它是一个堆栈，像 ChatGPT 对话题的转换，跳进跳出非常好，不会乱。
汪军：如果从机器学习里面来看，它的目标方程很简单，第一是对前面几个字预测下面一个字；第二是这段话回答出来是否跟人相似？这两个非常简单的目标，他为什么能学出这种感觉需要很多逻辑和提前设计的东西呢？
刘群：达到目标要很好地涉及到所用的复杂知识，知识掌握得越好越深，预测便越好。所以虽然目标简单，但要达到目标的手段可以无穷复杂。所以要做好，需要非常强大的模型和大量的数据。
黄民烈：过去在中国大家一般不太敢说 AGI 概念，甚至 AGI 定义都不太清楚。所以我们有时会调侃说中国的科学家不敢有梦想，因为只要说 AGI 都会被喷死。国外的科学家确实还是非常有理想和情怀，像 MIT 的教授 1966 年用 AI 对话系统做聊天机器人，心理治疗机器人，我觉得这是很难的一件事，他们敢想敢做，值得我们学习。
回到这个问题，我们现在离 AGI 有多远？我觉得在普遍意义上还挺远，ChatGPT 现在体现出来的智能水平还是在发展 AGI 的过程中，但我们不太敢想的事情已经有一点样子了。所以我觉得可能换一个提法会更好：我们不要讨论在广泛意义上它是否达到 AGI 的能力，因为从广泛意义上来讲，我们可能还要有各种各样的自主思考和泛化能力，但在今天我们看到的情况是，它确实在整体智能水平上已经不是任何过往一个 AI 能达到的。它的技术路线也很不一样，像 IBM Watson 做的 DeepQA 技术完全是传统和经典路线。这种语义分析的理解套路是要把一个句子的语法、句法结构分析很清晰，它代表了另一派学术思想。
但今天来看，ChatGPT 不仅是数据，更是数据和模型体现出来的威力，以及模型本身能够涌现出来的能力。所以我觉得未来它是不是通向 AGI 的一条正确道路？不同人不同观点，我觉得是值得尝试的一个方向，但不是唯一的方向。这是我的一个主要观点：它怎么习得的，其实也不完全是数据加模型的暴力美学，它还是体现了很多模型算法的设计，尤其是跟人类数据的对齐。OpenAI 很多细节没有披露，但我猜测它内部有很多精细的数据处理。现在看到的好像是简单地对数据上手，但其实可能还没有那么简单。
方蒙：ChatGPT 确实非常强大，最近我让它写代码，拿它写的代码直接去运行时，发现它出现一个 bug。我直接把这个 bug 的信息拷贝过来，让 ChatGPT 处理，它又给了我推荐一个函数和代码。但该函数已经在版本更新中被弃用了，我根据推荐的函数很快查到了它的更新，解决了我的问题。我在想，实际上一般人并不会专门学习代码，但我们需要交流。而 ChatGPT 确实在很多 NLP 任务上处理得很好，几乎考虑了大部分的 NLP 任务，似乎是一个万能 AI。但 OpenAI 公布的模型是基于 2021 年以前的数据学习的，对新知识无法处理。如果单纯从 NLP 角度来讲，它确实好像是一个 AGI 模型，它能处理好大部分的 NLP 研究的问题。未来我们要做 NLP 的科研肯定会创造出很多新问题，探索新东西。如果有一天 ChatGPT 也能做类似事情，自己创造新问题，而不是处理已有的问题。我相信这可能更靠近通用人工智能，因为它能自己产生新东西。我认为他现在习得的技能还是基于过去海量的数据，它的模型训练算力大，工程精细。但它可能只是一条路，有可能还有别的路。所以我们也可以去探索一下别的路。
另外，我也在想另一个问题，如果让它学 2022 年的数据，我们需要对它训练多久？是否能像人一样学习？或者学得更快更好？这些可能也是通用人工智能的要点之一。现在 OpenAI 公开使用的模型还没到这个程度，然而它确实很强大，这已经迈出了重要一步。
Topic 2：ChatGPT 的不足地方是什么？从机器学习角度来，它还有哪些方面可以改进以达到我们所希望的？或者它的能力边界是什么？
文继荣：不足明显还是有一些。第一，ChatGPT 的知识实时性不足，语言模型从海量数据中学习到的既有知识也有能力，二者是统一的，像人类大脑一样进行表达。但这些知识是在训练时已固定下来，所以会出现如 2021 年 9 月以后的新数据放进去学习的情况。把新东西加进去，要重新训练，成本很高，现在基本不太行。因此 ChatGPT 和 Bing 进行了集成，可以在最新网络数据上，把检索结果和内容生成结合。结合以后，可能很好解决 ChatGPT 知识实时性和正确性问题。但我个人认为这件事目前还是一个开始，非常值得深入研究。大模型里的数据是静态的，整个互联网或外部知识是动态的，当用模型生成结果时，怎么把模型内部的知识和外面的知识结合产生结果。这个问题现在还没有很好的答案，但如果做好了，意义非常重大。因为我们不能总是重新训练模型，我们需要有一个稳定的基础模型，当更多的动态数据或专业领域知识进来时，把它结合完成生成或推理工作。第二，我过去两年多一直在做多模态大模型，大家看 GPT-4 已经有一些多模态，令人印象深刻。再继续往前，我觉得还需要进一步去研究多个模态间怎么能很好一起做生成和推理等的工作。这是目前还需努力的。第三，我认为大模型目前最大的问题是成本太高，据说要到几百亿和千亿的规模才能有涌现能力，这件事情其实把科研界的路堵死了。如果我们手里没有 ChatGPT 这样规模的模型，是不是研究就做不了？如果我们将来没法在适中的模型上达到比较高的能力或性能，我们后面的科研会非常艰难。最近 NLP 领域受影响很大，其实信息检索受到的影响也很大，做传统 ranking 这样的工作已经没有意义。现在 Bing 已经是对话式搜索，马上对话式推荐也会来临。不知不觉中，可能 information retrieval 都会变成叫 information generation 了，领域都要改名。现在正发生天翻地覆的变化。希望未来在研究平台这方面有一些突破，如何在一个有限规模的模型上，同样呈现今天 ChatGPT 或 GPT-4 的模型能力是很重要的。
汪军：我想插其中一个解决方案，学术界的开源可能是必经之路了。大模型开源出来，可能至少在预训练模型，我们再去调整它，或者这个方向可以做一些科研工作。工业界去把构架弄出来，开源推动它更多地使用。下面有几个问题问李老师，虽然 ChatGPT 还有一些各种各样的缺陷，那李老师怎么看从研究人脑到跳跃到人工智能，我们何时能到所谓的 AI 超过人呢？
李澄宇：刚我在听讲的时候，脑里想得最多的是 “演化”，为什么？因为人工智能是从 1960 年代开始做，到现在它演化非常快速，是一个指数式的演化过程。而我们刚才说到 AGI，其实宇宙中已存在，AGI 就在人脑，它是一个物理实体和大网络，可以做很多事，所以人本身有 AGI。我们的大脑本身是一个有通用能力的网络，所以理论上不管是生物还是人工的神经网络，它能够做很多事。因为人工智能爆炸式的指数增长，所以产生像 GPT4 这样的革命性进展，它类比了人的生物脑的演化结果。人类大脑是在所有生物里神纪元的数量占身体比重最大的。现在鼠脑大概是 7000 万个神经元，猴脑大概是 60 亿个，人脑大概 800 亿到 1000 亿的数量级，这也是一个指数增长。所以从这个角度讲，GPT 演化的革命是很令人兴奋的。我个人把它看成是很重要的机遇，让我们这些做神经科学和脑科学的可以思考生物脑和人工脑之间的关系。
另外，从脑的机制层面，我觉得有很多有意思的可以讨论。刚才说到大模型在 2021 年结束后，不能进行连续学习的问题。但我们的人脑显然是有连续学习能力的，我们不会在某一个时间点以后不学了。但有意思的是我们脑内存在一些脑组织和区域控制着这个能力。一个例子是海马区 H.M 案例，医生把癫痫病人的海马体摘除后，他的长期记忆停在了做手术的时刻，之后他学不会新事实。这个例子和我们现在讨论的问题有点像，大模型的连续学习能力也许还没从生物脑中借鉴过来，所以我觉得这是一个机遇。神经科学应该和各位多交流，看怎么样把生物脑具有连续学习能力的机理抽离出来帮助设计新的人工智能神经网络。我想这是共同演化的过程，这个过程也会帮助我们去理解生物脑是怎么实现连续学习的。我们以前并没把这个问题看得很重要，但我现在觉得它是让我们持续地面对新挑战的重要事情。
我们现在正在做图谱研究，这是一个非常基础的研究，要搞清楚脑子里是有哪些类型的细胞，细胞间是怎么连接的，生物脑领域还不清楚这个问题， 但 AI 网络里很清楚每个神经元之间的连接，所以现在研究过程之中，我们与华大基因和华中科农业大学等研究机构一块做，发现不同的物种演化过程中，六种物种的海马变化非常大，有很多新类型的神经元出现，也有很多新脑区。在海马脑区里出现很多新亚区，我们研究了乌龟、鸟、小鼠、猴到人，这个过程里，人的行为能力不断增大。所以我想这种行为的复杂性和能力与海马脑区新细胞的出现，是对应的。我们在学习这些新细胞。
我想讲未来我们能够做什么，我感觉这里面可做事是非常多的。我们也在改变我们的研究方向。现在我觉得我们可以从鼠和猴的研究里抽取一些原理供人脑，可以低功耗地实现比较复杂的功能。虽然柯洁下棋下不过 AlphaGo，但柯洁只要每天吃几个面包和馒头就可以了，能耗是极低的，对智能体的要求也将走向这个方向，但人工智能 chat GPT 还不能解决这个问题，所以未来还需要从生物体借鉴，产生一个更低能耗的物理智能体。
未来需要把感知、认知和运动整合到一起，现在这种形式是不太能够控制一个机器人走来走去的，但我想未来可能至少要产生把感知领域解决。我们解 Chat GPT 或者 GPT4 是解决认知问题，未来还要连接到运动控制，我知道很多现在基于 transformer 的运动控制机器手和机械臂在不断发展。如果感知、认知、运动整合到一体后，每一单独的模块都能融合起来，像大家提到跨领域的融合，我觉得未来这是一个很重要的点。在人工智能发展的过程里，我希望脑科学可以和大家一块来做些更有意思的事情。
汪军：想问一下李老师人脑那么复杂，进化了那么多年，但是大脑没有奖励函数，也没有 inductive BIAS 的。但我们做机器学习时，要给它一定的先验的知识或者假设。如果没有先验知识或假设，它是没法进行任何预测的。机器学习里，现在我们虽然讲通用人工智能，但是现在还没能把这两个前提去掉，但反观人的大脑，是不是没有奖励机制，也没有先验知识，为什么能生成现在智慧？但现在的技术却达不到。李老师怎么看？AI 专家怎么看？是否需要奖励机制和先验知识？
李澄宇：我先抛砖引玉。第一，关于演化的过程有没有奖励机制，我认为是有的， 99% 以上的生物全都灭绝了，这个灭绝就是惩罚，但生物还存在的是奖励，所以从这点来说，物种和个体都是有奖励机制的。每个体都有奖励和惩罚，这些过程可以改变我们脑的结构和功能。所以，我认为奖励在生物演化里肯定是存在的。第二是您刚才说的 BIAS，其实生物体也是有 BIAS 的，生下来的小孩是有认知的，比如东西松手要掉下来等物理界的基本原理，我们把它叫做 BIAS，这是在脑子里存在着的，我们生下来时，神经网络已经过长期的进化，有对外界物理和人社会行为的一定 BIAS 在里面，包括对特定面孔的感兴趣。而机器学习不一样，需要人在外部换个角度，让人工智能连不同的代理去下棋，他们自己会生成一个自己不同的代际，可以把上一代作为它的 BIAS。我想这似乎是必然要存在的。当个体一直在某一任务态下时，我想它的在竞争物种之间会延某个特定的轨迹往前走，这个轨迹被物理实体所限定了框架。这个框架下必然依赖于它现有的边界，有 BIAS 才能让它比较快速地去获胜。
汪军：想问下让 AI 拥有自驱能力，它何时可以有个自我概念，可以自己往前进化，甚至意识。这个意识是人类独有的，这种现象目前 ChatGPT 也在做，它是不是有意识，能否知道别人的想法，但实际上它还只是停留在文字表列。甚至在文字表单上，它不一定百分百能抓住这个事情。我不知道大家怎么看这个事情，AGI 里如果不是有自我和有意识，是不是有奖励函数，那这是外面给它的还是它自己能产生的？
刘群：我稍微说一点我的理解。刚才李老师说生存是最终极的奖励，我非常赞成这一点，实际上人类生物的终极奖励是生存，它一切目的都是为了生存。但我们人在生活中，我会感觉到我们不是一切为了生存，但实际上这些都是一种生存压力最终转换成的。另外一种形式体现出来是奖励。它看上去不是为了生，但实际上它归根结底是为了生存。所以我相信现在的 AI 很难生成自我演化，因为它没有生存压力。假设把它放到荒野上，给它算力的限制，除非造出一个环境让它自己竞争，也许哪天会出把别人的电源线摘掉和保护自己的电源线。
李澄宇：意识问题显然是一个非常重要但没有解决的问题，但现在不是不可研究，在意识领域有很多比如有趣的一个研究方式给出弱视觉刺激，试验人报告有时能看见，有时看不见，可以认为是意识没汇报出能看见，这时比较脑子里的活动有很大差别。也许可以用这类游戏类给 chatGPT 或其他人工智能网络测试，测试他们有没有像人一样的意识表现。这个领域里其实有很多争论，现在肯定是没有答案的。我觉得可以去合作去做，因为我们在生物上可以做这方面的研究。给猴子 50% 看得见， 50% 看不见的刺激，看它的脑部活动，对比 AI 网络。
Topic 3：决策智能：我们现在的机器人可以看，可以读，但是没法走路，我们怎么能让它走起来？
俞扬：ChatGPT 或 GPT 的最近爆发，我虽然在强化学习决策领域，也感到很大的触动。在这个领域中，也在进行一些大模型的研究。但比较幸运的是，目前还没有出现任何可以替代或碾压强化学习的模型。这也表明了一个事实，现有的 GPT 模型和人类的生物智能相比，还有很大的差距。具体来说，ChatGPT 缺少 world model 这一部分。目前的 GPT 模型中没有 working memory，只有 context 和 prompt 的输入。在强化学习的研究中，我们发现这种 context 具有一定的记忆能力，即可以识别和记忆过去所做的行为、其带来的结果以及世界的反应。但这种记忆能力可能并不强，因为它只是线性的顺序排列，没有专门的地方来储存它。这与李老师之前提到的，生物体内的海马体对我们的短期记忆非常重要不一样。最近我们也阅读了有关生物方面的论文，发现其中有很多有趣的内容。海马体和 world model 之间存在着非常紧密的联系，但这是 GPT 模型所没有的。GPT 模型不会做梦。我们看到老鼠做梦时，它的海马体会回放它在白天遇到的事情，这实际上是 world model 的一个非常典型的表现。老鼠的身体没有动，但它的大脑在活动。它所看到的所有数据在它的大脑中回放，而且根据可视化的结果，它并不是按照时间顺序排列，而是倒过来放，从终点又回到起点，这与强化学习中的数据回放 replay memory 非常相似。因此，从这个角度来看，目前的 GPT 模型在功能上还不够完备。简单来说，它今天可能仍然只是一个所谓的联合概率估计模型。我们从老鼠的海马体中看到，当老鼠面对十字路口时，它的海马体会同时出现往左和往右的情况，这是它进行推理所需的脑区之一。目前的 GPT 模型还没有达到这个水平，因此我认为，为了做出更好的决策，GPT 模型需要进一步优化。如果它希望做出超越人类的决策，可能需要在底层结构上进一步改进。
虽然今天的大型模型有着很广泛的知识面，但在许多专业领域中，大型模型仍然不能完全掌握。在这些领域中，有很多数据不是公开的或者不是以语言形式存在的，可能是商业数据或医疗数据，属于隐私性数据。因此，在这些领域中，我们仍然会看到很多小型数据处理，小型数据并没有消失。我认为这是非常重要的一点。它们的关系，可能大型模型可以帮助我们处理总体性的问题，但对于小型领域的数据分析，特别是涉及决策的领域，我们发现许多领域中都存在小型数据和封闭数据，因此我们无法使用大型模型来解决这些问题。我们认为小型模型也值得关注，特别是当大型模型变得越来越好时，在专有领域中使用小型模型的应用可能会受到更多研究者的关注。
张伟楠：我想从反馈路径角度说，feedback 是 Richard Sutton 在教科书《强化学习》的前沿部分说过，我们人一生下来，其实不断地在和环境交互，从感知的信息做控制并获取反馈，在此闭环中不断学习。反馈这件事，ChatGPT 当中的 chat 其实是会得到一些回答，但是还会需要有的奖励函数。我们现在其实并没有这样的东西，它更多状态转移。但其实相关的奖励部分在 ChatGPT 中是没有直接给出的，所以如果只是训练 ChatGPT ，其实基本上除了最后的人在环路的对齐以外，其他部分都是监督学习，也即是大部分情况下它还没有用反馈的形式学习。可以设想，现在用 ChatGPT 去调用做决策的接口，像 ChatGPT for Robotics，可以发现它确实在一定程度上接入这些接口，能做出正确的决策，但这仅仅是在认知能力上的延伸而已，并没有在训练过程中调接口便能最大化奖励。如果把反馈链条闭环，其实会带来决策智能真正地往更优的性能发展。最关键的点并不一定是设计细致的奖励函数，而是它有没有能力判定决策任务是否被成功完成。如果决策任务成功或者失败的信号能反馈到 ChatGPT，其实这就形成一个闭环去不断反馈，完全自发地完成决策任务。
Q & A 环节
Q1: 从多模态能力的实现来看，百度文心似乎是通过百度文本模型、对话模型和图文等能力进行了一种缝合。请问各位老师能否讲解一下如何通过零散能力整合成一个多模态大模型？这与 GPT4 的多模态能力实现有什么区别？
张伟楠：首先第一我不知道文心它背后的设计，但我感觉它很像以文本为主的，调用 API 去实现的多模态交互能力。如果让百度文心大模型去产生一段语音，它有可能是先产生文本，再调用 API，让它以某种方言语音播放出来。这其实是一种外延能力，但核心还是语言大模型和真正的多模态大模型间的区别。但这只是我的猜想，并不代表文心真正的实现是这样子。
Q2: 未来更成熟的大模型与传统机器学习、深度学习等小模型的关系将会变得怎么样？
俞扬：虽然今天的大模型有很宽泛的知识面，但是在很多专业领域里，大模型还不能完全掌握。依然有很多领域的数据不是公开的或数据不是语言式的，它可能是商业数据或医疗数据，属于隐私性的数据，所以在这些领域里，我们可能看到的还是有很多小数据处理，小数据并没有消失。我觉得这个是很重要的一点，它的关系会是什么样子？可能大模型能帮助我们去做总体的事情，但对于小领域的数据分析，特别是决策类的，我们发现好多领域里都是小数据和封闭数据，所以没有办法用大模型来解决。所以我们觉得小模型也是值得关注的，特别是当大模型变得很好后，是不是有更多研究者会关注小模型上在专有领域里的应用。
Q3: 想请问一下刘老师，由于 ChatGPT 是生成模型，在实践过程中经常出现虚构的新闻或论文引用，您如何看待这种现象，以及您认为有什么可以改善的方式？
刘群：实际上对模型本身来说，它是无法区分事实和非事实的。从定义来说，可以认为预训练数据里出现过的东西或判断是事实，如果没有出现它则非事实。但模型在生成时，它是不知道它都变成模型参数了。模型参数输出的东西，有些符合预训练的数据，有些不符合，这很常见的。所以模型本身，它无法区分。但是这个事情也不是完全不能改进，可以看到 GPT4 在事实性上有改进。这是通过学习，尽量减少非事实，找到事实。但我觉得简单地通过大模型现有的神经网络方式，是不太能够彻底解决问题的。所以还是要去探索一些别的方法，用外在的判断来解决。这个问题是个非常好的问题。
汪军：这个问题其实也可以反过来看，为什么？虚构可能也是好事。在某些情况下，让它去写赋诗或作文，希望它能有科幻元素，所以使得这个问题非常困难。到底是希望去找事实，还是希望去构想，的确比较模棱两可，需要一个目标才能够搞定。
Q4：华为作为优秀的 AI 工业代表，接下来会研发自己的 ChatGPT 吗？基于现在的业务，在大模型或多模态上会有什么布局？
刘群：首先华为一定会正面迎接挑战，我们在这方面也有很多积累，对于具体业务规划布局我可能很难在这里讲得太具体了，但大家可能注意到有一个任总的讲话，提到有人问任总关于 ChatGPT 的问题，任总说 ChatGPT 我们不要仅看到它是一个 NLP 或视觉的问题，实际上它潜力非常大，而且以后更大的潜力可能不是在简单的表面上可能是 NLP 视觉的结合或多模态的问题。它可能在华为的各种各样的业务中，80% 的应用都会在一些大家可能没有想象到的业务中。我觉得潜力是非常大的，华为一定会正面去迎接挑战，而且是发展自己这方面的能力。
Q5: 目前从神经科学角度看， ChatGPT 系统还有什么方向可以尝试让它更加类似人的思维反馈？
李澄宇 ：这个显然是非常好的问题。脑科学和内科学是非常分化的，大家意见都很不一样。我只能代表个人意见，我觉得未来的通用人工智能可能是一个很重要的点。如果我旁边站的一个实体，和我长得差不多，和我有差不多单智能，可以帮我解决问题。如果从这角度来讲，现在的 ChatGPT 的形态可以有很多。它可以把一些运动加进去，而且他需要连续学习他也需要有一定的自我意识。我觉得有自我意识以后，可以解决很多刚才说的这些 fake 的虚假新闻。还有刚才说的伦理，从最根本的数据来源上看，有伦理问题。因为全世界 190 多个国家里，多数国家的文化是没有反映在 ChatGPT 里的，我觉得从整体伦理角度，我们都需要有一个全新的角度思考，怎样构造更公平、更有效、更智能的智能体。RLCN 同学问的问题其实包含 Inductive BIAS。我觉得 Inductive BIAS 很重要，这种初始的认知地图和我刚刚说的智能、整体的运动、引导都有关系，这对生存也很重要。
Q6：GPT 大模型会不会颠覆已有的机器学习研究范式？后大模型时代，人工智能理论研究还重要吗？
刘群：虽然我不是做理论的，但我认为理论很重要，但我没有想象出理论如何帮助我们现在的 AI 做得更好。但我希望理论帮忙回答一个问题，我们经常说大模型涌现，但涌现本身没有什么太奇怪的，我觉得模型大了一定会涌现一些新能力，别说是大模型，正常的小孩长大了，比他原来的体重增加 10 倍，他能力肯定和原来不一样，所以涌现我觉得很正常。但是有没有哪个理论能精确预测一下各种能力必须在多大的模型和多大的数据上才能够涌现出来？我很想知道这件事情，而且大模型到什么程度能够涌现出怎样的新能力？
方蒙：我觉得未来可能的研究方向是 GPT 表现了强大的逻辑推断能力，我很想知道怎么才能证明这是真正的逻辑推断能力，而不是说学很多数据后模仿出来的逻辑推断。我也很好奇，要多少数据多大的模型才能涌现逻辑推断能力。所以我觉得我们可以有一些经验结果，但如果我们要正确答案，确实需要在理论方面做更多研究。
文继荣：这个问题我觉得还挺好的，我自己觉得可以研究，现在 GPT4 或其他 GPT 大模型呈现出这么多认知的能力，或类人的行为。将来是不是会出现一门科学，比如叫数字大脑学？因为这个模型本身是我们的研究对象。我觉得研究大模型本身是非常有意义的，在这里研究发现的东西可以反过来对将来脑科学或认知科学里有很多重要的启示。
李澄宇：我觉得这是一个很好的问题，可以问一下 GPT4，原因是 Stan Dehaene 说意识里面有两个核心的特质，选择性处理和监督，一是对输入信息有全局性的选择性处理，二是监控自己的意识。所以从这个角度来讲 ChatGPT 自身或它未来的后代能不能自己监督自己的行为？这是理论层面可以去问的，也可以去构建新的框架或网络结构产生这种能力。从这个角度讲，也许理论框架可以帮助构建新一代的人工智能。
汪军：是的，而不只是 attention 知道能力边界。比如 Transformer 现在的这种架构能力边界在哪里？什么事可以做，什么不可以做，它是不是有 working memory？反馈函数能力的边界在哪里？有些东西它可以涌现，有些东西它不可能涌现。这些的确要非常扎实的理论基础来研究。还有 Inductive BIAS 的先验知识，首先 Transformer 的设计，它本身是一个先验的知识，没了先验知识是否可以做成？我觉得这些问题都是非常的需要理论研究的，如果没有指引方向，大家成了无头苍蝇。
