Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

机器之心编辑部报道

图灵奖获得者Yann LeCun:未来几十年AI研究的最大挑战是「预测世界模型」

LeCun 认为,构造自主 AI 需要预测世界模型,而世界模型必须能够执行多模态预测,对应的解决方案是一种叫做分层 JEPA(联合嵌入预测架构)的架构。该架构可以通过堆叠的方式进行更抽象、更长期的预测。LeCun 和 Meta AI 希望分层 JEPA 可以通过观看视频和与环境交互来了解世界是如何运行的。

深度学习大规模应用之后,人们一直期待真正的通用人工智能出现,能够带来进一步的技术突破。

对此,Meta 首席科学家、图灵奖获得者 Yann LeCun 最近提出了一种新思路:他认为让算法预测世界内在运行规律的「世界模型」将是关键。他的思考引发了人们的关注。

在本周的一次线上活动中,LeCun 用一个小时的时间介绍了自助人工智能的新思路,并提出联合嵌入预测架构(JEPA)是未来的发展方向。

图片


尽管 AI 研究最近取得了显著进展,但我们离创造出像人一样思考和学习的机器还有很长的路要走。正如 Yann LeCun 所说,一个从没有开过车的青少年可以在 20 小时之内学会驾驶,但最好的自动驾驶系统却需要数百万或数十亿的标记数据,或在虚拟环境中进行数百万次强化学习试验。即使费这么大力,它们也无法获得像人类一样可靠的驾驶能力。

怎样才能打造出接近人类水平的 AI?仅靠更多的数据和更大的模型能解决吗?

在 Meta AI 近期举办的 Inside the Lab event 中,LeCun 勾勒出了构建人类水平 AI 的另一种愿景。他指出,学习「世界模型」(即世界如何运作的内部模型)的能力可能是关键。


  • 原视频链接:https://www.youtube.com/watch?v=DokLw1tILlw

  • PPT 链接:https://drive.google.com/file/d/1Txb9ykr03Lda-oTLXbnlQsEe46V8mGzi/view


Yann LeCun 的观点与 Kanai 等人提出的意识信息生成理论非常一致——智能源于能够生成世界复杂表示的能力(包括反事实),不过也有学者对此持消极态度。

卡耐基梅隆大学教授,前苹果 AI 研究主管 Russ Salakhutdinov 对此评价道:Josh Tenenbaum 和其他很多研究者在十年前已经开始研究世界模型,当时我在他的实验室做博士后。因此,当 Facebook 说他们正在研究基于世界模型的 AI 新愿景时,我觉得这听起来有点好笑。

LeCun 提出的方法究竟能否成为通向通用人工智能的道路?让我们结合 Meta AI 前几天的博客来了解一下 LeCun 的想法。

可以建模世界如何运行的 AI

LeCun 说,人和动物似乎能够通过观察和难以理解的少量互动,以一种独立于任务的、无监督的方式,学习大量关于世界如何运行的背景知识。可以假设,这些积累起来的知识可能构成了常识的基础。常识可以被看作是世界模型的集合,可以告诉我们什么是大概率会发生的,什么是可能发生的,以及什么是不可能发生的。

图片


这使得人类即使身处不熟悉的环境也能有效地制定计划。例如,文章开头提到的那个青少年可能以前没有在雪地上开过车,但他知道雪地开车容易打滑,不能开得太猛。

常识不仅能让动物预测未来的结果,还能填补时间或空间上缺失的信息。当司机听到附近金属碰撞的声音时,他立即就能知道发生了事故,即使没有看到涉事车辆。

人类、动物和智能系统使用世界模型的观点可以追溯到几十年前的心理学以及控制和机器人等工程领域。LeCun 提出,当今 AI 面临的最重要的挑战之一是设计学习范式和架构,让机器以一种自监督的方式学习世界模型,然后利用这些模型进行预测、推理和规划。他的大纲融合了各种学科的观点,如认知科学、系统神经科学、最佳控制、强化学习和「传统」AI,并将它们与机器学习中的新概念相结合,如自监督学习、联合嵌入架构。

一种自主智能体系架构的提出

LeCun 提出了一个由六个独立模块组成的架构。假设每个模块都是可微的,因为它可以很容易地计算某个目标函数相对于自己的输入的梯度估计,并将梯度信息传播到上游模块。

图片


上图是一种自主智能系统的架构,配置器(Configurator)从其他模块获得输入(图中省略了这些箭头)。

配置器(Configurator)模块负责执行控制(executive control):给定要执行的任务,可以通过调整这些模块的参数来预先配置感知模块(perception module)、世界模型(world model)、成本(cost)和当前任务的 actor。

感知模块(Perception module)接收来自传感器的信号并估计当前世界的状态,对于给定的任务,只有一小部分感知到的世界状态是相关和有用的。配置器模块启动感知系统,从感知中提取相关信息,完成手头的任务。

世界模型(World model)构成了架构中最复杂的部分。它的作用是双重的:(1)估计感知未提供的关于世界状态的缺失信息;(2)预测合理的未来世界状态。

世界模型可以预测世界的自然进化,或预测由 actor 模块提出的一系列动作所导致的未来世界状态。世界模型是一种与当前任务相关的世界部分的模拟器。由于世界充满了不确定性,模型必须能够代表多种可能的预测。比如接近十字路口的司机可能会减速,以防另一辆接近十字路口的车没有在停车标志处停下来。

成本模块(Cost module)计算单个标量的输出,该输出预测智能体的不适(discomfort)程度。它由两个子模块组成:内在成本(intrinsic cost)是硬连接、不可变的(不可训练的),并计算直接的不适(比如对智能体的损害、违反硬编码的行为约束等);批判(critic)是可训练的模块,预测内在成本的未来值。智能体的最终目标是最小化长期的内在成本。

「这就是基本的行为驱动力和内在动机所在,」LeCun 表示。因此它将考虑到内在成本,比如没有浪费能源,以及手头任务的具体成本。因为成本模块是可微的,所以成本梯度可以通过其他模块反向传播,用于规划、推理和学习。

actor 模块计算动作序列的提议。「actor 可以找到一个最优的动作序列,最小化预估的未来成本,并以最优序列输出第一个动作,这种方式类似于传统的最优控制。」LeCun 说。

短期记忆模块(Short-term memory module)跟踪当前和预测的世界状态以及相关成本。

世界模型架构和自监督训练

该架构的核心是预测世界模型。构建它的一个关键挑战是如何使它能够表示多个看似合理的预测。现实世界并不是完全可以预测的:特定情况的演变有多种可能的方式,并且情况的许多细节与手头的任务无关。我可能需要预测开车时周围的汽车会有哪些动作,而不需要思考道路附近树木中单个叶子的详细位置。世界模型到底应该如何学习世界的抽象表示,从而保留重要细节,忽略不相关的细节,并且可以在抽象表示的空间中进行预测呢?

解决方案的一个关键要素是联合嵌入预测架构(JEPA)。JEPA 捕获两个输入 x 和 y 之间的依赖关系。例如 x 可以是一段视频,y 可以是视频的下一段。输入 x 和 y 被馈送到可训练的编码器,这些编码器提取它们的抽象表示,即 s_x 和 s_y。训练预测器模块以从 s_x 预测 s_y。预测器可以使用潜变量 z 来表示 s_y 中存在但 s_x 中不存在的信息。

JEPA 以两种方式处理预测中的不确定性:(1)编码器可能会选择丢弃有关 y 的难以预测的信息,(2)当潜变量 z 在一个集合范围内变化时,预测将在一组看似合理的预测结果范围内变化。

图片


那么 JEPA 是如何训练的呢?之前,唯一的方法是使用对比方法,包括显示相匹配的 x 和 y 的示例,以及许多 x 和不匹配的 y 的示例。但是当表示(representation)是高维的时,这是相当不切实际的。过去两年出现了另一种训练策略:正则化方法。当应用于 JEPA 时,该方法使用四个标准:

  • 使 x 的表示最大限度地提供关于 x 的信息

  • 使 y 的表示最大限度地提供关于 y 的信息

  • 使得从 x 的表示中最大限度地预测 y 的表示成为可能

  • 让预测器使用来自潜变量的、尽可能少的信息来表示预测中的不确定性。


这些标准可以以各种方式转化为可微的成本函数。一种方法是 VICReg(方差 - 不变性 - 协方差正则化)方法。在 VICReg 中,x 和 y 的表示的信息内容通过将它们的分量的方差保持在阈值之上,并使这些分量尽可能地相互独立来实现最大化。同时,该模型试图使 y 的表示可以从 x 的表示中预测。此外,潜变量信息内容的最小化是通过使其离散、低维、稀疏或有噪声来实现的。

图片


JEPA 的精妙之处在于它自然地产生了输入的充满信息量的抽象表示,消除了不相关的细节,这些表示可以用来执行预测。这使得 JEPA 可以相互堆叠,以便学习具有更高抽象级别的表示,可以执行长期预测。

例如,一个场景可以在高层次上描述为「厨师正在制作可丽饼」。可以预测的是,厨师会去取面粉、牛奶和鸡蛋,把材料混合,把面糊舀进锅里,用油炸面糊,翻转可丽饼并重复上述过程。

在较低的层次上,倾倒面糊(pouring a ladle)又可以分解为舀面糊(scooping some batter )和将其倒在平底锅上(spreading it around the pan)。这些过程可以一直分解下去,具体到厨师手上每一毫秒的精确轨迹。在这种低层次的手部轨迹预测上,我们的世界模型只能在较短的时间范围内给出准确的预测。但在更高的抽象层次上,它可以做出长期预测。

图片


分层 JEPA 可用于在多个抽象层次和多个时间尺度上执行预测。训练分层 JEPA 主要通过被动观察,很少借助交互。

婴儿在出生后的头几个月主要通过观察来了解世界是如何运行的。她了解到世界是三维的;有些物体在其他物体的前面;当一个物体被遮挡时,它仍然存在。最终,在大约 9 个月大的时候,婴儿学会了直观物理,例如不受支撑的物体会因重力而落下。

LeCun 和 Meta AI 希望分层 JEPA 可以通过观看视频和与环境交互来了解世界是如何运行的。通过训练自己预测视频中会发生什么,JEPA 将产生世界的分层表示。通过做出一些动作并观察结果,世界模型将学会预测其动作的后果,这将使其能够进行推理和规划

感知 - 动作 episode

通过将分层 JEPA 训练为世界模型,智能体能够执行复杂动作的分层规划,将复杂任务分解为一系列不太复杂和不太抽象的子任务,直到分解为效应器上的低层次动作。

下图是一个典型的感知 - 动作 episode。该图说明了两层层次结构的情况。

图片


感知模块提取世界状态的分层表征(对应图中 s1[0]=Enc1(x) , s2[0]=Enc2(s[0]))。然后,在给定第二层 actor 提出的一系列抽象动作的情况下,多次应用第二层预测器来预测未来状态。actor 优化第二层的动作序列以最小化总成本(图中的 C(s2 [4]))。

这个过程类似于最优控制中的模型预测控制(Model-Predictive Control)。对第二层潜变量的多个 drawing 重复该过程,可能会产生不同的高级场景。由此产生的高级动作虽然不能构成真正的动作,但是定义了低层次状态序列必须满足的约束。

这也构成了子目标。整个过程在较低的层次重复:运行低层次预测器,优化低层动作序列以最小化来自上一层的中间成本,并对低层潜在变量的多个 drawing 重复该过程。一旦该过程完成,智能体将第一个低层次动作输出到效应器,就可以重复整个 episode。

如果能成功构建这样一个模型,那么所有模块都将是可微的,因此整个动作优化过程可以使用基于梯度的方法来执行。

更接近人类智能水平的 AI

LeCun 的愿景中还存在许多艰巨的挑战。其中最有趣和最困难的挑战之一是实例化(instantiate)世界模型架构和训练过程的细节。一定程度上,训练世界模型将是未来几十年人工智能取得实际进展面临的主要挑战。

然而,世界模型架构的许多方面仍有待定义,包括如何精确地训练 critic、如何构建和训练配置器(configurator)、如何使用短期记忆来跟踪世界状态和存储历史状态等等。

创造像人类一样有效学习和理解的机器是一项长期的科研工作,并且不能保证一定会成功。但基础研究必将继续加深机器对世界的理解,推进整个人工智能领域的发展。

参考内容:
https://ai.facebook.com/blog/yann-lecun-advances-in-ai-research/
理论Yann LeCun
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

最优控制技术

最优控制是指在给定的约束条件下,寻求一个控制,使给定的系统性能指标达到极大值(或极小值)。它反映了系统有序结构向更高水平发展的必然要求。它属于最优化的范畴,与最优化有着共同的性质和理论基础。对于给定初始状态的系统,如果控制因素是时间的函数,没有系统状态反馈,称为开环最优控制,如果控制信号为系统状态及系统参数或其环境的函数,称为自适应控制。

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括:在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化,以及尝试对学习集的剩余部分进行猜测,并且输出正确的结果。当与多个泛化器一起使用时,堆叠泛化可以被看作是一个交叉验证的复杂版本,利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时,堆叠泛化是一种用于估计(然后纠正)泛化器的错误的方法,该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

轨迹预测技术

轨迹预测探索不同交通代理的运动模式,准确预测未来轨迹,帮助自主车辆做出合理的导航决策。

通用人工智能技术

通用人工智能(AGI)是具有一般人类智慧,可以执行人类能够执行的任何智力任务的机器智能。通用人工智能是一些人工智能研究的主要目标,也是科幻小说和未来研究中的共同话题。一些研究人员将通用人工智能称为强AI(strong AI)或者完全AI(full AI),或称机器具有执行通用智能行为(general intelligent action)的能力。与弱AI(weak AI)相比,强AI可以尝试执行全方位的人类认知能力。

自监督学习技术

一个例子中的内容特别多,而用一个例子做一个任务,就等于把其他的内容浪费了,因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分,用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分,就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」

推荐文章
暂无评论
暂无评论~