2018/07/17 14:20

学习世界模型，通向AI的下一步：Yann LeCun在IJCAI 2018上的演讲

人工智能顶会 IJCAI 2018 的主要议程于昨日在瑞典首都斯德哥尔摩开始。昨天上午，Facebook 首席人工智能科学家、纽约大学教授 Yann LeCun 在会上发表了近一个小时，以《Learning World Models: the Next Step towards AI》为主题的演讲，引起了人们的广泛关注。本文将对 LeCun 的演讲进行简要介绍。

完整演讲视频：

Yann LeCun 开场介绍说，当前几乎所有的机器学习从业者在实践中使用的都是监督式学习：向机器展示大量的样本，然后告诉机器正确的答案与内部参数，然后就能做图像识别之类的任务。而过去几年，监督式学习有了极大的成功，应用也非常广泛。下图对比了传统机器学习与深度学习各自的特点。

深度学习的演讲回溯到 20 世纪 50 年代，当时 AI 社区尝试构建神经网络。建立这样略为复杂的系统，你需要两个基础的运算：线性的加权和与非线性的激活函数。这里，Yann LeCun 回顾了他们在 80 年代末期提出的用来识别数字的卷积神经网络 LeNet5，从最初的识别单个目标发展到了识别多个目标。

很快，他们就建立了一个识别手写文件的系统。在 1995 年，他们在 AT&T 完成了一个商业系统来读取支票账号。经历了如下图展示的过程。Yann LeCun 介绍了，这是上一波人工智能浪潮下的极大成功示例。之后，人们就对神经网络的研究失去了兴趣。一方面是准确率的原因，还因为很多领域当时没有足够多的数据来训练学习系统。

接着，Yann LeCun 介绍说，实际上在 1996-2001 年这段时间内，他并没有研究机器学习，而是在研究其它东西，尤其是图像压缩。

下图是在 21 世纪初加入 NYU 之后用模仿学习做的研究。这个研究激发了 DARPA 的 LAGR 项目。

Yann LeCun 随后回顾了卷积神经网络在不同任务中的应用，包括用于自动驾驶汽车的目标检测与语义分割等。这些基于视觉的任务绝大部分都需要卷积神经网络的支持，当然也离不开并行计算设备的支持。

第一个得到广泛关注与应用的卷积神经网络是 2012 年提出来的 AlexNet，它相比于 LeNet-5 最大的特点是使用更深的卷积网络和 GPU 进行并行运算。AlexNet 还应用了非常多的方法来提升模型性能，包括第一次使用 ReLU 非线性激活函数、第一次使用 Dropout 以及大量数据增强而实现网络的正则化。除此之外，AlexNet 还使用了带动量的随机梯度下降、L2 权重衰减以及 CNN 的集成方法，这些方法现在都成为了卷积网络不可或缺的模块。

随后在 ImageNet 挑战赛中，卷积网络的深度与性能都逐年提升。从 12 年到 16 年，参赛者使用的卷积神经网络不断加深，错误率也逐年下降。

如下所示，牛津大学 2014 年提出了另一种深度卷积网络 VGG-Net，与 AlexNet 相比，它的卷积核更小，层级更深。谷歌同年提出了 GoogLeNet（或 Inception-v1），该网络共有 22 层，且包含了非常高效的 Inception 模块。后来到了 15 年，何恺明等人提出的深度残差网络骤然将网络深度由十几二十层提升到 152 层，且性能大幅提高。

此外，去年提出的 DenseNet 进一步解决了 ResNet 遗留下的梯度问题，并获得了 CVPR 2017 的最佳论文。DenseNet 的目标是提升网络层级间信息流与梯度流的效率，并提高参数效率。它也如同 ResNet 那样连接前层特征图与后层特征图，但 DenseNet 并不会像 ResNet 那样对两个特征图求和，而是直接将特征图按深度相互拼接在一起。

那么为什么卷积神经网络在计算机视觉任务上如此高效？Yann LeCun 随后就对深度卷积网络的表征方式做了介绍。他表明对于图像数据来说，数据的信息与结构在语义层面上都是组合性的，整体图像的语义是由局部抽象特征组合而成。因此深度网络这种层级表征结构能依次从简单特征组合成复杂的抽象特征，如下我们可以用线段等简单特征组合成简单形状，再进一步组合成图像各部位的特征。

卷积神经网络在目标识别、目标检测、语义分割和图像描述等领域都有非常多的应用，而这些实现很多都依赖于深度学习框架。LeCun 随后重点介绍了 PyTorch 与 Detectron，其中 PyTorch 因为采用了动态计算图而受到了广泛的关注，它也是当前发展最快的框架之一。

如下所示，Facebook AI 研究院开源的 Detectron 基本上是业内最佳水平的目标检测平台。据 LeCun 介绍，该项目自 2016 年 7 月启动，构建于 Caffe2 之上，目前支持目标检测与语义分割算法，其中包括 Mask R-CNN（何恺明的研究，ICCV 2017 最佳论文）和 Focal Loss for Dense Object Detection（ICCV 2017 最佳学生论文）等优秀的模型。

最后，作为对卷积神经网络的总结，LeCun 带我们回顾了卷积神经网络的应用，包括医疗影像分析、自动驾驶、机器翻译、文本理解、视频游戏和其它学科研究。

Yann LeCun 谈到当前深度学习缺乏推理能力，因此未来的一个重点发展方向就是深度学习和推理的结合。

人们已经在多个方向上进行尝试。例如，在网络中增加记忆增强模块，典型的工作在下图中列出，这是实现推理的第一步。在对话模型中，由于对话的轮换和非连续的特点，通过增强记忆，有助于预测能力的提高，进而能实现长期而有效的对话。

为什么要强调记忆建模的重要性呢？在强化学习中，无模型的强化学习训练需要大量的尝试才能学会一项任务。

因此此类方法在游戏中表现良好，如 FAIR、DeepMind、OpenAI 等之前都已在许多游戏上实现接近甚至超越人类的 AI 系统，但这些系统并没有达到现实应用的水平。

因为现实环境远远比游戏中的环境要复杂得多，无论是变量复杂度还是不确定性方面，对此，无模型的强化学习系统面对的探索空间是相当巨大的。而且，不像 AlphaGo 那样可以在计算机上模拟成千上万次比赛，现实世界环境是无法被「加速」的，有些试验还涉及很大的风险，这也大大限制了系统的训练资源。

那么目前来看，人工智能到底缺少了什么？监督学习需要太多的样本，强化学习需要太多的尝试，AI 系统缺乏常识。

Yann LeCun 总结了一下这两类系统的缺点：缺乏独立于任务的背景知识；缺乏常识；缺乏预测行为后果的能力；缺乏长期规划和推理的能力。简言之就是：没有世界模型；没有关于世界运行的通用背景知识。用更一般的语言来讲就是，目前的机器无法在心里想象（表征）世界，而只是像僵尸一样被气味驱使着（无意识地）行动。记忆建模只是一方面，建立完整的世界表征才是我们真正需要的。

在现实应用层面，Yann LeCun 总结道，利用现有的监督学习和强化学习技术，我们可以在自驾汽车、医疗图像分析、个性化医疗、语言翻译、聊天机器人（有用但还很蠢）、信息搜索、信息检索、信息过滤以及其它领域中取得不错的进展，但仍然无法实现常识推理、智能个人助理、智能聊天机器人、家庭机器人以及通用人工智能等。

然后，Yann LeCun 指出我们可以从婴儿的学习方式上获得启发。婴儿对外部世界的概念学习大部分是通过观察，仅有小部分是通过交互，而视觉比触觉、体感等能捕获更多、更完整的外部信息。那么机器如何做到这一点？其实，这种情况不止发生在人身上，动物也是如此。LeCun 随后展示了一幅婴儿和大猩猩观看魔术的图，并解释说，当违反世界模型，也就是当我们观察到一些不寻常、与世界模型不匹配的东西时，我们的注意力就会被调动（如婴儿和大猩猩看到魔术表演会大笑就是因为世界模型被违反了）。

接下来，LeCun 解释了突破强化学习现状的解决方法：自监督学习，它能通过输入的某一部分预测其它部分。在空间层面上包括图像补全、图像变换等，在时间层面上包括时序数据预测、视频帧预测等。

Yann LeCun 总结了三类学习范式，分别是强化学习、监督学习和自监督学习，相比于强化学习和监督学习，自监督学习将输入和输出当成完整的整体。它们的区别和联系在于反馈信息的逐渐增多，模型表征复杂度、适用任务类型也大幅增加，同时任务中涉及的人类工程比重也大大减少，意味着自动化程度的增加。

LeCun 还用之前经常使用的蛋糕比喻来说明三者的关系，之前蛋糕胚代表的是无监督学习，现在则被换成自监督学习。

Hinton 在自监督学习领域探索了多年，LeCun 之前一直持怀疑态度，现在终于认可了这个方向。

机器学习的未来不会是监督学习，当然也不会纯粹是强化学习，它应该是包含了深度模块的自监督学习。

那么下一个问题是，自监督学习能够产生一般的背景知识吗？这里重点是模型需要推断出背景知识，它需要从真实世界收集的背景知识推理出当前它希望预测的任务。如下 LeCun 举了一个例子，如果接收到一个自然语句，模型应该推断出当前场景的各种背景知识。

对于基于模型的经典最优控制，我们可能需要初始化一个序列来模拟世界，并通过梯度下降调整控制序列来最优化目标函数。而目前我们可以通过强化学习的方式模拟世界，这些模型不仅需要预测下一个可能的动作，同时还需要预测一系列可能的未来。

接下来 Yann LeCun 介绍了使用对抗训练的视频预测。他首先展示了预测无监督学习。人类是很擅长预测的，然而机器很难预测未来会发生什么。近年来的研究中出现了一些使用「对抗训练」的成功案例，但是仍有很长的路要走。Yann LeCun 用一个纽约公寓的视频示例进行举例说明。

语义分割空间的视频预测

这部分 Yann LeCun 介绍了当前语义分割预测的现状。

Latent-Variable Forward Models for Planning and Learning Policies

下图展示了用于推断动作和潜在变量的模型架构。

然后 Yann Lecun 展示了一个现实世界的真实案例。

最后，Yann Lecun 总结了技术和科学之间的互相驱动和促进，如望远镜和光学、蒸汽机和热力学、计算机和计算机科学等。并提出了疑问：什么相当于智能的「热力学」？

人工智能和自然智能背后是否存在底层原则？
学习背后是否存在简单的准则？
发脑是否是进化产生的大量「hack」的集合？

视频链接：https://www.facebook.com/ijcaiecai18/videos/2184672041673770/

理论Yann LeCunIJCAI 2018IJCAI世界模型

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来（Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)），自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展，但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个：首先，在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境，从而进行实时推论。第二，信息性决策需要准确的感知，目前大部分已有的计算机视觉系统有一定的错误率，这是自动驾驶导航所无法接受的。

来源：机器之心

图像压缩技术

图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输数据。图像压缩可以是有损数据压缩也可以是无损数据压缩。

来源：维基百科

激活函数技术

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

来源：维基百科 Google ML glossary

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

阿尔法围棋技术

阿尔法围棋是于2014年开始由英国伦敦Google DeepMind公司开发的人工智能围棋程序。AlphaGo是第一个打败人类职业棋手的计算机程序，也是第一个打败围棋世界冠军的计算机程序，可以说是历史上最强的棋手。技术上来说，AlphaGo的算法结合了机器学习（machine learning）和树搜索（tree search）技术，并使用了大量的人类、电脑的对弈来进行训练。AlphaGo使用蒙特卡洛树搜索（MCTS：Monte-Carlo Tree Search），以价值网络（value network）和策略网络（policy network）为指导，其中价值网络用于预测游戏的胜利者，策略网络用于选择下一步行动。价值网络和策略网络都是使用深度神经网络技术实现的，神经网络的输入是经过预处理的围棋面板的描述（description of Go board）。

来源： Deepmind

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

LeNet技术

LeNet 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5。LeNet5 的架构基于这样的观点：（尤其是）图像的特征分布在整张图像上，以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方式。在那时候，没有 GPU 帮助训练，甚至 CPU 的速度也很慢。因此，能够保存参数以及计算过程是一个关键进展。这和将每个像素用作一个大型多层神经网络的单独输入相反。LeNet5 阐述了那些像素不应该被使用在第一层，因为图像具有很强的空间相关性，而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。

来源：LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.

机器人技术技术

机器人学（Robotics）研究的是「机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。机器人可以分成两大类：固定机器人和移动机器人。固定机器人通常被用于工业生产（比如用于装配线）。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成，这也是人工智能领域最早的终极目标之一。

来源：机器之心

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

深度残差网络技术

残差网络是为了解决深度神经网络（DNN）隐藏层过多时的网络退化问题而提出。退化（degradation）问题是指：当网络隐藏层变多时，网络的准确度达到饱和然后急剧退化，而且这个退化不是由于过拟合引起的。

来源：Deep Residual Learning for Image Recognition 机器之心

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

随机梯度下降技术

梯度下降（Gradient Descent）是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知，使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。在机器学习中，我们可以利用随机梯度下降的方法来最小化训练模型中的误差，即每次迭代时完成一次评估和更新。这种优化算法的工作原理是模型每看到一个训练实例，就对其作出预测，并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

Alex网络技术

AlexNet是一个卷积神经网络的名字，最初是与CUDA一起使用GPU支持运行的，AlexNet是2012年ImageNet竞赛冠军获得者Alex Krizhevsky设计的。该网络达错误率大大减小了15.3%，比亚军高出10.8个百分点。AlexNet是由SuperVision组设计的，由Alex Krizhevsky, Geoffrey Hinton和Ilya Sutskever组成。

来源：ImageNet Classification with Deep Convolutional Neural Networks

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式，所以目标函数就是设计变量的函数，是一个标量。从工程意义讲，目标函数是系统的性能标准，比如，一个结构的最轻重量、最低造价、最合理形式；一件产品的最短生产时间、最小能量消耗；一个实验的最佳配方等等，建立目标函数的过程就是寻找设计变量与目标的关系的过程，目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

来源：百度百科

聊天机器人技术

聊天机器人是经由对话或文字进行交谈的计算机程序。能够模拟人类对话，通过图灵测试。聊天机器人可用于实用的目的，如客户服务或资讯获取。有些聊天机器人会搭载自然语言处理系统，但大多简单的系统只会撷取输入的关键字，再从数据库中找寻最合适的应答句。

来源：维基百科

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

掩饰的基于区域的卷积神经网络技术

Mask R-CNN是一个概念上简单，灵活和通用的对象实例分割框架。该方法能够高效地检测图像中的对象，同时为每个实例生成高质量的分割蒙版。这种方法通过添加一个用于预测对象蒙版的分支来扩展R-CNN使之更快，该分支与现有的用于边界框识别的分支并行。

来源：He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017, October). Mask r-cnn. In Computer Vision (ICCV), 2017 IEEE International Conference on (pp. 2980-2988). IEEE.

动量技术

优化器的一种，是模拟物理里动量的概念，其在相关方向可以加速SGD，抑制振荡，从而加快收敛

来源：An overview of gradient descent optimization algorithms

模仿学习技术

模仿学习（Imitation Learning）背后的原理是是通过隐含地给学习器关于这个世界的先验信息，就能执行、学习人类行为。在模仿学习任务中，智能体（agent）为了学习到策略从而尽可能像人类专家那样执行一种行为，它会寻找一种最佳的方式来使用由该专家示范的训练集（输入-输出对）。

来源：机器之心

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心