2019/02/19 13:45

Yann LeCun：未来的AI芯片应该这样做

「（关于 AI 芯片的开发）我们正处于非常初期的阶段……」在国际芯片顶会 ISSCC 上，深度学习先驱 Yann LeCun 破天荒地披露了 Facebook 正在自研深度学习芯片的信息。在这个硬件大会上，这一次他不仅说了很多，而且面对的是满堂芯片领域专家，颇有一副「我来教你怎么做芯片」的姿态。

2019 ISSCC 大会近日在美国旧金山开幕，Facebook 首席 AI 科学家 Yann LeCun 在会上发表了主题演讲「深度学习硬件：过去、现在和未来」，介绍了深度学习研究的发展将如何影响未来硬件架构。

LeCun 在演讲中表示，我们对深度学习专业硬件的需求只会增加，动态网络、联合记忆结构和稀疏激活都将会影响未来硬件架构的类型。「这可能需要我们重造电路中的算法。」LeCun 说，如今的计算芯片明显没有面向深度学习进行优化，「所以人们正在尝试设计表达数值的更高效方式。」

此外，在接受 VentureBeat 的采访中他还表示：深度学习可能需要一种比 Python 更灵活、更易于使用的新编程语言，目前尚不清楚是否有必要对此进行研究，但这种未来的语言与研究人员和工程师们根深蒂固的思想肯定是完全相反的。

在下面的视频中，LeCun 讨论了业内需要解决的硬件挑战，以创造更高效、更有效的 AI 系统。LeCun 在 Twitter 上表示该视频很好地总结了他今天在 ISSCC 的演讲。

接下来，机器之心将对 Yann LeCun ISSCC 大会演讲的核心内容进行介绍：

PPT 地址：https://pan.baidu.com/s/1lXv0aDSEKXKYQVhJc5X6-A

LeCun 蛋糕 2.0 版、对图网络优化的 AI 芯片

未来的人工智能芯片肯定和现在相对通用化的 CPU、GPU 有着不同架构，这一切还要从深度学习的发展说起。所以 LeCun 首先对在场的观众们介绍了 AI 算法的发展。

我们都知道机器学习的蛋糕理论：假设机器学习是一个蛋糕，强化学习是蛋糕上的樱桃，监督学习是外面的糖衣，无监督学习则是蛋糕本体。在这之中，无监督学习的重要性不言而喻。为了让强化学习奏效，也离不开无监督学习的支持。

在 ISSCC 2019 上，Yann LeCun 再次放出了最新版的「LeCun 蛋糕图」：

其中，无监督学习变成了自监督学习，我们可以认为 LeCun 所说的自监督学习就是一种无监督方法，模型预测的结果就是输入本身或输入的一部分。例如常见的自编码器，我们希望将图像压缩到一个短向量，再恢复完整的图像，我们希望输入和输出都是相同的，因此这可以视为一种自监督。又例如近来非常流行的预训练语言模型，我们会删除完整句子的某个或某些词，并希望模型重建完整语句，这里输入和预测也是相同的，因此它也是一种自监督学习。

目前的蛋糕与 LeCun 在 NIPS 2016 大会上第一次发布的版本已有所不同：

事实证明，机器学习的研究人员真的喜欢蛋糕，有时也会在上面放个樱桃。

未来的 AI 芯片将会发展成什么样？在回顾了历史之后，LeCun 给出了自己的期望。首先，我们迫切地需要低功耗芯片处理来自移动设备的所有传感器数据，因为一些数据对于带宽和延迟较为敏感，在发送到云端之前需要预先处理。

然后是「中间段」计算的范畴，它们通常是传统的「离线」神经网络训练和传统云端推理。这些任务都会消耗大量资源，因此科技公司急需获得更加高效的硬件。

在深度学习「食物链」的最高端，Facebook 和亚马逊、谷歌的研发部门一样正需要英伟达 GPU 之外的更多解决方案。当前，英伟达 GPU 是深度学习训练事实上的解决方案。「在最高端的位置，我们需要的是目前主流解决方案之外的竞争者。」LeCun 表示，「这并不是因为它们（英伟达芯片）并不擅长机器学习任务，而是因为我们需要未来计算的另一种思路，作为目前 GPU 短板的补充。」

下一代芯片的架构仍然是一个悬而未决的问题。显然，未来的神经网络体量将远远超过当前，因为我们可能需要输入整个视频的像素进行推理，从而预测视频片段的运动。但与此同时，这些操作可能必须在与当今基于矩阵乘法硬件不同的处理架构中进行计算。LeCun 认为，矩阵和张量是当今人工智能计算的基石，但在未来的 AI 计算中，它们可能并非最佳解决方案。

「当前最先进的芯片基本上都是对大量 4×4 矩阵乘法在进行优化。」LeCun 表示。「所以如果你可以把自己的整个神经网络简化为 4×4 矩阵乘法，它就很好用。但这种硬件可能无法对大量卷积运算进行优化。」

「在某种程度上，这和目前深度学习研究者在思考的执行操作相同：访问数据不再通过交互作用，而是通过纯粹数组。你所拥有的就是指针的数组，指向所需的数据。」Yann LeCun 说道。这对于处理基于计算图的数据非常有效。

深度学习算法的进步

LeCun 在演讲中详细介绍了机器学习算法的发展历程、硬件和算力的发展、深度学习的崛起、新架构的研究、强化学习的突破和自监督学习的未来。虽然很多内容是我们比较熟悉的，例如深度学习部分介绍的各种前沿视觉模型、DL 新架构中介绍的图神经网络、自监督学习中的预训练语言模型，但还是有一些新的观点或角度。

这一部分将简要介绍 LeCun 演讲的脉络，更详细的内容可查看 PPT 或其它资源。首先 LeCun 从感知机开始介绍了机器学习发展的风风雨雨，尤其是 SGD 及反向传播算法的提出，以及通用计算芯片的大力发展，这些都为深度模型提供了基础。当然机器学习早期发展肯定少不了 LeNet-5，它简单优美的 5 层结构奠定了后续众多卷积神经网络的基础。

尽管 1990 年 LeCun 就已经提出了 LeNet-5，但直到 2012 年 AlexNet 在 ImageNet 的成功，卷积网络才真正进入研究前沿。因此 LeCun 表示当时学到的经验教训是硬件条件真的会影响研究方向，好的软硬件框架能大幅度提升新方法的进一步研究。

随着深度学习的崛起，卷积神经网络展现出强大的信息提取能力，它结构简洁、参数高效、计算快速，是理想而优雅的建模工具。因此深度 AlexNet、更深的 VGG 以及突破深度瓶颈的 ResNet 都相继提出。LeCun 表示这一段时间大家都在探索高效的卷积架构，包括探索更小卷积核的 VGG-Net、探索优良局部拓扑结构的 GoogLeNet，以及探索更优梯度传播路径的 ResNet 与 DenseNet。

虽然看起来只是网络变得越来越深，但隐藏在下面的信息流、梯度流、感受野以及张量计算流都经过不同的考虑，每一个基础架构的更新都令我们兴奋不已。

在基础架构不断进步的过程中，各种视觉任务及其子任务也都在大步向前。例如视觉领域最基础的识别、定位和分割任务，它们各自经历一系列发展历程：从简单的基础卷积架构到为特定任务构建的高效卷积运算与结构。例如两阶段目标检测算法，它们从 R-CNN 到 Fast R-CNN 再到 Faster R-CNN，这三种模型的提出旨在更高效地利用卷积和卷积抽取的特征，更快地预测图像类别和物体位置。

除此之外，各种用于特定任务的架构和工具也层出不穷，包括大名鼎鼎的 Mask R-CNN、结合底层和抽象信息的 FPN、用于医疗影像的 3D 卷积网络等。到了近两年，视觉任务除了变得越来越精细化、衍生了很多子任务以外，它本身也在进化。例如统一实例分割与语义分割，我们就可以提出全新的全景分割，这种新任务的端到端训练方法仍然是研究前沿。

在深度学习时代，模型架构的突破很大程度都依赖于 GPU 提供的巨大算力。但仅仅取得好结果还不够，我们的经验教训是它还必须易于复现及可靠，这比单纯提供跑分结果重要得多。

对于新型 DL 架构，LeCun 表示我们关注的是记忆、推理和结构化处理，这三者都是目前还未真正解决的问题。首先记忆不仅包括像 LSTM 或 GRU 那样的短期记忆，同时还包括神经图灵机那样的长期记忆，它们是令模型真正理解语境并进行推理的关键。

其次最近图神经网络在结构化数据上展示了很好的效果，LeCun 也介绍了它和一般卷积网络的不同及使用范围。与传统的图嵌入相比，图神经网络可以在整个网络上进行信息传播、聚合等建模，也就是说它可以把网络当成一个整体进行建模。DeepMind 提出的图神经网络一般框架 Graph Network 在一定程度上能为深度学习提供对归纳和推理的建模方式，因此得到了很多研究者的关注。

前沿的深度学习研究还有很多，但 LeCun 表示也许动态网络会成为主流，因为它能打破当前硬件的很多假设。尽管图神经网络可能在很多应用上会有很好的表现，但它主要处理图结构的结构化数据。而像图像或语音那样的非结构化数据，我们没有高效的手段转化为结构化数据，因此图网络仍然任重道远。

强化学习怎么样？Yann LeCun 总结说它在游戏和虚拟环境中表现很好，但存粹的强化学习难以用到真实世界中。

存粹的强化学习需要太多的试错，难以学习所有东西。那么我们离「真实的」AI 还差了什么？下图给出了说明。

自监督学习是 AI 的未来

LeCun 在演讲中还展望了未来，他认为自监督学习将是潜在的研究方向和解决方案。自监督学习能够通过输入的某一部分预测其它部分。在空间层面上包括图像补全、图像变换等，在时间层面上包括时序数据预测、视频帧预测等。

LeCun 再次用著名的「蛋糕图」解释了自监督学习，并介绍了自监督学习在计算机视觉、自然语言处理中的应用，如在文本中的应用（Word2vec、FastText、BERT）。

不过他也表示自监督学习在处理高维连续信号时表现不佳，例如做视频预测。

但是人工智能的未来不会是监督学习，当然也不会纯粹是强化学习，它应该是包含了深度模块的自监督学习。

此外，LeCun 还介绍了自监督学习在学习世界模型上的应用及前景。使用自监督学习，机器可以通过输入的未标注图像、视频或音频来学习世界的抽象表征。

学习世界预测模型

在这一部分，Yann LeCun 介绍了如何学习预测、推理、规划，如何学习常识。

规划需要预测。为了提前规划，我们需要模拟世界。

难题：不确定性预测。不变量预测：训练样本只是全部有可能输出的表示。

自监督对抗学习做视频预测。

使用前馈模型进行规划（学习开车）。

学习到的经验包括：1. 自监督学习是未来，网络将会变得更大，也可能稀疏。2. 通过最小化进行推理/推断。3. 深度学习硬件的使用案例。

最后，常怼人的 Yann LeCun 在演讲结尾还是质疑了一下，虽然现场并未展开讲太多。从下页 PPT 中，我们可以看到，Yann LeCun 对脉冲神经网络、神经形态架构提出了质疑。他表示，没有基于脉冲的神经网络能在实际任务上取得 SOTA 水平，为什么还要为无效算法做芯片？

AI 芯片让人工智能避开寒冬

全球 AI 芯片创业公司的融资金额正逐年提升。

纵观 AI 领域发展的历史，只有新的芯片和硬件架构才能将 AI 带出低谷。LeCun 以反向传播举例，这是一种当今深度学习广泛采用的技术，但也是在计算机硬件大发展后才在 20 世纪 90 年代开始得到广泛应用。在过去，Facebook 曾经设计过其他类型的硬件，如数据中心的新架构，这些研究目前都已开放。在未来，同样的事情或许也会发生在 AI 芯片上。

参考内容：

https://www.businessinsider.com/facebook-artificial-intelligence-yann-lecun-2019-2

https://ai.facebook.com/blog/yann-lecun-video/

理论Yann LeCunFacebookAI芯片硬件

相关技术

静止机器人

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

图像压缩技术

图像压缩是数据压缩技术在数字图像上的应用，目的是减少图像数据中的冗余信息，从而用更加高效的格式存储和传输数据。图像压缩可以是有损数据压缩也可以是无损数据压缩。

来源：维基百科

基于Transformer 的双向编码器表征技术

BERT是谷歌发布的基于双向 Transformer的大规模预训练语言模型，该预训练模型能高效抽取文本信息并应用于各种NLP任务，并刷新了 11 项 NLP 任务的当前最优性能记录。BERT的全称是基于Transformer的双向编码器表征，其中“双向”表示模型在处理某一个词时，它能同时利用前面的词和后面的词两部分信息。

来源：arXiv论文

神经图灵机技术

神经图灵机（NTMs）是Alex Graves等人发表的一种递归神经网络模型。NTM将神经网络的模糊模式匹配能力与可编程计算机的算法能力相结合。一个NTM有一个神经网络控制器连接到外部存储器资源，通过注意机制与外部存储器资源进行交互。记忆交互是端对端可区分的，可以使用梯度下降对其进行优化。具有长期短期记忆（LSTM）网络控制器的NTM可以从输入和输出示例推断简单的算法，例如复制，排序和关联回忆。

来源：Graves, A., Wayne, G., & Danihelka, I. (2014). Neural turing machines. arXiv preprint arXiv:1410.5401.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

VGG技术

2014年，牛津大学提出了另一种深度卷积网络VGG-Net，它相比于AlexNet有更小的卷积核和更深的层级。AlexNet前面几层用了11×11和5×5的卷积核以在图像上获取更大的感受野，而VGG采用更小的卷积核与更深的网络提升参数效率。VGG-Net 的泛化性能较好，常用于图像特征的抽取目标检测候选框生成等。VGG最大的问题就在于参数数量，VGG-19基本上是参数量最多的卷积网络架构。VGG-Net的参数主要出现在后面两个全连接层，每一层都有4096个神经元，可想而至这之间的参数会有多么庞大。

来源：7大类深度CNN架构创新综述

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

脉冲神经网络技术

第三代神经网络，脉冲神经网络（Spiking Neural Network，SNN），旨在弥合神经科学和机器学习之间的差距，使用最拟合生物神经元机制的模型来进行计算。脉冲神经网络与目前流行的神经网络和机器学习方法有着根本上的不同。SNN 使用脉冲——这是一种发生在时间点上的离散事件——而非常见的连续值。每个峰值由代表生物过程的微分方程表示出来，其中最重要的是神经元的膜电位。本质上，一旦神经元达到了某一电位，脉冲就会出现，随后达到电位的神经元会被重置。对此，最常见的模型是 Integrate-And-Fire（LIF）模型。此外，SNN 通常是稀疏连接的，并会利用特殊的网络拓扑。

来源：机器之心

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

LeNet技术

LeNet 诞生于 1994 年，是最早的卷积神经网络之一，并且推动了深度学习领域的发展。自从 1988 年开始，在许多次成功的迭代后，这项由 Yann LeCun 完成的开拓性成果被命名为 LeNet5。LeNet5 的架构基于这样的观点：（尤其是）图像的特征分布在整张图像上，以及带有可学习参数的卷积是一种用少量参数在多个位置上提取相似特征的有效方式。在那时候，没有 GPU 帮助训练，甚至 CPU 的速度也很慢。因此，能够保存参数以及计算过程是一个关键进展。这和将每个像素用作一个大型多层神经网络的单独输入相反。LeNet5 阐述了那些像素不应该被使用在第一层，因为图像具有很强的空间相关性，而使用图像中独立的像素作为不同的输入特征则利用不到这些相关性。

来源：LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324.

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

GoogLeNet技术

同样在2014年，谷歌提出了 GoogLeNet（或Inception-v1）。该网络共有22层，且包含了非常高效的Inception模块，它同样没有如同VGG-Net那样大量使用全连接网络，因此参数量非常小。GoogLeNet最大的特点就是使用了Inception模块，它的目的是设计一种具有优良局部拓扑结构的网络，即对输入图像并行地执行多个卷积运算或池化操作，并将所有输出结果拼接为一个非常深的特征图。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

语义分割技术

语义分割,简单来说就是给定一张图片，对图片中的每一个像素点进行分类。图像语义分割是AI领域中一个重要的分支，是机器视觉技术中关于图像理解的重要一环。

来源：CSDN博客

掩饰的基于区域的卷积神经网络技术

Mask R-CNN是一个概念上简单，灵活和通用的对象实例分割框架。该方法能够高效地检测图像中的对象，同时为每个实例生成高质量的分割蒙版。这种方法通过添加一个用于预测对象蒙版的分支来扩展R-CNN使之更快，该分支与现有的用于边界框识别的分支并行。

来源：He, K., Gkioxari, G., Dollár, P., & Girshick, R. (2017, October). Mask r-cnn. In Computer Vision (ICCV), 2017 IEEE International Conference on (pp. 2980-2988). IEEE.

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

图网络技术

2018年6月，由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》，该研究提出了一个基于关系归纳偏置的 AI 概念：图网络（Graph Networks）。研究人员称，该方法推广并扩展了各种神经网络方法，并为操作结构化知识和生成结构化行为提供了新的思路。

来源：机器之心