2019/01/31 11:15

DeepTech深科技来源

16625篇论文揭示25年来AI进化规律！深度学习时代行将结束！

本文为你解读了人工智能技术中的最新未来走向。

时至今日，几乎你所有听到的关于 AI 的重要进展，背后都离不开深度学习。

这类算法的工作原理是使用统计数据来发现数据中的模式。事实证明，它在模仿人类技能 (如我们的视觉和听觉能力) 方面非常强大。在一些特殊情况或者是某些有限范围内，它甚至可以模仿我们的推理能力。深度学习为谷歌的搜索、Facebook 的新闻 Feed 和 Netflix 的推荐引擎提供了强大的支持，并正在改变医疗和教育等行业。

然而，尽管深度学习让人工智能进入了公众的视线，但它只是人类探索智能的历史上的一个插曲。在不到 10 年的时间里，它一直处于人工智能的最前沿。但当我们放大这个领域的整个历史，我们很容易意识到，它可能很快就会从历史舞台上退场。

华盛顿大学计算机科学教授兼主算法的作者佩德罗·多明戈斯就认为，长期以来，不同技术的突然兴起和衰落一直是人工智能研究的特点。每十年都有不同观点之间的激烈竞争。然后，每隔一段时间，一个新的技术就会兴起，研究人员都会聚集起来研究这个新兴的技术。

在对人工智能技术持续的报道和关注的基础之上，《麻省理工科技评论》想把技术断断续续、起伏变化的过程形象化。当今最大的科学论文开源数据库之“arXiv”是一个最佳选项，于是，本文作者下载了截止到 2018 年 11 月 18 日“人工智能”部分的 16625 篇论文的摘要，并对这些年来提到的词汇进行了追踪，以了解深度学习的发展究竟走到了哪一个阶段？下一个十年最大的发展机会，又将属于谁？

图截至2018年11月18日，arXiv“人工智能”板块可获得的所有论文（来源：麻省理工科技评论）

通过数据分析，作者发现了三个主要的变化趋势：20 世纪 90 年代末到 21 世纪初，机器学习开始萌芽，从 21 世纪 10 年代初开始经历神经网络的加速普及，以及在过去的几年迎来了强化学习的增长。

在这里，有几点需要我们注意。首先，arXiv 的人工智能相关论文只能追溯到 1993 年，而“人工智能”一词可以追溯到 20 世纪 50 年代，因此，该数据库信息对应的时间，刚好处在人工智能发展的最新历史阶段。其次，该数据库每年新增的论文，只是当时特定领域整体进展的一个局部。

不过，尽管如此，如果我们希望收集到更多的研究趋势信息、观察业内正在产生的不同想法，arXiv 仍然不失为一个很好的来源。

机器学习使知识库黯然失色

根据这 16625 篇论文，最大的转变发生在 21 世纪初，以知识为基础的系统开始式微，它们基于这样一个设定：可以依据特定规则对所有人类知识进行编码。取而代之的是，研究人员转向研究包括深度学习在内的机器学习算法。

在作者统计出来的词汇出现概率中，与知识系统相关的词汇，如“逻辑”、“约束”、“规则”等词汇的跌幅最大。那些与机器学习相关的——如“数据”、“网络”和“性能”——增长最快。

图每1000字词频（来源：麻省理工科技评论）

但这个巨大变化背后的原因却很简单。在 20 世纪 80 年代，人工智能的第一次浪潮专注于以人类知识为突破点，知识库和专家库系统的构建成为核心任务，国际上涌现了大量的知识系统工程。但随着这些项目的展开，研究人员遇到了一个重大问题：系统要做任何有用的事情，需要对太多的规则进行编码。这推高了成本，大大减缓了技术发展的预期进程。

而机器学习成为了解决这个问题的答案。这种方法不需要人们手动编码数十万条规则，而是让机器自动从一堆数据中提取这些规则。就这样，人工智能开始抛弃了知识库系统，转而将目光投向机器学习，第二次人工智能浪潮由此掀起。

神经网络走向繁荣，强化学习得到推动

不过，在当时机器学习开始受到大量关注的情况下，深度学习并没有立刻受到热捧。

正如作者对关键术语的分析所显示的，研究人员还尝试了除神经网络 (深度学习的核心机制) 之外的各种方法，其中一些技术也颇为流行，例如贝叶斯网络、支持向量机和进化算法等，它们都采用不同的方法来寻找数据中的模式。

图提及每种方法的论文百分比，神经网络显然取代了其他机器学习方法（来源：麻省理工科技评论）

在 20 世纪 90 年代和 21 世纪初，所有这些方法之间都保持着稳定的竞争态势。然后，在 2012 年，一个关键的突破打破了这个平衡，将其中一种方法——深度学习——带向前所未有的高潮发展期：在一年一度的 ImageNet 图像分类竞赛中，Geoffrey Hinton 和他在多伦多大学的同事们以惊人优势实现了当时的图像识别最高准确率，团队所使用的方法正是深度学习。

该标志性事件引发了人工智能一波新的研究浪潮——首先是在视觉研究上，然后其他领域也开始加入到这波深度学习浪潮中。随着越来越多令人印象深刻的结果的涌现，深度学习（以及神经网络）的普及程度呈爆炸式增长。

分析显示，在深度学习兴起后的几年里，人工智能研究发生了第三次也是目前最后一次变化：监督学习、非监督学习和强化学习受到越来越多的关注。其中，监督学习即标注数据来训练算法，这种方法是最常用的，也是目前为止最实用的方法。但在过去的几年里，强化学习的风头也很强劲，强化学习在论文摘要中被提及的次数迅速增加。这种方法旨在于 AI 学习过程是否正确执行了指令实施正面奖励或者负面奖励。

这个想法并不新鲜，但几十年来它并没有真正奏效。“监督学习的支持者会取笑强化学习的支持者”，佩德罗·多明戈斯说。

但，就像深度学习的发展遇到了 ImagNet 2012 年的成绩一样，强化学习同样迎来了一个关键的历史事件，自那以后人们对它的关注度突飞猛进。

那就是在 2015 年 10 月，经过强化学习训练的 DeepMind 的 AlphaGo 在古老的围棋比赛中击败了欧洲围棋冠军、职业二段选手樊麾。那次成功对整个研究界的影响几乎是立竿见影的。

图强化学习正在得到推动（来源：麻省理工科技评论）

下一个十年，两个问号

事实上，我们认为，这一次对 arXiv 的分析只是提供了目前人工智能研究的某些趋势的缩影，包括不同观点之间竞争的最新消息。但这也在某种程度上说明了人类在追求智能的道路上是多么的“反复无常”。

一个重要的线索是，在过去 25 年里，我们使用的许多人工智能技术大约同时起源于 20 世纪 50 年代，之后，各个技术随着一个有一个十年的到来此起彼伏，例如，神经网络曾在 60 年代达到顶峰，80 年代也短暂地达到高潮，但在深度学习重新迎来春天之前，它几乎走到了研究的边缘地带。

换句话说，每一个十年，本质上是某种技术的统治时期：神经网络统治 50 年代和 60 年代，各种象征性的方法征服了 70 年代，知识库系统在 80 年代走向巅峰，贝叶斯网络引领 90 年代，支持向量机在 00 年代爆发，10 年代，我们再次回到神经网络。

对此，华盛顿大学计算机科学教授兼主算法作者佩德罗·多明戈斯说，“21 世纪 20 年代也不会例外”，这意味着深度学习的时代可能很快就会结束。但是，对于接下来会发生什么，已经有两个截然不同的走向摆在我们面前——究竟是一种旧技术会重新获得青睐，还是 AI 领域将迎来一个全新的范式？

“如果你能回答这个问题，”多明戈斯说，“我想为这个答案申请专利。”

THU数据派

THU数据派"基于清华，放眼世界"，以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯，定期组织线下活动，分享前沿产业动态。了解清华大数据，敬请关注姐妹号“数据派THU”。

产业深度学习

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

非监督学习技术

非监督式学习是一种机器学习的方式，并不需要人力来输入标签。它是监督式学习和强化学习等策略之外的一种选择。在监督式学习中，典型的任务是分类和回归分析，且需要使用到人工预先准备好的范例(base)。一个常见的非监督式学习是数据聚类。在人工神经网络中，自组织映射（SOM）和适应性共振理论（ART）则是最常用的非监督式学习。

来源：Wikipedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

知识库技术

知识库是用于知识管理的一种特殊的数据库，以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家，它是求解问题所需领域知识的集合，包括基本事实、规则和其它有关信息。

来源：维基百科

数据库技术

数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作。所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

逻辑技术

人工智能领域用逻辑来理解智能推理问题；它可以提供用于分析编程语言的技术，也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑（Propositional Logic ）以及一阶逻辑（FOL）等谓词逻辑。

来源：机器之心

支持向量机技术

在机器学习中，支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

来源：Wikipedia

贝叶斯网络技术

贝叶斯网络（Bayesian network），又称信念网络或是有向无环图模型，是一种概率图型模型。例如，贝叶斯网络可以代表疾病和症状之间的概率关系。鉴于症状，网络可用于计算各种疾病存在的概率。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心