2019/03/29 12:10

参与李亚洲李泽南

实至名归的ACM 2018图灵奖，「哭泣的」LSTM之父Schmidhuber

昨日，ACM 2018 图灵奖得主公布，深度学习三巨头 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊荣。此次 ACM 大奖的颁布，一方面让人感叹「终于」、「实至名归」之外，也让人不禁想起 LSTM 之父 JÜRGEN SCHMIDHUBER，他是否也应该获此荣誉呢？

在官方公告中，ACM 介绍说，「因三位巨头在深度神经网络概念和工程上的突破，使得 DNN 成为计算的一个重要构成，从而成为 2018 年图灵奖得主。」

确实，在这波 AI 浪潮中，深度学习扮演者主力角色。在人工神经网络历经寒潮之时，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 这样一小撮人的的坚持，带来了如今深度学习的崛起。

正如 ACM 主席 Cherri M. Pancake 所说，「人工智能如今是整个科学界发展最快的领域之一，也是社会上讨论最广的主题之一。AI 的发展、人们对 AI 的兴趣，很大程度上是因为深度学习的近期进展，而 Bengio、Hinton 和 LeCun 为此奠定了重要基础……」

因此，Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow（捂脸）获此殊荣实至名归。

然而，在我们感叹有「计算机界诺贝尔奖」之称的 ACM 图灵奖「终于」颁发给深度学习时，也有学者发出疑问 LSTM 之父 Jurgen Schmidhuber 是否也应获得此荣誉。

Jurgen 也该得奖？

2018 年的图灵奖颁给了在 AI 寒冬中默默坚持，并引领学界走向深度学习爆发的三位先驱，这是 AI 领域的一件喜事。在大奖结果正式公布后，社交网络上的讨论也在热烈开展，不过人们的焦点却有些文不对题：

（图注）在 Reddit 上，有关图灵奖的帖子被顶最多的几个回复：「Schmidhuber 哭晕在厕所」。

对此，人工智能著名学者，南京大学人工智能学院院长周志华第一时间也表示：「要论对深度学习的贡献，Hinton 无疑居首，LeCun 和 Schmidhuber 贡献都很大。但 HLB 总捆绑在一起，而 S 跟 HLB 都不对劲。。。获奖需有提名有投票，人缘也重要。。。不过没关系，有 LSTM 这样教科书级的贡献足以淡定。」

在知乎问答上，也有众多网友肯定 Schmidhuber 的成就，感兴趣的读者可查看该知乎帖子：

链接：https://www.zhihu.com/question/317715156

看来大家纷纷对 Jurgen Schmidhuber 在人工智能领域里的贡献表示肯定。不过此人在业内人缘似乎的确不够好，在 2015 年还曾发文怒怼过 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。

作为一个例子，让我们看看《自然》杂志 2015 年的人工神经网络（NN）文章《Deep Learning》，它是深度学习的一篇标志性文章，目前引用量已经达到了 13886。该文章是由 LeCun、Bengio 和 Hinton （简写LBH）联合写的，他们从当下的卷积、循环和反向传播算法等核心概念概览了深度学习，并表示无监督学习、深度学习结合强化学习等方向才是发展趋势。

然而，Schmidhuber 在当年的一篇批判性文章中表示，作者在这篇文章中引用了很多自己的研究工作，而忽视了半个世纪以前开创领域的先驱者。此外，Schmidhuber 在文章中还说了一句「They heavily cite each other」。

如下展示了Schmidhuber 批判的前三条观点，他对该论文一共提出了九条批判性意见。

截自：http://people.idsia.ch/~juergen/deep-learning-conspiracy.html

总体而言，Schmidhuber 列举了三人对于深度学习、反向传播、前馈学习、无监督学习、卷积神经网络等等方面对于前人研究的忽视，可谓详尽。

如此耿直，难怪不受人待见。不过另一方面，我们评判一位学者的成就不应该看他的性格，而更应该以学术成就作为标准。

正如人们所说的，Jurgen Schmidhuber 是一名人工智能先驱。

Jurgen 的学术成就

作为 LSTM 发明人、深度学习元老，Jürgen Schmidhuber 的识别度一直没有 Yann LeCun、Yoshua Bengio 等人那么高。他最为人们所知的名号就是「LSTM 之父」了：早在 1997 年，他和 Sepp Hochreiter 共同撰写了一篇论文，其中提出了一种利用记忆功能来增强人工神经网络（模拟人类大脑的计算机系统）的方法，即根据之前获得的信息，添加解释文字或图像模式的循环。他们称之为「长短期记忆（LSTM）」。

LSTM 解决 RNN 存在的短板，在随后的多年中被人们广泛采用。然而遗憾的是，当时 LSTM 也并没有受到业界更多的重视，在 1995 年，首个论述 LSTM 的论文被著名的 NIPS 会议拒绝了。1997 年，关于 LSTM 的论文被麻省理工学院退稿。「即便是美国、加拿大及其他地区的著名的神经网络专家，都没能意识到我们自 1990 年代起于高山上实验室研发的深度循环神经网络的潜能。」Schmidhuber 多次在媒体采访时表露出遗憾。

语音识别最重要的模型之一——Connectionist temporal classification（CTC），是由 Graves、Schmidhuber 等人在 2006 年提出的，该论文出现在 2006 年的 ICML 上。CTC 是一种改进的 RNN 模型，可以让网络自动学会对齐，十分适合语音识别和书写识别。

Jurgen 贡献的重要研究还不止于此。2018 年，由谷歌大脑研究科学家 David Ha 与瑞士 AI 实验室 IDSIA 负责人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人们的注意。这是一种可以让人工智能在「梦境」中对外部环境的未来状态进行预测的新方法，而论文的名字也非常霸气：

今天人工智能的形态，是由众多学者共同打造的。在恭喜三巨头获得图灵奖的同时，不要忘了另外一些人的贡献。

最后，网友实力「皮」了一波：两弹元勋黄仁勋是不是离图灵奖也不远了……

产业Jürgen Schmidhuber图灵奖

相关技术

门控循环单元

来源：S. Hochreiter

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

反向传播算法技术

反向传播（英语：Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算（并缓存）每个节点的输出值，然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

来源：维基百科 Google ML glossary

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

知乎机构

知乎，中文互联网综合性内容平台，自 2010 年成立以来，知乎凭借认真、专业、友善的社区氛围，独特的产品机制，以及结构化、易获得的优质内容，聚集了中文互联网科技、商业、影视、时尚、文化等领域最具创造力的人群，已成为综合性、全品类，在诸多领域具有关键影响力的内容平台。知乎将AI广泛应用与社区，构建了人、内容之间的多元连接，提升了社区的运转效率和用户体验。知乎通过内容生产、分发，社区治理等领域的AI应用，也创造了独有的技术优势和社区AI创新样本。

zhihu.com