参与魔王 泽南

「我们该谈谈LSTM是谁原创?」图灵奖得主Hinton霸气回击Jürgen

Jürgen 的质疑迎来了深度学习之父、图灵奖得主 Geoffrey Hinton 的迅速回击,老爷子显得很愤怒。

前几天,计算机科学家、LSTM 之父 Jürgen Schmidhuber 发文,以六条理由批评 Geoffrey Hinton 不应获得 2019 年本田奖。其中第一条理由就是「反向传播并非 Hinton 原创」。

这件事在 reddit 等平台上引发了大量讨论。昨日,Hinton 亲自下场,在帖子上表示「我只回应这一次」,并对 Jürgen 喊话:「或许 Jürgen 应该谈谈谁发明了 LSTM?」

以下是 Hinton 的回应:

和 Jürgen Schmidhuber 就学术信用进行公开辩论是不明智的,因为这只会鼓励他,而他愿意投入无限的时间和精力让他所认为的对手失去信用。他甚至还耍一些把戏,比如在维基百科上有好几个别名,让别人以为有人附和他。Jürgen 网站上对阿兰·图灵的介绍就是他贬低别人贡献的一个典型案例。

图源:http://people.idsia.ch/~juergen/turing.html

我知道不应该理他,但我认为不能让他的指控完全不做回应,因此我决定回应,且仅此一次。

我从未说过反向传播是我发明的。David Rumelhart 独立提出了反向传播,在那之前已经有很多其他领域的人提出了它。我们第一次公开发表相关研究时的确不知道反向传播的历史,因此没有引用之前提出者的工作。

不过,我需要声明一点,我是明确表明反向传播可以学习有趣的内部表征,并使该想法推广开来的人。我通过让神经网络学习词向量表征,使之基于之前词的向量表征预测序列中的下一个词实现了这一点。正是这个案例使得 Nature 发表了 1986 年那篇论文《Learning representations by back-propagating errors》。

确实有很多媒体说我是反向传播的提出者,我花费了大量时间进行纠正。在 Martin Ford 2018 年出版的《Architects of Intelligence》一书中,我就曾经说过:

「在 David Rumelhart 之前,很多人提出了不同版本的反向传播。其中大部分是独立提出的,我觉得我承受了过多的赞誉。我看到媒体说我提出了反向传播,这是完全错误的。科研人员认为他因为某事获得了过多赞誉,这样的情况不常见,但这就是其中之一!我的主要贡献是展示如何使用 BP 算法学习分布式表征,因此我要做出澄清。」

或许 Jürgen 应该谈谈谁发明了 LSTM?

在 1960 年代,反向传播的基础知识由多位研究者在控制理论和链式规则的背景下得出,并早在 1970 年就实现了计算机上的运行。不过这一术语的确定,以及被人们广泛所知的确要等到 1986 年《自然》杂志上 David Rumelhart、Hinton 与 Ronald Williams 合著的论文发表之后。

到了 2015 年,《自然》杂志发表了一篇介绍人工神经网络的文章《Deep Learning》,它是深度学习的一篇标志性文章,目前引用量已经达到了 24621。这篇文章由 Yann LeCun、Yoshua Bengio 和 Geoffrey Hinton 三人合著,从卷积、循环和反向传播算法等核心概念概览了深度学习,并提出无监督学习、深度学习结合强化学习等方向是未来的发展趋势。

Schmidhuber 在当年的一篇批评文章中表示,作者在这篇文章中引用了很多自己的研究工作,而忽视了半个世纪以前开创领域的先驱者。

 Jürgen Schmidhuber 和 Geoffrey Hinton 的讨论在机器学习社区中迅速发酵,越来越多的从业者对此发表了自己的看法。对此,DeepMind 科学家 Oriol Vinyals 也有一个更中立化的建议:「我们应当把荣耀归于思想本身,而不是人。科学应是公正而匿名的。」


参考链接:
https://www.reddit.com/r/MachineLearning/comments/g5ali0/d_schmidhuber_critique_of_honda_prize_for_dr/
产业LSTMGeoffrey HintonJürgen Schmidhuber
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

反向传播算法技术

反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

推荐文章
暂无评论
暂无评论~