李诗萌、Geek AI编译

路漫漫其修远兮:科学研究是一场持久战

科学研究需要灵感和激情,但伟大成果的诞生往往伴随着科研工作者在漫漫寒夜中无畏的坚守!

近日,莱斯大学教授 Moshe Vardi 发表在 ACM 计算机期刊《Communications of the ACM》上的一篇文章引起了极大的关注,他表示「要将研究视为一场漫长的旅程,才能取得重大的突破。」2018 图灵奖得主 Yann LeCun 评论称:「Moshe Vardi 以神经网络历史兴衰为例,告诉我们,研究是一场持久战…」

位于美国加利福尼亚州帕罗奥多的未来研究所(IFTF,Institute for Future)是一个智库,建立于 1968 年,是兰德(RAND)公司的分支机构,旨在帮助企业对长远的未来进行规划。

曾于 1971 到 1990 年间任 IFTF 总裁的 Roy Amara 在 2007 年过世,他因提出了关于技术的影响的 Amara 定律而闻名:「人们总是高估一项技术所带来的短期效益,却低估了它的长期影响」。Gartner 技术成熟度曲线就是最好的例证,该曲线的特点是在「期望膨胀期」后,会紧跟一个「泡沫化的底谷期」,然后是「稳步爬升的光明期」,最后则是「实质生产的高峰期」。

当我听说 Yoshua Bengio、Geoffrey Hinton 和 Yann LeCun 因「在概念和工程上取得的突破,使深度神经网络成为计算的重要组成部分」而获得 2018 年的图灵奖时,我又想起了 Amara 定律。

这条消息一点都不令人惊讶。毕竟,在过去十年间,再也没有其它计算技术具有如此引人瞩目的表现和影响。一如图灵奖公告所说:「近年来,深度学习方法一直是计算机视觉、语音识别、自然语言处理和机器人技术等领域取得惊人突破的重要原因」。

但为了在恰当的历史背景下讨论他们的贡献,还是要回顾一下神经网络的悠久历史。

1943 年,神经生理学家 Warren McCulloch 和年轻的数学家 Walter Pitts 写了一篇关于大脑神经元如何工作的文章。他们用电路模拟了一个简单的神经网络。

1958 年,康奈尔的一名神经生物学家 Frank Rosenblatt 发明了感知机——它是只有一层的神经网络。《纽约时报》将感知机称为「可以行走、说话、看、写、自我再生,并能意识到自己的存在的电子计算机雏形。」不幸的是,在 Marvin Minskey 和 Seymour Papert 于 1969 年撰写的《感知机》一书中,证明了感知机存在很大的局限性。

「期望膨胀期」之后将紧跟着「泡沫化的底谷期」。此时,「人工智能的第一个寒冬」出现了,这从人工智能的研究经费不断减少就能体现出来,这样的状况一直持续到 20 世纪 80 年代初。

1982 年,加州理工的 John Hopfield 发表了一篇论文,其重点不是模拟大脑,而是要创造出有用的设备。他通过数学方法,清晰地向人们展示了这样的网络是如何工作的,以及这样的网络可以做些什么。

大约同一时间,日本东京举办了「合作/竞争神经网络美日联合会议」。日本随后宣布了第五代(the Fifth Generation)计算机计划。美国的期刊刊登了这篇报道,人们开始担心美国会落后。很快,资金再一次流入。

1987 年,神经信息处理系统年会(NeurIPS)成功举办。但新的膨胀期后依然会跟随着底谷期。

就像图灵奖的公告中所说:「到 21 世纪初,LeCun、Hinton 和 Bengio 是仍然坚持研究这种方法的小部分人中的一员」。事实上,他们在重燃人工智能社区对神经网络兴趣方面所做出的努力,在一开始是遭到质疑的。这段底谷期导致「人工智能的第二个寒冬」到来,这一直持续到了 20 世纪 90 年代。

直到本世纪初,人们将改进的算法、硬件(GPU)和大数据集(ImageNet 有超过 1,400 万张有标签的图像)组合在一起,取得了令人印象深刻的重大突破,而且无论是从效率角度还是从速度角度来讲,深度(有许多层的)神经网络在计算机视觉方面都有着显著的优势。

Hinton 和他同事的想法带来了重大的技术进步,他们的方法现在已经成为该领域的主要范式,并因此获得了 2018 年的图灵奖。

这个故事告诉我们,研究是一场持久战,在该过程中,耐心和耐力是必要的组成部分。

但我还记得 20 世纪 90 年代早期,在一个工业研究实验室中曾举办过一个研究评估会议,会议上有人所做的数据挖掘的开创性工作并没有得到认可,因为「这一项工作已经做了两年了,但他竟然还不清楚这项工作未来将会走向何方」。我和普林斯顿大学高级研究所的创始人 Abraham Flexner 担心的是同一件事,在 1939 年出版的《无用知识的有用性》一书中,Flexner 讨论了为了支持所谓实用主义而放弃纯粹的好奇心的危险倾向。

没有一个简公式可以简单地概括成功研究背后的规律。有时,在短期内关注一些眼前的问题是可以的,但大多数时候,要将研究视为一场漫长的旅程,才能取得重大的突破。

原文链接:https://cacm.acm.org/magazines/2019/9/238955-the-long-game-of-research/fulltext?fbclid=IwAR0kaX888DoERaaNWMp49qZhYBSJCoa6CFz0R-pArTUEmlCcI9i1JZsKK98

入门科学研究神经网络
暂无评论
暂无评论~