NIPS 2017 经典论文奖获得者机器学习「炼金术」说引热议,LeCun发起反驳

去年的 NIPS 曾因 GAN 引发了一场风波,而今年的 NIPS 同样有着不同思想的碰撞,而这场机器学习「炼金术」讨论竟是从大会颁奖典礼上开始的。

谷歌研究员,MIT 博士 Ali Rahimi 获得了今年 NIPS Test of Time 大奖,他在颁奖时上做了一番演讲,主要介绍之前的研究成果,他在演讲中还打了个比方「机器学习是炼金术」,但这一言论遭到了 Yann LeCun 的反驳。在这篇文章中我们将看到不同思想的碰撞。

Ali Rahimi 的完整演讲视频

Ali Rahimi 在演讲中说道:

「吴恩达曾说过,机器学习就像是新时代的电力。我却认为,机器学习正在变成新时代的炼金术。炼金术本身并不坏,它引出了冶金、纺织、玻璃制造,也推动了人类医疗科技的发展;但与此同时,炼金术师还用水蛭来给人治病,希望让其他金属变成金子。」

「对于 18 世纪的物理学和化学而言,想要理解宇宙的法则,科学家们需要努力抵抗有两千年历史的炼金术的不利影响。」

「现在,如果我们想要做一个图片分享系统,『炼金术』是可以奏效的。但我们的需求早已不止这些了。我们正在试图构建基于人工智能的医疗服务系统、对话系统,我们的机器学习系统甚至影响了大选结果。我希望我所生活的世界是基于非常稳固、有规律的、理论性的知识之上的——而不是炼金术之上。」

「过去 NIPS 大会上经常出现的『学术警察』在哪里?我非常怀念他们。」

……

「我们现在是这样构建新知识的:我们应用最好的工具,简单地分析自己做的设置,我们学习现象,然后在自己不理解背后原理的情况下完成了研究。就这么完成了。」

Yann LeCun 对此番言论表示道:

Ali Rahimi 在 NIPS 上的演讲很好,很有意思,但是我不同意他的观点。他的主要观点是机器学习的当前实践就像「炼金术」(alchemy)。

这种观点具有侮辱性,而且也是错误的!

Ali 抱怨当前机器学习尤其是深度学习使用的很多方法缺少(理论)理解。(理论或其他方面的)理解当然重要。这正是我们很多人参加 NIPS 大会的目的。但另一个重要目标是发明新方法、新技术和新技巧。

在科技发展史上,工程的发展几乎总是先于理论理解:镜头和望远镜的发展早于光学理论、蒸汽机的发展超越热动力学、飞机的发展快于空气力学、无线电和数据通信的发展快于信息理论、计算机的发展早于计算机科学。

原因何在?因为理论家本能地研究「简单的」现象,不主动研究复杂现象,除非它具备很重要的实践意义。

仅仅因为理论没有追赶上实践的水平,就批评整个机器学习社区使用「炼金术」,这种言论是危险的。

为什么危险?正是这种态度使机器学习社区放弃神经网络 10 年有余,尽管大量实证研究证明神经网络在很多情况下非常有效。

之前,神经网络和非凸损失函数不确保一定会收敛,不过它们在实践中是奏效的(和现在一样)。但是人们就这样不分良莠地将它舍弃,转而专注于「可证明」的凸方法或「被夸大的」模板匹配方法(甚至 1957 年的随机特征方法)。

坚持一套方法仅仅因为它的理论比较充分,并因此忽视另一套实践效果更好的方法,仅仅因为缺乏理论理解,这种做法何异于缘木求鱼(原文:就像你在街灯下找丢失的车钥匙,虽然心里明明知道丢钥匙的地方并不在这)。

是的,我们需要更好地理解方法。但是正确的态度是尝试改变现状,而不是因为现状没有得到改变而去侮辱整个社区。

我组织和参加过很多深度学习研究者和理论家参与的 workshop,有些 workshop 由 IPAM 举办。作为 IPAM 科学顾问委员会的一员,我的使命就是使深度学习获得数学社区的注意。事实上,我作为联合组织者组织了一场将于 2018 年 2 月举办的 workshop(http://www.ipam.ucla.edu/…/wo…/new-deep-learning-techniques/)。

如果你不满意我们对你们日常使用方法的理解,那么就去改变它:研究深度学习理论,而不是抱怨别人不去做这件事,也不是认为如果仅使用「理论正确」的方法,NIPS 会变得更好。并不是这样。

Ali Rahimi 的回复:

Yann,感谢你的理智回应。「If you don't like what's happening, fix it」正是 Moritz Hardt 一年前告诉我的话。仅靠一个小群体是很难做出重大成果的,说实话,我已经被这个任务的巨大规模所淹没而不知所措。我这次演讲的目的就是请求他人的帮助。

我认为问题并不在于理论,而在于教育。我呼吁的是简单的理论和简单的实验,从而让所有人能无障碍地交流各自的见解。你很擅长构建深度学习模型,是因为你运行实验的经验比多数人都丰富。想象一下新手的困惑处境吧。我们做的事情的确看起来像魔法,因为我们并不讨论技术细节,而是模型整体。入门的过程太神秘了。

我同意炼金术式的方法很重要,正是它们使我们加快速度。这些方法解决了很多紧迫的问题。

我很尊重那些能快速在大脑中构建直觉和可行系统的人。你和我在谷歌的大多数同事都具备这种能力,但你们只是少数。

我希望你们传授一些技术细节,帮助我们也能达到你们级别的生产能力。而这就需要:简单的实验,简单的理论。

Yan LeCun 的回复:

简单而通用的理论当然很好。

热力学理论告诉我们不要浪费时间寻找拥有 100% 效率的热机或者永动机。

机器学习中也已经有这样适用于所有学习机器包括神经网络的理论(例如,VC theory consistency/capacity、没有免费午餐定理等)。

但我们很可能不会有具体到神经网络的「简单」理论,就像纳维-斯托克斯方程和三体问题也没有解析解。

虽然目前机器学习的部分工具还存在「黑箱」区域,但这项技术毫无疑问正处在越来越快的发展过程中,正如 Ali Rahimi 在演讲中所说的,希望随着人们的努力,我们能够最终将「炼金术」转化为真正的「电力」。

产业NIPS 2017Yann LeCun观点NIPS