乱!Bengio一席话引发Marcus与LeCun「舌战」,还有DL帝国主义?

Gary Marcus 又双叒叕吵架了!这位纽约大学著名心理学、神经科学家怼深度学习不是一天两天了。今年年初,Marcus 发表了一篇长文对深度学习的现状及局限性进行了批判性探讨,当即引发了一场舌战。近日,因 Yoshua Bengio 接受 MIT TR 的一篇采访,Gary Marcus 再次舌战群 DLer。这场隔空喊话略有失控的倾向。

在社交媒体上,Gary Marcus 的推特像点燃了火药桶一样引来了众多人工智能学者的评论。Marcus 对 Bengio、Hinton、LeCun 的指责更是让 LeCun 本人与他进行了旷日持久的「切磋」。

在 MIT TR 这篇名为《人工智能巨头对 AI 未来的担忧》的采访中,Yoshua Bengio 发表了对未来研究的几点看法:

谈到「关于人工智能的新研究,最让你最兴奋的是什么?」Yoshua Bengio 说道:我认为我们需要考虑最困难的挑战,而不应满足于短期、渐进式的目标。我没有要撇开深度学习的意思。正相反,我们应该将其扩展,使它能够推理、学习因果关系、探索世界,从而学习和获取信息。

如果我们真的想实现人类水平的 AI,那完全就是另一件事了。我们需要长期投资,而学术界才是保存火种的最佳场所。

因果关系为什么这么重要?Yoshua Bengio 表示,「如果你有一个很棒的推理模型,你甚至可以在信息不多的情况下进行推广。这至关重要,因为人类是可以做到将自己的经验投射到与日常生活体验完全不同的环境中的。机器现在还不行,因为它们没有因果推理模型。

我们可以手动设置规则,但这还不够。我们需要能够发现因果模型的机器。在某种程度上来说,这种机器永远不会是完美的。因为我们永远不会得到一个完美的现实因果推理模型;这就是为什么人会犯错。但是相比其它动物来说,我们做得更好。

当前,在这方面我们还没有真正足够好的算法,但我认为如果有更多人在这方面进行探索,并认识到它的重要性,我们终将获得进步。」

对 Bengio 的言论,Marcus 翻起了旧账,发推特评论道:

「我没有要撇开深度学习的意思……但我们应该将其扩展,使它能够推理、学习因果关系、探索世界。」Yoshua Bengio 的这番话与我 2012 年在《纽约客》上发表的言论并没什么不同。

此番酸味十足的话,先是引起了 CMU 助理教授 Zachy Lipton 的回应:这句话问题太多了。1)说话声音大不等于是第一个说的。你不能自居为区分了推理和模式识别。2)说「X 无法解决 Y」简直太容易了,但你能不能提出 Y 的解决方案呢?

重点来了!随着激辩的的升级,Yann LeCun 直接怼了回去,斥其光说不练:

你所说的这番话,Yoshua 和我还有其他人已经说了很长时间了。与你不同的是,我们为此去做了一些尝试,而不是批评别人没有这么做。

Gary Marcus 避重就轻,反击道:

以下是我 2001 年就一直在说的话:「为了捕捉语言和思维的合成性(compositionality),神经网络必须辅以符号操作的关键组成部分。」这话你同意吗?在我们的辩论中,你说过「反对」。你现在的立场呢?

AI 的真正问题是:我们能在没有符号操作的情况下进行因果关系推理吗?当时 Yann LeCun 和 Hinton 等深度学习创立者认为能,而我觉得不能。

加州大学洛杉矶分校助理教授 Guy Van den Broeck 的回复:

这有什么值得讨论的?至少从 1986 年开始,几十年来人工智能的整个子领域都致力于符号推理,包括结合统计推断的混合方法。

对此,Gary Marcus 把矛头转向了深度学习先行者们对于话语权的把持:

你说的没错。问题在于那些深度学习先驱们的「帝国主义」,比如,Lecun 等人 2015 年发表在《Nature》上的文章就呼吁「用大向量运算取代符号表达式基于规则的操作」。这种尖锐的观点与混合模型背道而驰。

Yann LeCun 回应道:

联结主义的帝国主义?在符号主义统治了半个世纪之后?搞笑吧?我并没有因为人们研究我觉得不对的方法而去批评他们。我只是用自己认为正确的方法去做研究,并在该方法起作用之后向世人展示结果。这就是工程,好的结果胜于雄辩。

Gary Marcus 的回复:

别急着反对,但有时候有些工具需要重新研究或者发明,如果不首先考虑清楚,很难知道什么时候该这么干。任何时候,科学和工程领域的主导思想并不意味着它是最好的。更重要的是要知道我们是否步入了正轨。

不,Lecun 你想抑制人们对混合深度学习-符号模型的兴趣。你主张用无监督学习来推理,但却没有任何实际结果来证明它有效。但你却因为符号主义缺乏结果而否定它。# 双重标准

Yann Lecun 2018 年发表了这样的言论:「我并没有因为人们研究我觉得不对的方法而去批评他们。」2017 年 LeCun 也曾发表这样的观点:「我并不否定 DeepMind 的朋友们对 AlphaGo 所做的工作,但把它作为通用智能的一大进步却是不对的,事实并非如此。」

是的,联结主义的帝国主义是存在的,就像早期的符号主义帝国主义一样。一个例子是:「如果要解决任何旧有的预测问题,你现在有很多数据,那么深度学习可能会比已有技术更加有效。」

MLWave 表示:

Yann LeCunYoshua Bengio 和 Geoffrey Hinton 发布在 Nature 上的文章结尾是「我们需要作用于大向量的新范式来替代基于规则的符号表达式操作」。Bengio 提倡深度学习和无监督学习至少有 10 年了。From Machine Learning to Machine Reasoning,https://arxiv.org/abs/1102.1808 (2011)。

Gary Marcus 的回复这次更加充满了火药味:

我最近挑战了 Hinton 和 Yann LeCun 2015 年 Nature 论文中的观点。我仍然保持我的论断,即他们的观点抑制了深度学习的发展,Edward Grefenstette 等人的勇敢研究除外。

有人也在指责这次讨论的必要性,AI 数据公司 Corto 首席执行官 Yves Bergquist 表示:

难以相信我们还在争论这么明显的事实,只要环顾四周就能清楚地发现对象内的对象、符号内的符号的超参数结构。我们需要解决的是如何计算系统的系统(降维是关键)。

发酵了 2 天,这场论战还未看到平息的迹象。

人工智能顺着深度学习的轨道快速发展的今天,一些先驱者还在不断思考着「我们是否在走正确的路」。但在社交媒体的环境中,这些论战看起来就在我们眼前。满足人们好奇心的同时,这些观点孰是孰非还有待时间的验证。

理论深度学习Yann LeCunGary MarcusYoshua Bengio
21
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

约书亚·本吉奥人物

约书亚·本希奥(法语:Yoshua Bengio,1964年-)是一位加拿大计算机科学家,因人工神经网络和深度学习领域的研究而闻名。Yoshua Bengio于1991年获得加拿大麦吉尔大学计算机科学博士学位。经过两个博士后博士后,他成为蒙特利尔大学计算机科学与运算研究系教授。他是2本书和超过200篇出版物的作者,在深度学习,复现神经网络,概率学习算法,自然语言处理和多元学习领域的研究被广泛引用。他是加拿大最受欢迎的计算机科学家之一,也是或曾经是机器学习和神经网络中顶尖期刊的副主编。

杨立昆人物

杨立昆(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。

加利·马库斯人物

纽约大学心理学与神经科学教授,作家,企业家。研究重点是自然智能和人工智能。他是机器学习公司Geometric Intelligence的创始人兼首席执行官(该公司2016年被Uber收购)。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

因果推理技术

基于因果关系的一类推理方法,是一种常见推理模式,涉及观察到的共同效应的原因的概率依赖性。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

阿尔法围棋技术

阿尔法围棋是于2014年开始由英国伦敦Google DeepMind公司开发的人工智能围棋程序。AlphaGo是第一个打败人类职业棋手的计算机程序,也是第一个打败围棋世界冠军的计算机程序,可以说是历史上最强的棋手。 技术上来说,AlphaGo的算法结合了机器学习(machine learning)和树搜索(tree search)技术,并使用了大量的人类、电脑的对弈来进行训练。AlphaGo使用蒙特卡洛树搜索(MCTS:Monte-Carlo Tree Search),以价值网络(value network)和策略网络(policy network)为指导,其中价值网络用于预测游戏的胜利者,策略网络用于选择下一步行动。价值网络和策略网络都是使用深度神经网络技术实现的,神经网络的输入是经过预处理的围棋面板的描述(description of Go board)。

模式识别技术

模式识别(英语:Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。 我们把环境与客体统称为“模式”。 随着计算机技术的发展,人类有可能研究复杂的信息处理过程。 信息处理过程的一个重要形式是生命体对环境及客体的识别。其概念与数据挖掘、机器学习类似。

联结主义技术

联结主义是统合了认知心理学、人工智能和心理哲学领域的一种理论。联结主义建立了心理或行为现象模型的显现模型—单纯元件的互相连结网络。联结主义有许多不同的形式,但最常见的形式利用了神经网络模型。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

降维技术

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题,其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射(projection)。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归(principal component regression)和偏最小二乘法(partial least squares)。

推荐文章
符号主义和连接主义两大学派的争执越来越有趣和白热化了! 深度语义模型DSM(Deep Semantic model)是以符号主义为基础并结合了复杂的连接体系,将两者融合的突破性体系。