利用算力才是王道?Rich Sutton观点惹争议(欢迎留言讨论)

昨天机器之心介绍了机器学习先驱 Richard S. Sutton 写的一篇博客《苦涩的教训》,他在文中探讨了人工智能近几十年来所走过的弯路,认为利用算力才是王道。这篇文章发布后引发了众多研究者与开发者的讨论。

Sutton 的观点

Sutton 的第一句话即:「70 年的人工智能研究史告诉我们,利用计算能力的一般方法最终是最有效的方法。」,也就是说只有在给定计算力的情况下,利用人类知识才是提高性能的唯一方法,但前提是需要找到算力的高效使用方法。专门领域的人类知识只是短期内提升性能的方法,利用计算能力才是长期获得性能提升的关键。

从象棋、围棋到深度学习的各种任务,我们可能首先会从人类的角度思考怎么解决这些问题,再期望将我们的方法形式化为算法而解决实际任务。但是 Sutton 总结道,人类意识的实际内容是极其复杂的,我们不应该试图通过简单方法来思考意识的内容。因此,象棋、围棋和各种任务最终还是尽可能利用算力才获得了突破。

Sutton 说的这一点也确实很实际,拿我们比较熟悉的计算机视觉而言,传统方法大多都在手动设计各种特征,这些特征很可能是根据人类视觉或主观感受确定的。但是深度卷积神经网络使用了另一种不同的方式,虽然它也有生物学解释,但我们可以认为它更好地利用了计算力,是一种通用的计算模式。正如 Ian Goodfellow 等人所言:「任何一个使用矩阵乘法但并不依赖矩阵结构的特殊性质的神经网络,都适用于卷积运算。」

所以 Sutton 最后表示:「我们应该从苦涩的教训中学到一点:通用方法非常强大,这类方法会随着算力的增加而继续扩展,搜索和学习似乎正是两种以这种方式随意扩展的方法。」

那么你认为合理利用算力是不是最重要的?读者可在在文章下留言或者在知乎问答发表你的看法:

问答地址:https://www.zhihu.com/question/316260012

反对的声音

这篇文章引发了大量讨论。在众多的质疑声中,牛津大学计算机科学教授、Latent Logic 联合创始人和首席科学家 Shimon Whiteson 给出了很全面的分析:

「对于 Rich Sutton 在博客中提到的观点,我表示强烈反对。」他在博客中写道,「AI 的发展历程告诉我们,利用算力要比利用人类知识更好。我认为这是对历史的一种很奇怪的解释。的确,将人类知识应用于 AI 的许多努力被抛弃了,而且随着其他资源(不只是算力,还有内存、能源、数据等)变得越发丰富,还会有更多相关努力会被抛弃。」

但是,最终方法的成功不仅依赖于那些丰富的资源,同时也依赖于那些没有被抛弃的人类知识。

如果想要避开卷积、LSTM、ReLU、批归一化等进行深度学习,那么祝你好运。如果想在不利用静态、零和、可以获得全部信息等先验知识的前提下解决围棋问题,那么祝你好运。

因此,在 AI 的发展史中,利用人类知识并不是一种失败的举措。相反,正是因为利用了人类的知识,AI 才取得了今天的成就。这一切通过一个非常传统的研究策略实现:尝试许多并抛弃其中 99% 失败的部分。

剩下的 1% 对当今 AI 的成功非常重要,就像它所依赖的大量计算资源一样。Sutton 说,世界的内在复杂性意味着我们不应该在系统中建立先验知识。但我得出的结论恰恰相反:这种复杂性使得 Sutton 提议依赖的搜索和学习方法变得极其棘手。

只有拥有了正确的先验知识、正确的归纳偏置,我们才能驾驭那种复杂性。他说,「现代深度学习神经网络仅使用卷积和某些不变性的概念即可以取得更好的效果。」这句话中的「仅」暴露了这一说法的武断。

没有这些卷积和不变性,深度学习就不会取得成功,但这些因素被认为是最小的,而且足够普遍,可以接受。从这个角度来看,「The Bitter Lesson」这篇文章回避了主要问题,即我们要讨论的不是要不要利用人类知识(答案当然是「是」),而是利用哪些知识以及何时、如何利用。

Sutton 表示,「我们希望 AI 智能体能像我们一样去发现,而不是发现我们已经发现的东西。」当然,我们如此善于发现,正是因为我们天生具备正确的归纳偏置。AI 历史留给我们一份「甜蜜」(Sweet)的教训:尽管发现正确的归纳偏置并非易事,但这种做法可以让我们在其他棘手问题上取得重大进展。

佐治亚理工学院娱乐智能实验室博士 Matthew Guzdial 表示,「我看到很多人转发这篇文章,我认为确实值得一读。Sutton 认为通用方法(搜索和学习)比需要人类知识的方法要好。但是问题在于搜索和学习也需要专门的人类知识,比如表征、启发式方法/损失函数等。声称这些方法因为无需专门的人类知识所以效果更好,真是太容易了。但是事实上它们需要人类知识。」

赞同的声音

当然,除了这些反对的声音,也有些读者对 Sutton 的观点表示赞同。

谷歌大脑高级研究软件开发人员 Pablo Samuel Castro 表示:


我完全认同 Sutton 的这篇文章。「我们必须吸取惨痛的教训,即从长远看,构建人类大脑思维模式是行不通的。」

「我们不应该试图通过简单方法来思考意识的内容……我们只应该构建可以找到并捕获这种任意复杂性的元方法。」

几天前,我在 SXSW panel 上提到了类似的观点:我们不应该局限于大脑结构,因为我并不清楚它们对于我们使用的方法和基础架构而言是不是最优。

我对「人类启发」方法的主要质疑在于,AGI 并非我的工作方向。

同样特斯拉 AI 主管 Andrej Karpathy 也表示 Sutton 这篇文章介绍领域知识在算法的长期发展中的使用,如果我们查看以前的 AI 期刊就会明显发现这样说也是对的。

Open Philanthropy 高级项目助理 Catherine Olsson 表示:

这篇文章与我目前对 AI 的看法不谋而合:「我们必须吸取惨痛的教训,即从长远看,构建人类大脑思维模式是行不通的。」

这不是说研究人类认知是无用的,而是不应该将人工智能系统局限于必须符合人类理论。

你对 Sutton 的观点有何看法?欢迎读者留言讨论。

产业高性能计算深度学习强化学习Richard Sutton
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

先验知识技术

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

批归一化技术

批归一化(Batch Normalization,BN)由谷歌于2015年提出,是一个深度神经网络训练的技巧,它不仅可以加快模型的收敛速度,还能在一定程度上缓解深层网络中的“梯度弥散”问题,从而使得训练深层网络模型更加容易和稳定。目前BN已经成为几乎所有卷积神经网络的标配技巧了。从字面意思看来Batch Normalization(简称BN)就是对每一批数据进行归一化。

知乎机构

知乎作为中文互联网知名知识内容平台,致力于构建一个人人都可接入的知识分享网络,让人们便捷地与世界分享知识、经验和见解,高效获得可信赖的解答。 目前,知乎已经覆盖「问答」社区、一站式知识服务平台「知乎大学」、短内容分享功能「想法」等一系列产品和服务,并建立了包括音频、视频在内的多元媒介形式。截止 2018 年 8 月底,知乎用户数已突破 2 亿,回答数超过 1.2 亿。未来,知乎进一步加大对 AI 技术和应用的投入,构建一个由 AI 驱动的智能社区,让知识普惠每一个人。

https://www.zhihu.com
推荐文章
暂无评论
暂无评论~