大数据文摘字幕组作品作者钱天培监制虫2、大力、DollyShi翻译

OpenAI联合创始人:AI的极限?我真的不知道!

1901年,天文学家、数学家Simon Newcomb表示,人类不可能造出比空气更轻的飞机。1908年,莱特兄弟的飞机试飞成功。

二战过后,美国人公开表示,长距离火箭遥不可及。没过多久,俄罗斯的巨型火箭率先进入了外太空。

时间转到今天。当AI浸入各行各业的同时,对AI的质疑也纷至沓来。AI寒冬是否又会再次到来呢?OpenAI的联合创始人兼CTO Greg Brockman在近日的一次演讲中发表了他的看法:

不想看视频的同学,可以阅读下面的文字哟~~~

“AI最终能达到什么样的高度,我现在还无法下一个定论。但目前的质疑呢,我看大多是不靠谱的!”

他从“科学发展史”、“AI发展史”、“深度学习的极限”和“算力极限”四个方面阐释了他的论点。

科学发展史

有啥疑问,直接找专家呀!他们的观点大多错不了。

但历史一遍遍证明,专家们错得可是太离谱了。

在1901年天文学家、数学家Simon Newcomb表示,比空气更重的飞机是完全不可能的。于是在1908年 他知道了莱特兄弟的飞机。

没关系,他承认这是可能的,但是他认为,这永远不可能商业化,因为这样的飞机不可能扩大到可以容下一个乘客和一个飞行员。于是又被啪啪打脸了。

二战后,美国人和俄罗斯人都关注了德国的V-2科技,这两国都想做同一件事那就是建立ICBM(An intercontinental ballistic missile,洲际弹道导弹),这意味着他们要扩大原本V-2火箭的规模十倍以上,造一个200吨的火箭。

美国人看到这,认识这完全不可能,就在接下来的五年里完全放弃了长距离火箭。

俄罗斯人说,可以没问题,因为我们就是要造一个巨型火箭。当太空比赛开始时,俄罗斯人说,看吧,我们已经有这个巨型火箭了!于是,俄罗斯人率先进入了外太空。

专家们在很多方面确实有很多先见之明,但是不能因为有人说了一些什么,就终止了某一领域的研究。

AI发展史

接下来,让我们来回顾一下AI发展史。

AI是一个讲究潮流的领域,这个领域里有多种多样的潮流。比如,某一个十年非常流行SVM(支持向量机),下一个十年,又流行别的模型了。

现在我们正处于最新潮流中,下一个十年又会流行别的。这话没错,这个过程是持续的,目前看不到尽头。那就让我们来挖一挖,这几十年AI到底经历了哪些潮流。

1959年,perceptron(感知机)被公开发表了。不止科学杂志疯狂报道,连纽约时报也写到:“像感知机这样神奇的东西,有一天它能识别人叫出他们的名字,并且在多种语言间实时翻译。”

1960年代,以Marvin Minsky和Papert为代表的人强烈反对感知机,发起各种运动,并且最终成功了。

在1969年他们表了一本书,里面证明了多种感知机无法解决的基本问题。

因此所有研究经费断供,所有基金断供。AI第一次寒冬来临。

这一波经费究竟被用到了哪里了?很大一部分其实被用来构建更大的电脑了。

二十年后的80年代,反向传播开始流行。

有趣得是,反向传播吸引来的人不是计算机科学家,而是认知科学家。他们真正激动的不是关于如何建造大型系统,如何拓宽这些技术的边界,而是关于理解大脑。他们非常乐意接受这样一种人造的系统,能够对他们的研究有那么一点关联。

由于算力的限制,反向传播一度也经历了大量质疑。但今天,在空前算力的支持下,反向传播将AI带到了全新高度。

深度学习的极限

所以,深度学习发展的极限是什么呢?

有很多人已经对此发表过看法了。一个很好的例子是,去年一位杰出的深度学习评论家说:深度学习模型将永远不能学会长距离规划,不论你用多少数据去训练它。

今年,我们在Dota比赛里展示了OpenAI Five,也就是Dota系统的长期规划能力。

一个月后,那个评论家又说,你可以用足够密集的空间样本来解决任何问题,但只有当你的数据量很小的时候才有趣。

我认为,看看过去几年结果的具体例子是很有启发性的,然后让我们想想:人们对之前的深度学习的局限性有什么看法,对之后的又有什么看法?

深度Q学习出现之前,我们感觉深度学习仅仅是关于静态数据集的。突然,我们把神经网络投射到屏幕上面,然后给出一个分数,然后它开始能够玩转这些简单的游戏。

再举个例子。之前人们说,深度学习只会感知,永远也做不到最难的自然语言处理任务比如翻译。结果又被打脸了。

我们也许可以得出这样的结论,深度学习会取代所有的监督学习,并且在这些特定的领域内胜过人类的聪明才智。比如AlphaGo,比如我们的Dota工作。强化学习仅通过自身就能解决这个难以置信的难题。

当然,你仍然可能会产生这样的质疑:我们如何把这个东西应用到现实世界中去?强化学习是不是只会玩游戏呢?无论任务是怎么样的,我们都需要有一个完美的模拟器吧。

今年,我们用Dota系统训练了一个机器人,真的就是用Dota系统来指向这个环境。然后,我们可以教会这个机械手臂操纵小方块,这是一个人类程序员无法完成的任务——制造这种机械手的公司做这个已经有20年了,现在每年大概才卖出10个,因为没有程序员能实现这样的功能。

所以,你甚至不需要一个完美的模拟器,你只需要一个刚好能够完成手头上任务的模拟器。

我想我们都听过这个说法,人工智能的进步有三大支柱:计算、算法和标记数据。

但是现在,如果你再看一遍这个说法,你会发现“标记数据”其实也不是必要的。

比如今年,自然语言处理(NLP)领域最新研究表明,你可以让一个模型在大量无监督文本上学习,然后使用非常少量的监督数据进行了微调,这样你就能够在各种各样的NLP任务之间设置最先进的技术水平。

所以说,深度学习的极限真的很难被定义。

算力极限

最后,我们再来看看算力极限,这大概是近年来限制AI发展的关键要素之一。

如果我们看看过去六年里发生了什么,就会发现计算经过了一个疯狂爆炸式的增长。每三个半月,我们的算力就会翻一倍。

怎么理解增长速度呢?就像在2012年的时候,你的手机电池只能坚持一天。在2018,它就能坚持800年的时间,到2023年,它能坚持一亿年的时间。

再换一种方式来理解,一个2023年的未来系统在30秒内消耗的计算量,将会相当于我们今天的Dota系统一个月的计算量。

这个数字太疯狂了,看起来有点不可理喻,但是这样的事情其实已经发生了。20世纪90年代的大规模成果之一TD GAM,在一个现代的GPU上计算大约只需要5秒钟。

所以我们把这些事情合起来看,可以得到的结论是:我们也很难去界定算力的极限。

我们真的很难说有什么是做不成的,这意味着我们需要开始积极主动的思考,这些系统将会给世界带来什么样的影响?

在畅想人工智能时,我们应该少依靠直觉,多依靠证据和假设。

我们都在创造自己认为的会对未来产生巨大影响的技术,所以我们要对这事情好好负责!

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

产业科技趋势算力深度学习
1
相关数据
OpenAI 机构

OpenAI是一家非营利性人工智能研究公司,旨在以惠及全人类的方式促进和发展友好的人工智能。OpenAI成立于2015年底,总部位于旧金山,旨在通过向公众开放其专利和研究与其他机构和研究人员“自由合作”。创始人的部分动机是出于对通用人工智能风险的担忧。

https://www.openai.com/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

深度Q学习技术

Q学习是一种无模型(model-free)的强化学习方法,学习如何在给定(有限)马尔可夫决策过程(MDP)找到最优的动作选择策略。Q学习算法的核心是根据旧的Q值和新的Q值估计进行权重平均的一个值迭代更新(value iteration update)迭代更新的Q函数最终给出了主体在给定状态下采取给定行动的预期效用,当这种行动价值函数被学习时,主体可通过简单地选择在每个状态中具有最高价值的行为来构建最优策略(optimal policy)。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

支持向量机技术

在机器学习中,支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例,每个训练实例被标记为属于两个类别中的一个或另一个,SVM训练算法创建一个将新的实例分配给两个类别之一的模型,使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点,这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后,将新的实例映射到同一空间,并基于它们落在间隔的哪一侧来预测所属类别。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

暂无评论
暂无评论~