何静编辑

OpenAI最新论文:机器学习效率正在超越摩尔定律

八年前,一种机器学习算法学会了识别一只猫,它震惊了全世界。

几年后,人工智能可以准确地翻译语言,打败世界围棋冠军。

现在,机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏,以及诸如扑克之类的微妙游戏中脱颖而出,人工智能正在快速发展。

但是速度有多快呢,是什么在驱动着速度呢?虽然更好的计算机芯片是关键,但 AI 研究机构 OpenAI 认为,我们也应该衡量实际机器学习算法的改进速度。

OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出,研究人员称他们已经开始跟踪衡量机器学习的效率,即用更少的资源做更多的事。他们使用这种方法表明,人工智能已经以一种极快的速度变得更加高效。

算法效率提升加快研究

一般说来,驱动 AI 进步的有三个因素:运算量数据算法创新。计算能力更容易跟踪,但算法方面的改进却有点难以捉摸。

我们可以将算法效率定义为减少训练特定功能所需的计算量,它是衡量计算机科学中算法进度的主要指标。传统问题(如排序)的效率提升比机器学习更易于衡量,因为它们可以更清晰地衡量任务难度。但是,可以通过保持性能恒定来将效率透镜应用于机器学习

自 2012 年以来,在 ImageNet 分类中训练神经网络达到相同性能所需的计算量,每 16 个月减少了 2 倍。与 2012 年相比,现在将神经网络训练到 AlexNet(一种基准图像识别算法)所需的计算量减少了 44 倍。研究结果表明,对于最近投入大量资金的 AI 任务,算法进步比传统硬件效率产生了更多收益。

用于训练到 AlexNet 级别的总计算量(以太字节 /天为单位),在任何给定时间的最低计算点都以蓝色显示,所有测量点都以灰色显示。

尤其在翻译和游戏等其他流行功能,在较短时间范围内改进的速度更快。在翻译方面,三年后的英法翻译中,Transformer 算法的计算能力比 seq2seq 算法低 61 倍;仅仅一年后,DeepMindAlphaZero围棋比赛中,其计算量比 AlphaGoZero 少 8 倍,就能与 AlphaGoZero 匹敌;而仅三个月后,OpenaAI Five Rerun 在 Dota2 上使用了比原来低五倍的计算能力,就能超越了世界冠军 OpenaAI Five。

算法效率的提高,使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验,加速未来 AI 的研究。

机器学习摩尔定律

机器学习中是否存在某种算法摩尔定律

研究人员表示,目前还没有足够的信息来说明这一点。他们的工作只包括了几个数据点,原始的摩尔定律图表同样几乎没有被观察到,所以任何推断纯属推测。此外,研究仅关注少数几个流行的功能和顶级程序。目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务。

对于语言、游戏等领域,大规模的计算对于整体性能仍然很重要,因此追踪效率显得尤为重要,测量效率整体性能的长期趋势将有助于描绘总体算法进展的定量情况。研究人员观察到,硬件和算法效率提升是可乘的,并且在有意义的范围内可以达到相似的规模,这表明 AI 进步的良好模型应该整合两者的衡量指标。

研究结果还表明,对于具有高投资水平(研究人员花极大时间和精力)的 AI 任务,算法效率可能超过硬件效率(摩尔效率)带来的收益。
摩尔定律是在 1965 年提出的,即当价格不变时,集成电路上可容纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍。

当时集成电路只有 64 个晶体管,之后出现了个人计算机和智能手机(iPhone11 拥有 85 亿个晶体管)。如果我们观察到数十年来 AI 算法效率的指数级提高,它可能会带来什么?

出于这些原因,研究人员开始公开跟踪效率的整体性能,首先探索视觉和翻译效率基准,包括 ImageNet 和 WMT14,之后再考虑随着时间的推移将添加更多的基准。跟踪多种措施,包括硬件的措施,可以描绘出一幅更完整的进展情况,并有助于确定未来的努力和投资在哪些方面最有效。

人工智能的未来

值得注意的是,这项研究的重点是深度学习算法,这是目前占主导地位的人工智能方法。深度学习是否能继续取得如此巨大的进步,是人工智能领域争论的焦点。该领域的一些顶级研究人员质疑深度学习解决该领域最大挑战的长期潜力。

OpenAI 在较早的一篇论文中表明,最新热门的人工智能需要相当惊人的计算能力来进行训练,并且所需的资源正以惊人的速度增长。在 2012 年之前,人工智能程序使用的计算能力的增长主要遵循摩尔定律,而自 2012 年以来,机器学习算法使用的计算能力的增长速度是摩尔定律的 7 倍。
这也是 OpenAI 对跟踪进展感兴趣的原因。例如,如果机器学习算法的培训成本越来越高,那么增加对学术研究人员的资助就很重要;如果效率趋势被证明是一致的,那么就更容易预测未来的成本并相应地计划投资。

进步是否会持续不减,摩尔定律式的理论在未来几年或即将碰壁,仍有待观察。

但正如作者们所写的那样,如果这些趋势在未来继续下去,人工智能将变得更加强大,而且可能比我们想象的还要快。

资料来源:
https://singularityhub.com/2020/05/17/openai-finds-machine-learning-efficiency-is-outpacing-moores-law/
https://openai.com/blog/ai-and-efficiency/

理论摩尔定律机器学习论文OpenAI
相关数据
OpenAI 机构

OpenAI是一家非营利性人工智能研究公司,旨在以惠及全人类的方式促进和发展友好的人工智能。OpenAI成立于2015年底,总部位于旧金山,旨在通过向公众开放其专利和研究与其他机构和研究人员“自由合作”。创始人的部分动机是出于对通用人工智能风险的担忧。

https://www.openai.com/
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

AlphaZero技术

DeepMind 提出的 AlphaZero 不仅征服了围棋,也在将棋、国际象棋等复杂游戏中实现了超越人类的表现。DeepMind 推出的 AlphaGo 曾在围棋项目中取得了超越人类的表现,其研究曾经两次登上 Nature。2018 年 12 月,AlphaGo 的「完全自我博弈加强版」AlphaZero 的论文又登上另一大顶级期刊 Science 的封面。在论文中,AlphaZero 不仅征服了围棋,也在将棋、国际象棋等复杂游戏中实现了超越人类的表现。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为:积体电路上可容纳的电晶体数目,约每隔两年便会增加一倍;经常被引用的“18个月”,是由英特尔首席执行官大卫·豪斯所说:预计18个月会将芯片的性能提高一倍。

围棋技术

围棋是一种策略性棋类,使用格状棋盘及黑白二色棋子进行对弈。起源于中国,中国古时有“弈”、“碁”、“手谈”等多种称谓,属琴棋书画四艺之一。西方称之为“Go”,是源自日语“碁”的发音。

推荐文章
暂无评论
暂无评论~