NeurIPS 2020奖项出炉:GPT-3等三项研究获最佳论文奖,华人一作论文获时间检验奖

一万八千人参会的NeurIPS 2020 相比去年数量暴涨了三成,在大会上,1750 亿参数模型 GPT-3 再次成为了人们热议的话题。

北京时间 12 月 8 日凌晨,正在线上举行的全球人工智能顶会 NeurIPS 2020 公布了最佳论文等奖项。在一千八百余篇论文中,三篇论文获会议最佳论文奖项,OpenAI 等机构的 GPT-3 研究名列其中,可谓实至名归。

人工智能顶会 NeurIPS 2020 于本月 6 日 - 12 日在线上举行,预计此次会议将迎来 18,000 名参会者。此次会议共收到 9467 篇论文投稿,接收论文 1898 篇,论文提交数量增长 38%,再创新高,接收率为 20%,创历史新低。

面对如此大规模的提交论文,NeurIPS 2020 采取了新的审稿机制,包括提前拒稿(desk-reject)、论文作者兼任审稿人。这些新机制引发了一些争议,NeurIPS 2020 公布了相关数据,称就审稿人质量而言,作者兼任审稿人与其他审稿人获得了类似的评分。

在 NeurIPS 2020 开始之前,科技公司 Criteo 的研究科学家谢尔盖 · 伊万诺夫对 NeurIPS 2020 的接收论文进行了初步统计,发现谷歌、斯坦福大学和 MIT 分别以 169、104 和 98 篇成为论文被接收数量最高的机构,清华大学位列第七,有 63 篇。而如果统计国家的话,美国研究者的 1178 篇论文遥遥领先,中国和英国排在其后。

NeurIPS 2020 最热门的三个投稿方向和以往相比没有太大变化,仍是「算法」、「深度学习」和「应用」,不过后两个方向热度有所降低。值得注意的是,今年的 NeurIPS 大会引入了「机器学习的社会影响」方向,探讨的内容包括公平与隐私。

此外,「理论」和「神经科学」是论文接收率最高的两个领域,而「应用」、「数据挑战、应用和软件」则是今年接收率最低的方向。

目前,NeurIPS 2020 公布了最佳论文奖和时间检验奖。OpenAI 等提出的语言模型 GPT-3、米兰理工大学和卡内基梅隆大学提出的 no-regret 学习动态研究,和加州大学伯克利分校关于数据总结的论文共享本届会议的最佳论文奖项。获得时间检验奖的论文则是诞生于 2011 年的研究《HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent》。

最佳论文奖

今年共有三篇论文获得最佳论文奖,分别由 OpenAI、米兰理工大学 & 卡内基梅隆大学、以及加州大学伯克利分校的研究者摘得。

获奖论文 1:Language Models are Few-Shot Learners

  • 作者:Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel M. Ziegler, Jeffrey Wu, Clemens Winter, Christopher Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, Dario Amodei

  • 机构:OpenAI、约翰霍普金斯大学

  • 论文地址:https://papers.nips.cc/paper/2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf

获奖理由:

用于估计序列中下一个词概率的人工智能系统叫做「语言模型」。语言模型首次出现在 1950 年代,是连接自然语言与当时的新领域——信息论的理论构架。OpenAI 的这篇论文提出了 GPT-3——有史以来最大也最复杂的语言模型。这项研究表明,如果你使用史无前例的大量算力和数据让语言模型获得足够的准确率,它也就获得了无需额外训练,仅使用简单的自然语言提示即可解决大量任务的能力。比如回答简单的问题、生成文章、确定电影评论是否积极,以及英法互译等。

论文作者表明,GPT-3 在一些任务中的能力胜过其他模型,并用大量篇幅探讨这项技术的优缺点。论文作者还考虑了这项技术的潜在有害影响,如低成本生成难以检测的假新闻,模型因训练数据偏见在种族、性别和宗教等敏感话题上产生倾向性。

一部分 GPT-3 论文作者。

GPT-3 因其高达 1750 亿参数、动辄几百万美元的模型训练费用和无与伦比的「文学创作」水平,在推出之后吸引了众多学者,甚至业界以外人们的关注。不过在研究如此大规模模型之后,社区未来应该朝着哪个方向研究,我们还需要很多思考。

在 NeurIPS 2020 大会上,当被问及未来研究方向时,论文作者之一 Dario Amodei 表示:「GPT-3 仍然只是『预测一段文字之后的下一个字』,我们还有很多事可以做,如通过强化学习来微调语言模型以改变目标函数,进而生成更复杂的文字内容。」

获奖论文 2:No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

  • 作者:Andrea Celli (Polimi), Alberto Marchesi (Polimi), Gabriele Farina (CM) and Nicola Gatti (Polimi)

  • 机构:米兰理工大学 (Polimi)、卡内基梅隆大学 (CM) 

  • 论文地址:https://proceedings.neurips.cc/paper/2020/file/5763abe87ed1938799203fb6e8650025-Paper.pdf

获奖理由:

人们的决定会影响到他人。为了保证合理的行事方式,我们需要通过这种「相互依赖」达到经济学家所说的「均衡」(equilibrium)。创建能够找出均衡点的自动程序是非常困难的任务。这篇论文提供了首个解决方法——利用学习方法为通用交互寻找「相关均衡」(correlated equilibria,CE)。

相关均衡要求一个受信任的外部调停者为决策者提供决策建议,典型案例就是红绿灯,红绿灯告诉车辆前进这一行为是否安全。即使在相关法律缺失的情况下,我们仍然应该遵循红绿灯的推荐结果,因为我们知道每个人都可以推断出这是最好的选择,闯红灯是危险的行为。

这篇论文表明,此类均衡可以通过完全独立执行的学习算法来实现,无需外部交通工程师,甚至在决策涉及多个步骤、决策者对于世界的状态一知半解时也是如此。也就是说,存在此类 regret-minimizing 算法使 CE 在更广泛的博弈类别中实现收敛,即扩展形式的博弈。这一结果解决了博弈论、计算机科学和经济学领域中长期存在的开放性问题,并对涉及调停者的博弈产生显著影响,如通过导航 app 高效制定交通路线。

获奖论文 3:Improved guarantees and a multiple-descent curve for Column Subset Selection and the Nystrom method

  • 作者:Michał Dereziński, Rajiv Khanna, Michael W. Mahoney

  • 机构:加州大学伯克利分校

  • 论文地址:https://proceedings.neurips.cc/paper/2020/file/342c472b95d00421be10e9512b532866-Paper.pdf

获奖理由:

从大型矩阵中选择小规模且具代表性的列向量子集是一个困难的组合问题,基于基数约束行列式点过程的方法可以给出实用的近似解。这篇论文推导出近似解近似因子的新型上下界。由于这些近似方法在机器学习领域中广泛应用,因此这篇论文可能带来巨大影响,并为核方法、特征选择和神经网络的双下降现象提供新的理解方式。

随着更多大型数据集变得可用,人们越来越依赖以简明扼要的形式总结复杂数据。数据总结(data summarization)是识别数据中重要的样例及属性以高效表示数据的过程。它能够用于从遗传学数据集中选择具有代表性的基因变体子集,也可用于从文本数据库中选择最具信息量的文档。

此前的研究表明,数据总结是一个棘手的问题,对于有些数据集,不存在能够在合理的时间范围内很好地总结数据的算法。而这篇论文表明,这些分析过于悲观。实际上,对于现实世界中的数据而言,生成可解释总结的成本要低得多。该研究表明,未来的系统将能够创建准确、可解释且高效生成的数据总结,从而极大地提高我们吸收和处理复杂数据集的能力。

时间检验奖

本次会议的时间检验奖由 Feng Niu、Benjamin Recht、Christopher Re 等人 2011 年的研究 HOGWILD! 摘得。

获奖论文:HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent

  • 作者:Benjamin Recht, Christopher Re, Stephen Wright, Feng Niu

  • 机构:威斯康星大学麦迪逊分校(NeurIPS 2011)

  • 论文地址:https://papers.nips.cc/paper/2011/file/218a0aefd1d1a4be65601cc6ddc1520e-Paper.pdf

获奖理由:

NeurIPS 大会认为,该研究提出了首个在没有任何锁定机制情况下并行运行随机梯度下降算法的实现,且能够保证强大的性能。

机器学习是将样例数据转换为模型的问题,模型存储在计算机中,用来做出决策或采取行动。现代机器学习系统的核心是随机梯度方法,通常被称为随机梯度下降(SGD)。该方法搜索可能的模型空间,以找到和样例数据匹配的模型。

这篇论文提出了一种能够在一组快速计算机上并行运行 SGD 的实现,所有计算机对模型反复进行微小改动,而无需任何协调或同步。论文作者将这种方法称为 Hogwild!,该方法性能优于其他需要同步的并行化方案。该论文还对 Hogwild! 的收敛速度进行了理论分析,结果表明即使使用大量处理器,也可以达到处理器数量的线性加速(在一个恒定因子之内)。

该论文的被引用量接近 2000 次,它不仅对机器学习领域有影响,对计算机系统和优化领域也有影响,这些都促进了对 Hogwild! 方法的发展和理解。

该研究的主要作者 Feng Niu 是一名连续创业者,2012 年获得威斯康星大学麦迪逊分校博士学位,他联合创始的公司 Alation 在 2017 年被苹果收购。 

最后,大会也对审稿人进行了感谢——今年的 9000 余篇论文投稿,为审稿工作带来了空前的压力。NeurIPS 2020 根据系统中区域主席对于评审意见的打分排名,选择了表现在前 10% 的评审者,共 730 名审核者获得了「审稿人奖」,这些审稿人获得了免费注册的权利。

在今年的形势下,大量学术会议采取线上形式举行,这为人们参与 AI 领域的最热门盛会提供了一些便利。为了促进学术交流,机器之心也在 12 月 6 日举办了 2020 NeurIPS MeetUp,邀请了顶级级专家、论文作者进行了为期一天的共同交流。

机器之心联合创始人 Chain(之乎)介绍2019与2020年NeurIPS Official MeetUp 统计数据。

我们期待未来与机器学习社区成员进行更多学术探讨。

参考内容:

https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537

https://syncedreview.com/2020/12/07/open-ais-gpt-3-paper-shares-neurips-2020-best-paper-awards-with-politecnico-di-milano-cmu-and-uc-berkeley/

理论NeurIPS 2020最佳论文GPT-3OpenAI
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

随机梯度下降技术

梯度下降(Gradient Descent)是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知,使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。 在机器学习中,我们可以利用随机梯度下降的方法来最小化训练模型中的误差,即每次迭代时完成一次评估和更新。 这种优化算法的工作原理是模型每看到一个训练实例,就对其作出预测,并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

暂无评论
暂无评论~