Yoshua Bengio作者

深度学习先驱Bengio:AI顶会论文的Deadline是时候取消了

对于机器学习界的研究者来说,一年的进度条几乎是靠数着顶会 deadline 来过的。「投稿→rebuttal→接收/被拒→继续(斐波那契式)投稿」是很多研究者的日常。这种疲于赶场的论文发表方式真的能提高 ML 领域的科研水平吗?近日,深度学习先驱 Yoshua Bengio 在个人博客反思,顶会论文的 Dealine 让人疲于应对,对于提升研究质量来说弊大于利,机器学习研究的发表模式是时候来点变革了。

Yoshua Bengio:深度学习先驱,蒙特利尔大学计算机系教授,2019 年图灵奖获得者。


作为 NeurIPS 顾问委员会和 ICLR 委员会的成员,这些年来我一直在参与这些学术会议的组织举办。关于如何提升会议水准和体验,之前我曾参与过程序委员会的讨论,不过,那些讨论结果都属于「渐进性」的改善。

所以我一直在想,我们是否需要重新思考一下机器学习领域的总体发表程序了。

在过去的几十年里,环境发生了很大的变化。这很大程度上要归功于 arXiv 的普及,它加快了信息发掘和传播的周期。现在有很多能够发表机器学习论文的会议平台,比如我的团队常在 NeurIPS、ICML 和 ICLR 上发表论文,此外也会在一些计算机视觉自然语言处理的会议上发表论文,这意味着平均每两个月左右就要经历一轮追赶 Deadline 的体验。

总体上看,做研究的氛围在过去几十年间也有不小的变化。如今,竞争氛围更强烈,节奏很快,这让每个人都背上了更重的压力。机器学习领域的规模正在呈指数型增长,学生们也出于焦虑的心态,急于将自身的想法保护起来,因为担心稍晚一步就可能被别人抢先,担心某个人会在某处做了同样的工作。如今,一个博士生在毕业前发表的论文数量,比二三十年前的博士生多了一半不止。

谷歌著名计算机科学家 Jeff Dean 去年曾在推特上分享了最近 AI 论文发表数量的趋势。arXiv 上关于机器学习的学术论文每 18 个月增加一倍,大有赶超摩尔定律的趋势。

机器学习领域的研究几乎完全进入了「会议发表」模式,实际上在计算机科学领域,这种模式已经非常常见。会议论文基本上没有像传统期刊论文那样 clean up 的机会,也很少像传统期刊论文那样,能在多次的修订之后提升内容质量。

所以说,表面上看,我们的生产力更高了,但是这种迫于压力的「生产力提高」对论文质量和内容深度造成了破坏。许多可能包含错误、不够严谨或者只是做了简单的增量提升的论文都赶在 Deadline 之前提交了上去。而在过去,这些论文可能都不会提交。

在 Deadline 的催促下,许多论文是「赶制」的,甚至没有充足的时间去检查内容,此外现在也有攀比论文发表数量的氛围,尤其是作为一作或者共同一作的论文,着实令人惊讶。

我认为,有价值的、重要的研究进展是需要一个过程的,需要一些时间去深入思考,需要后退一步去「小心地求证」。压力会对科研的质量造成负面影响,因此,是时候思考「慢科学(Slow Science)」了。

出于这种感受,我一直在思考机器学习领域是否存在其他可能的研究发表模式。或许我们可以尝试类似 VLDB 模式,这种方式已经在某些地方试行了。我也和 NeurIPS 委员会讨论过这种方法,在这里把通信内容分享给大家:

我希望看到更多有关完善机器学习研究发表程序的讨论,评审是这个过程中的关键。

我感觉,除了缺乏审稿的激励,现有制度还鼓励增量的工作,给研究生及广大的研究者造成了很大的压力,他们会在每个 deadline 之前提交尽可能多的论文。有的学生会在 deadline 两个月之前来找我,咨询两个月时间够不够完成一篇内容。
此外,现在很多大会在内容和社区上的重合度都非常高(尤其是 NeurIPS、ICML 和 ICLR),所以研究者们只需将自己被拒的论文转投下一个会议即可,届时会遇上新一波的审稿人(由于噪声的存在,一篇论文在消耗了很多社区资源之后终被接收)。那些优秀的审稿人在每年的固定几周都很忙,所以大会的领域主席很难找到合适的审稿人(这点不同于期刊)。
这让我想起另一个模式,即首先将论文提交给一个快速流转的期刊(可以是 JMLR),然后让各个大会的程序委员会从已经被接收、审阅、打分的论文中选出最喜欢的论文(假设作者愿意在大会上展示他们的论文)。
过去,举办大会对于加速科研周期、更新研究想法非常重要,但现在我们有了效果更好的 arXiv。因此,除了社交之外,会议的主要作用应该是选出重要研究并进行口头展示,为社区出现的最好、最重要的想法提供多元化的建议,使该领域的研究者能够同步共享这些信息。会议展示的这些内容甚至不必是最新的,也可以是一两年前的研究,只是最近才受到关注。

会议的 Deadline 系统会激励研究者提交半生不熟的成果(通常也不会在论文被接收后进行适当修改,而是转而进行下一项投稿)。如果有一个隐式的软截止时间(implicit soft deadline),研究者就会有动力继续改进自己的工作,直到这项工作被打磨得更好,而不是过早把它投出去(因为如果将论文投给 JMLR,我不知道它何时会被接收,也不知道何时会进入大会的候选列表)。此外,期刊审稿过程中给出的多轮反馈最终应该能够提高论文的质量。我们的研究成果以期刊的形式发表出来将使得机器学习领域的研究者与其他领域的研究者(他们更加看重期刊而不是会议)合作起来更加容易

我想,这只是一个讨论的起点,许多机器学习会议和期刊流程的参与者肯定都有关于如何改进上述流程的想法。在这个社区中,提交或评审论文的每个人都知道一些关于哪些方式可行,哪些方式不可行的信息。让我们集思广益,一起来探索如何在提高科学质量的同时为人类谋求更多福祉。


参考链接:https://yoshuabengio.org/2020/02/26/time-to-rethink-the-publication-process-in-machine-learning/
入门AI深度学习ICLRNeurIPSYoshua Bengio
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为:积体电路上可容纳的电晶体数目,约每隔两年便会增加一倍;经常被引用的“18个月”,是由英特尔首席执行官大卫·豪斯所说:预计18个月会将芯片的性能提高一倍。

推荐文章
暂无评论
暂无评论~