Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

魔王机器之心报道

NeurIPS 2020放榜,接收率史上最低!AC:低接收率带不来有趣的论文

NeurIPS 2020 现史上最低论文接收率,你的论文中了吗?

昨日,NeurIPS 2020 会议发送论文录取通知。


根据杜克大学陈怡然教授的微博信息,NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。

相比前几年,今年 NeurIPS 会议不管从论文投稿数量还是接收率都创了记录:论文投稿数量创历史最高记录,相比去年增长了 38%,接收率却为史上最低。

2013-2020 年 NeurIPS 会议的投稿和接收论文数量。(图源:AMiner 科技)

这或许与 NeurIPS 2020 的投稿、评审制度变化有关。

NeurIPS 2020 政策变动

今年初,NeurIPS 2020 公布了新一届大会的变化:投稿截止日期提前;部分论文会被提前拒稿;绝大多数作者可能会参与审稿工作等。

具体而言:
  • 1. 今年摘要提交的截稿日期提前到 2020 年 5 月 5 日(后延期至 5 月 27 日),而论文提交的截止日期是 2020 年 5 月 12 日(后延期至 6 月 5 日),此次调整旨在让社区能够合理地处理完增加的投稿量,以及配合「提前拒稿」这一新政策。

  • 2. 提前拒稿:每篇论文都会经过两名不同有经验的研究者评估(领域主席 AC 和高级领域主席 SAC),决定论文是否需要接受进一步的评审。领域主席会有两个星期时间建议哪些论文会被提前拒绝,然后高级领域主席会有一个星期的时间来审核及批准这一决定。批准之后,这些论文作者将会得到通知。最终这一阶段刷掉了 11% 的论文

  • 3. 作者也是审稿人:此次改变提出,在需要时,论文作者或联合作者都需要同意审稿。这一改变有助于增加审稿人员的总量,并可以在提交论文的员中更加公平地分配审稿的工作量。

  • 4. 更广泛的影响:作者被要求在他们提交的文件中包含新的讨论部分,而讨论部分是关于他们的研究工作可能产生的影响,包括一些可能导致的正面的或者负面的社会影响。

  • 5. Spotlight 视频:社区要求所有作者在提交作品时上传一段视频,主要是记录该工作的 Spotlight 展示,该视频和 camera-ready 版论文一同提交。同时,社区也在推进远程演示以及远程参会,他们也能看到这样的视频展示。

NeurIPS 2020 在 7 月份透露,在「提前拒稿」阶段,约 11% 的论文被拒;组委会基于论文发表情况、评审经验和学科领域汇集了 7800 名合格的论文评审者,其中 2400 名是 NeurIPS 2020 会议的投稿作者。

尽管这些举措出于解决论文投稿数量大、研究的伦理问题和算法应用问题,以及远程会议的考虑,但新的变动仍引发了大量争议。

上个月,NeurIPS 2020 论文评审结果一出就引来了大量吐槽,矛头指向「提前拒稿」和「作者也是审稿人」。

领域主席发声:这样做或许能让 NeurIPS 会议更好

而这次,在众多吐槽声中,NeurIPS 2020 领域主席之一、纽约大学副教授 Julian Togelius 作为评审人员发表了自己的看法,他认为「会议的低接收率使得论文的新奇度、有趣度下降,不再向研究者施加向大型严格会议提交论文的压力或许会让 NeurIPS 等会议变得更好、规模也更小」。

我理解大家被 NeurIPS 会议拒稿后的沮丧。作为领域主席,我可以确定我给一些不错论文的推荐结果是「rejection」。它们的问题在于不够新奇有趣、不够令人兴奋。

当然,所有被拒的论文都存在某种问题。比如,错误的基准、控制变量研究不足、没有引用一些重要的工作等。但是,其实所有论文都有错误。想想那些影响你最深的机器学习论文,它们难道就是完美的吗?

如果你觉得一篇论文足够新奇有趣,你会忽略它的缺点(在合理范围内)。然而,在评审 NeurIPS 论文的时候,即使用了所有 sorting 函数,我仍然难以找到让我觉得兴奋的亮点。

一大问题是低接收率,它让评审过程变成了「找茬游戏」。会议 tenure 和 promotion 委员会的要求使得论文接收率较低。因此很多作者把论文写得很周全、符合要求,而这也让论文变得无聊和平庸了。

一个隐形的更大问题是 NeurIPS 会议规模太大了。它汇集了不同研究兴趣的人,但无法保证评审的兴趣与论文最大程度地匹配,因此这些评审会找理由拒稿。

按照我的经验,在高接收率的小型会议和 workshop 上,我会找到较多感兴趣的论文。部分原因在于,在拒稿威胁较小时,你才能写出更有趣的论文。

还有一个更大的原因是,我对小型会议和 workshop 的领域更感兴趣。我的意思是,为什么要把时间浪费在 95% 的议程你都不感兴趣的会议上呢?

我希望,机构不要向作者施加向大型、严格筛选的会议提交论文的压力。如果只有那些真的想向 NeurIPS 投稿的人投稿,那这个会议可能会变得更好,规模也会变小。

近年来,机器学习会议的论文投稿数量激增,论文评审变成了亟待解决的问题。各家会议纷纷出台新政策,然而不管是 NeurIPS 2020 的「提前拒稿」还是 EMNLP 2020 的 Findings,都引起了一些争议。

如何解决评审难题,道阻且长,但行则将至。这或许不只需要学术会议的努力。

参考链接:

https://mp.weixin.qq.com/s/t5g9ArFtCTWok83oakaPWw

入门NeurIPS 2020
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

推荐文章
暂无评论
暂无评论~