泽南、杜伟报告

严禁一稿多投:NeurIPS 2019刚刚毙掉了19篇论文

上星期,人工智能顶级学术会议 NeurIPS 2019 的论文评审结果刚刚放出。昨天,本届 NeurIPS 程序主席、谷歌大脑研究员 Hugo Larochelle 等人发出了一篇公告,宣布大会刚刚因为一稿多投拒掉了 19 篇论文。这让人们的神经再次紧张了起来。

改一改再投也不行?NeurIPS 的程序主席们表示他们还在审查一些疑似与其他 AI 学术会议投稿雷同的论文,未来拒稿的数字可能还会增加。

「随着 NeurIPS 2019 大会的审稿工作完成,作者回应阶段开始,我们现在要宣布有关程序主席(PC)审稿策略的更新了,」Hugo Larochelle 说道。

Deadline 过去了,论文还没有审完

首先,对于作者来说论文提交的 Deadline 是一道坎。对于审稿人来说,评审 Deadline 也一样刺激。

7 月 25 日至 7 月 31 日是 NeurIPS 2019 论文作者起草并提交论文评审反驳意见的时间。针对目前给出的评审意见,作者们可以进行解释消解评审的顾虑,抑或澄清审查中可能存在的任何误解和事实错误。随后,作者的回复将通知提交给审稿人和大会区域主席(AC)之间进行讨论,最终他们会给出评审建议。

大家可能已经注意到,论文评审的提交截止日 7 月 15 日和评审放出时间 7 月 25 日之间相隔多天。大会组织者表示,这一段时间原本计划用于区域主席、高级区域主席和程序主席(PC)跟踪逾期未审的论文,以在必要时紧急进行评审。

虽然大多数评审者按时完成了自己的评审任务,但仍然出现了大量评审者推迟提交评审,甚至在截止时间最后一刻选择退出评审者行列的情况。所以直到 Deadline 之后 36 个小时,只有 73% 的论文获得了至少 3 个评审结果,大约有 90% 的评审者提交了评审结果。

看来对于大会评审人员、区域主席和程序主席来说,他们度过了一段紧张繁忙的阶段。

严禁一稿多投

正如会方在 Call for Papers 中所提到的,本届 NeurIPS 2019 宣布与其他人工智能学术会议展开了合作,以阻止一稿多投的现象。组织者选择的合作会议与 NeurIPS 存在主题领域和评审时间上的交叉。

为了保证 NeurIPS 大会的内容具有原创性和新颖性,因此大会希望积极制止一稿多投的现象。此外,大会主席还希望避免论文作者利用系统漏洞的企图,通过一稿多投来增加被接收的机会。找出这些一稿多投的论文也为大会增加了很多额外的工作量。

针对这种情况,我们已经与 BMVC、ECML-PKDD、EMNLP-IJCNLP 以及 ICCV 的程序委员会主席展开合作。我们的流程管理人员运行相应脚本,对提交至 NeurIPS 的论文与这些学术会议上同一作者提交的论文进行对比。然后,我们检查了相似度最高的论文,确定它们是否违反了双重提交政策。

通过以上操作,我们发现并确定提交至 NeurIPS 的 19 篇论文与同一作者提交至不同学术会议的其他论文存在明显重复。因此,我们现在已经拒绝接收这 19 篇论文。我们还识别出了一些疑似出现重复的论文,并指定领域主席进行仔细调查,以帮助我们确定一个公平的解决方案。

此外,大会还对所有相同作者提交至 NeurIPS 的论文中运行相似度脚本,从而突出显示具有明显重复的论文案例。大会主席并没有亲自检查这些重复论文,而是指定相同的评审者和领域主席进行审核。然后,NeurIPS 会通知他们,这些提交的论文会被一同进行评估,以确定接收其中的一篇是否导致另一篇因重复而无法被接收。

更多有关作者回应和论文双重提交的信息可参阅《NeurIPS 2019 征文须知》。

链接:https://neurips.cc/Conferences/2019/CallForPapers?source=post_page---------------------------

有损论文评审公平性?

将相同的评审分配给类似的论文以避免它们「可能」的雷同虽然可以提高评审论文的效率,但显然也会有损论文评审的公平性。人们对于这种新的评审做法颇有微词,英特尔科学家 Randall Munroe 表示:「这是一个让评审机制走向偏见的好方法,我很惊讶机器学习会议会变得如此堕落——故意加剧审查制度的偏见。」

Munroe 认为,如果把应对「一稿多投」问题的任务交给大会的领域主席(AC),但让他们以无偏见的方式进行审查效果或许会好得多,因为这对于领域主席来说相对简单,而且一稿多投且在两个大会上都被接收的情况其实很少见。

对此,程序主席 Hugo Larochelle 并不赞同:「请注意,如果论文有高度重复性,我们实际上希望两边都把它拒掉,因为我们希望阻止这种投机取巧的策略。

Larochelle 又表示,其实目前这种方法对于论文作者来说也有好处,论文评审可以在评论中提出自己的看法,而论文作者也可以在回复中进行反驳——如果让领域主席来进行判断,这些都就都做不到了。

看起来,为了降低大会接收论文的水分,组织者们正在采取各种手段。上周四,NeurIPS 2019 大会放出了论文的评审结果。对于每篇有效投稿的论文,作者们都得到了至少三个评审结果。

知乎等社交平台上,人们纷纷开始晒(tu)出(cao)收到的评审结果。总体而言,大多数评审给出的建议非常中肯,但也有一些缺乏专业知识/没有仔细看论文/故意反问的:

你文章里标点为什么用那么多?很难读啊,我建议你把它修改一下。

当然,其中还有更加直击灵魂的追问:

What is softmax?

最后,如果看到这些不淡定了,先吃一袋 NIPS 压压惊。

参考内容:

https://medium.com/@NeurIPSConf/author-response-4a58bbd101bf

理论机器学习计算机视觉智能科研一稿多投NeurIPS
1
相关数据
英特尔机构

英特尔是计算创新领域的全球领先厂商,致力于拓展科技疆界,让最精彩体验成为可能。英特尔创始于1968年,已拥有近半个世纪产品创新和引领市场的经验。英特尔1971年推出了世界上第一个微处理器,后来又促进了计算机和互联网的革命,改变了整个世界的进程。如今,英特尔正转型成为一家数据公司,制定了清晰的数据战略,凭借云和数据中心、物联网、存储、FPGA以及5G构成的增长良性循环,提供独到价值,驱动日益发展的智能互联世界。英特尔专注于技术创新,同时也积极支持中国的自主创新,与产业伙伴携手推动智能互联的发展。基于明确的数据战略和智能互联全栈实力,英特尔瞄准人工智能、无人驾驶、5G、精准医疗、体育等关键领域,与中国深度合作。面向未来,英特尔致力于做中国高价值合作伙伴,在新科技、新经济、新消费三个方面,着力驱动产业协同创新,为实体经济增值,促进消费升级。

https://www.intel.com/content/www/us/en/company-overview/company-overview.html
相关技术
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

知乎机构

知乎作为中文互联网知名知识内容平台,致力于构建一个人人都可接入的知识分享网络,让人们便捷地与世界分享知识、经验和见解,高效获得可信赖的解答。 目前,知乎已经覆盖「问答」社区、一站式知识服务平台「知乎大学」、短内容分享功能「想法」等一系列产品和服务,并建立了包括音频、视频在内的多元媒介形式。截止 2018 年 8 月底,知乎用户数已突破 2 亿,回答数超过 1.2 亿。未来,知乎进一步加大对 AI 技术和应用的投入,构建一个由 AI 驱动的智能社区,让知识普惠每一个人。

https://www.zhihu.com
推荐文章
What is NIPS? ==