在每次顶会论文放榜之后,大家都会争相晒出自己又收到了什么样的奇葩审稿意见,有些意见甚至会引发群嘲。但我们需要知道,这种不负责任的审稿人毕竟只占少数。审稿人往往都身兼数职,能够拿来做评审工作的时间可能都是挤出来的。在任劳任怨的同时,他们还要饱受糟糕论文的摧残,有些甚至是「半成品」。近日,终于有一位审稿人受不了了……
我知道,你们中的很多人都会在几周之后收到 ICML 的反馈,而且很有可能是「拒绝」。我知道被拒绝的滋味很难受,我也很同情你们,因为我也在投稿,也可能被拒。 但作为一个这周已经花了二三十个小时(这周还能还要花三四十个小时)审稿的人,我想说,请(x4)不要再把没完成的工作投给大会了! 目前就我审到的论文而言,其中有一半都是半成品。它们都有着明显的硬伤,没有一个理性的人会相信这种论文竟然出现在顶会论文的评审阶段。也没有一个理性的人会将这种论文放在哪怕过去几年最糟糕的 ICML 论文旁边,并说上一句「它们质量差不多」或「前者质量还好一点」。
在提交论文之前,请花点时间让你的同伴或导师帮你审审论文。我敢保证,如果他们能从你的论文中找到「任何」缺陷,那大会审稿人就会发现一箩筐问题,然后给你一个令人心碎、泄气的审稿意见。 我知道,我们都生活在一个被吹起来的巨型气泡中,所有人都想搭上这辆炒作的快车,但审阅这些半成品论文让我觉得自己不被作者尊重。显然他们是想早点获得反馈。要求你的审稿人「免费」为你做研究工作,还要指导你如何构建、呈现你的论文,这对大会系统、同行评审过程来说都是不公平的。把审稿人当成你的免费劳动力也是不公平的。
我审一篇论文至少要花六七个小时,更多的时候要花十个小时以上。那可是我生命中的十几个小时,这些作者认为他们有权利占用这些时间,让我帮助他们改进研究,从而达到最终发表的目的。这让我感到如此地不受尊重,坦白说,如果要面对的都是这种质量的论文,我都想放弃审稿工作。 这些作者不仅自私,还拉低了大会质量,对整个研究社区、同行评审过程都造成了伤害。他们提交的半成品越多,审稿人的工作越繁重。我们能够花在每篇论文上的时间没有理想中那么多,也就是说,那些质量高、应该被接收的论文可能会被忽视、拒绝或者得到糟糕的反馈。这简直令人无法接受!
坦白说,这些作者和那些在疫情期间大量囤积卫生纸的人没有什么两样。他们的行为非常自私,损害了社区的利益,将自己置于研究以及其他提交优秀论文的作者之上。 请(x3)不要再这么做了。麻烦提交一份你觉得可以发表、够资格参与同行评审的完整论文。
「在一篇论文上花费 6、7 个小时,甚至 10 多个小时」可能有些问题,如果一篇论文「显然还没有准备好发表」,可以简单地总结 2 到 3 个重要缺陷,然后给一个「不适宜发表」的评语。不用为此感到内疚,因为审稿人都没有认真对待自己的论文,那么你也不用花费太多精力。
说实话,我不太确定这样做有没有用。如果我给出一个「该论文不适宜发表」的评审意见,审稿委员会就必须得相信我所说的。实际上,审一篇质量不好的论文往往要比审好论文花更多的时间。我必须得查文献(作者应该做的)、举出具体的示例或者反例,你懂的。 我选择相信审稿委员会的决定,而不是审稿人的意见。审稿人的任务应该是「告知」而不是「决定」。
论文审阅需要依据特定的标准,首先我要花 30 分钟对整体内容进行一个初步判断,大概有 Yes、Maybe 或者 No 这几种情况;然后我花两个小时来仔细阅读论文,来验证我的初始评级是否需要改变;最后,我要根据大会审稿的具体标准写出每一项的对应评语,于是三个小时又过去了,在这期间我还要穿梭于论文的各个章节之间,提出一些建设性意见。
即使那些论文作者没有好好对待自己提交的内容,我也会尽可能地给出最细致准确的评审意见。