习惯arXiv的今天,我们的论文应该引用预印本吗?

不久之前,ICLR 匿名评审的方式引起了争议,参见机器之心文章《ICLR 2017 匿名评审惹争议,盘点 10 篇被拒却值得一读的好论文》。但围绕学术研究不只有评审的问题,还有引用的问题。近日,一篇讨论是否应该引用预印本论文的文章引起了广泛讨论。本文作者 Jon Tennant 来自英国帝国理工大学,地球物理博士学位,他也是古生物学预印本平台 PaleorXiv 的创建者之一。在这篇文章之后,机器之心还整理了两条对本文意见不一的评论,你有什么看法呢,不妨在评论中和我们讨论。本文内容不代表机器之心的观点。

502428_orig (1).jpg


最近,根特大学的副教授 Matt Shawkey 在社交网络上表达了他在正式研究出版物中引用预印本内容的观点,他认为预印本的内容不应和已经经过同行评议的论文等同对待。这导致了人们对于 arXiv 和其他论文发布平台的广泛讨论。虽然此前有关预印本的讨论一直存在,但随着此类论文的增多,这些问题已变得越来越重要了。

image.png

目前,在预印本问题上已经出现了很多有趣的争议和讨论点,本文试图将它们聚集在一起充分讨论。请注意,你看待传统同行评审模式的态度是这些讨论的重要因素,但那就是另外一个复杂的问题了,在这里不会讨论这个问题。在本文中,我们试图全方位地研究预印本的问题,如有遗漏,请加入这次讨论。


首先,我们必须承认,「提前」是预印本存在的主要原因:在各大平台上出现的论文大多是学者们希望快速获得人们承认的最新研究结果,预印本平台可将内容传递给更多人,在同行审议和出版之前(或者期间)引发讨论,获得更多建议。


问题:我们不应引用未经同行评议的研究。


引用未经同行评议的论文在传统上是学术界的禁忌,而且显然是在引用前首先需要考虑的问题。然而,我们也要知道,许多期刊在历史上都非常乐意接收「个人通讯」、大会摘要以及各种其他类型的「灰色文献」,有些人现在也会拐弯抹角地引用 Twitter、电话讨论的内容,那么预印本为什么要被区别对待呢?


如果我们关注学术引用的统计,大约 4/5 被引用量最多的物理学和数学期刊内容都可以预先在 arXiv 上找到;在经济学上,被引用量最多的期刊是 NBER Working Papers 预印本档案(以上均来自 Google Scholar)。这些现实告诉我们,具有传统预印本文化的研究学科看到了新形式巨大的研究价值,在那些学科中预印本平台的地位甚至超越了传统的期刊,这似乎并没有引起这些领域的任何严重问题。

image (1).png在物理和生命科学领域中,研究发表进展和「可引用」程度的对比(AOP=提前在线出版)


一个非常重要的问题是:引而不看是非常糟糕的学术习惯——这是引用者的谎言;阅读其他研究者的论文而又不进行充分的评估也是非常不好的习惯。评估论文基本上是同行评议的一种形式,因此引用是一个「我们对论文进行了严格审查,并认为其有价值」的标志,至少应该是这样。毕竟,评估科学工作的质量是科学家的工作,不能因为有预印平台而简单地停止。


正如宾夕法尼亚大学副教授 Casey Greene 所说的,引用并不意味着「免除批判性思维的能力」。我们应该对自己有足够的信心,以便能够作出判断和呼吁,但也需要因此更加谨慎。特别是对于我们正在研究的核心领域。仔细评估引文是否支持某一特定论点是我们的集体责任——如果我们不能这样做,我们就配不上学者的称号。虽然这不能解决所有潜在的偏差,但我们不能把传统同行评议机制也有偏差的可能性作为我们的论点,即使两种方式的评议者经常是同样的人,至少我们得在两种方式之间划上一道分隔线。


如果一篇预印本糟糕到不值得引用,那我们只需简单地不引用就可以了。此外,那些得出此类结论却不在学术社区中点出原因的人都是不礼貌的。目前的绝大多数预印本平台都提供了评论功能,这可以很大程度上减少「学术垃圾」出现的几率。虽然并不是所有人都在利用评论功能,但我们可以期待这些评论可以被作者采用,并成为同行评议的某种补充。


这个观点显然是有道理的,因为经过传统同行评议的论文也并不能保证高质量,且 100% 真实。如果我们简单地认为发表在期刊上的论文不存在和预印本相同的问题,那么我们就失去了正确进行研究的能力。


问题:专家可能不愿意阅读有「未经验证的」信息的论文,然后错误地使用这些信息


现在,这是一个有趣且实质性的担忧,而且也常常得到讨论,比如:http://asapbio.org/preprint-info/preprint-faq#qe-faq-644


我们必须记住一些学科有非常深厚的预印本共享文化,包括物理学/数学(120 万,arXiv)、经济学(804,000,RePEC)和应用社会科学(732,000,SSRN)等等,它们似乎很好地应对了信息的流出。现在也已经有了一些缓解这一问题的方法,例如通过简单的筛选流程来阻挡伪科学或防止错误信息的传播。


在预印本使用正在加速的新兴领域(比如生命科学),就我所知,这个问题并没有导致「假新闻」和差科学的传播有什么显著的不同。当然,这并不意味着这不会发生,只是还没有发生而已。忽视其它领域的历史通常不是什么好做法,而且会让有关这些潜在问题的讨论的信息更少。我们应该借鉴来自物理学、社会科学和经济学的有益经验,并且使其它领域的新预印本服务器能够将其用来对抗错误信息。


即便如此,这也并非只是预印本的问题,实际上是学术文献的整体问题——人们在以不同的方式做研究,其中有的方式是不正确的。以自闭症和疫苗为例。不管研究或其它内容有没有同行评议,这种事都会发生。我们应该将其看作是一个机会,能让更多人也参与到研究过程和学术交流中来,而不是因为其他人不是专家就贬低他们。不管我们说什么、发表了什么或同行评议了什么,糟糕的问题始终仍然是糟糕的——比如过去一年来不断出现的「假新闻」和「替代事实」、过去几十年来一直存在的「否认气候变化」和「反进化论」思想……不胜枚举。


在科学传播和新闻/报道上,给最终版本设置正式发布的标准是有很大好处的,也是以防万一。实际上,大多数报道者都很聪明,他们知道并且也尊重这些不同。如果你想通过新闻来报道预印本的内容,那就要注意各种讨论(也许可以通过 Altmetric 来跟踪网上的讨论);而且你必须明确表明这项研究是初步的。新闻记者在报道大会演讲和进展时通常已经在这么做了,对待预印本的标准也不应该有任何不同。


问题:引用预印本会降低正式的同行评议的价值。


尽管总有例外存在,但同行评议通常对作者和文章都有利。引用预印本不会让这样的价值丢失。你只是在使用你自己的判断来决定是否引用一篇文章以及在什么语境下引用。它们并不矛盾,而是互补的。


问题:引用预印本会降低学术的标准。


这里的问题主要在于预印本可能和它们的最终发表版本有所不同。比如说,可能会有分类的不同、增加了额外需要运行的实验、加入了新的分析……这些都可以改变讨论和结论。


这些都是需要考虑的重要问题,而且会根据研究者的实际做法而各不相同。但是,这个问题可以得到很大的缓解,只需要简单地在预印本论文上戳上「未经同行评议(Not Peer Reviewed)」即可,这也是大部分研究者的做法,这应该可以用作某种更加谨慎的推动。任何人都不应该以任何形式大量重复使用已经发表的研究,而不充分考虑和评估,但有了这样的戳可以让我们更轻松地按需要放慢脚步,然后了解到底需要哪些考虑和评估。对我们所有人来说,另一项可以极大简化这些事情的做法是允许数据随预印本一起共享,包括代码和其它材料,这样可以使得研究结果得到快速证实或证否。


我们也应该注意,科学会随时间改变——随着新证据的出现,结果也可能发生变化。科研的这种本质属性意味着过去发表的研究结果往往会被新结果颠覆,这和信息随文章版本的更迭没什么太大不同。但还是有一个主要的差异,即预印本的版本控制是公开进行的,这对于所有各方来说总是有利的。


Matt 的一个观点是:尽管预印本本身很不错,但引用它们并不好。这就造成了逻辑冲突(至少对我而言)。既然里面的信息很好,那为什么不在重新使用它们的时候进行引用呢?如果该预印本质量糟糕,不堪再用,那就不要引用,并且指出原因。正如 Ethan White 最近说的那样:「既有好预印本也有差预印本,既有好报告也有差报告,既有好数据也有差数据,既有好软件也有差软件,既有好论文也有差论文。」和之前一样,最后还是要研究社区以及他们的专业评价来决定是否引用任何研究对象。


目前有一条经验法则可能有用:当作者或其文章的评议者认为可以引用预印本论文时,他们应该被允许这么做,就像他们在其它文章里面做的那样。


问题:提供预印本会造成文章出现冲突。


预印本会改变。发表在 arXiv、bioRxiv 和 Center for Open Science 上的预印本都有版本控制,让研究者可以更新预印本论本或链接到最后发表的版本。这些不同的版本通常都有明确的标注,甚至不同的版本都可以分别被引用。组合使用 DOI 和版本修订日期可以使这个过程更加简单,还可以配合使用一些简单的作者/标题匹配算法。此外,谷歌学术也大范围支持预印本了,而且值得高兴的是其搜索非常智能,能够合并记录,让我们可以轻松找到匹配(或冲突)。


相反,在这个简单的技术「非问题」之外,我们应该认识到发布文章早期版本的巨大价值(在绝大多数情况下)。尤其是对于部分研究者(比如年轻的研究者),他们往往难以忍受不可避免的漫长的期刊发布时间,而想早点将其研究展示出来,从而得到雇主的亲睐。另外还有的领域是快速变化和充满竞争的,确保自己的发现优先级是非常重要的。


问题:永远得不到发表的预印本该怎么办?


论文得不到发表的原因多种多样。当然,即使一些糟糕的研究也会被发表。所以在「未发表且错误」和「发表且正确」之间并没有明确的界限。相反,它更像是一个巨大的连续变化区间,会因文化和学科的不同而有巨大的差别。


就算一个预印本没有得到发表,它仍然能够提供有用的信息并保证一个思路的优先权。但是如果你发现有一篇论文长时间都处于预印本的状态而未被发表,这可能就暗示你应该谨慎对待这项研究了。在这种情况下,你在个人引用之前应该了解一下之前的相关评价。和之前一样,一段简单实际的评价能解决许多问题,不管是对你还是这个领域之外的人。


然而,正如 Lenny Teytelman 指出的那样,在过去 20 年中,几乎 100% 发表在 Higher Energy Physics 期刊上的文章也在 arXiv 的 HEP 板块以预印本的形式发布了。这说明这可能相对来说是个小问题,至少在这个领域是这样。

image (2).png

发表在主要的同行评议 HEP 期刊上的文章中曾以某种版本发布在 arXiv.org 上的比例随时间的变化。来自:https://arxiv.org/vc/arxiv/papers/0906/0906.5418v1.pdf

有点相关的提及

另外一个像 Matt Shawkey 的言论一样引发了这场讨论的原因是这种态度:「以我的经验 x、y 和 z 看,这没有问题……」这种情况以不同的形式出现在很多情况中,经常会出现在有特权的人身上。我们厌倦了那些用「经验数据」说话的人。它没有建设性、毫无理性,完全破坏了那些有不同生活经验和思考方向的人的发言权。现代社交网络的发展似乎也在加强这种多数人的观点,有时言论经常会显得过于激烈。我们需要保持文明、专业、有建设性,同时在可能的情况下提供真实数据——就像同行评审时需要的样子。有些时候,在证据之下,人们无需知道你的意见。

结论

最后,我们还需认识到没有任何一种系统是完美的,特别是在学术出版上。我们应该做的是对过程进行循证意见的评估,以确保内容对所有社区成员最有利的。特别是那些缺乏声音或边缘化的人。我们必须同时考虑不同的声音和经验,并确保我们倡导的过程和工具是建立在公平和公正的原则基础上,而不是强化特权或现状。这意味着我们必须考虑成本与收益,在我们没有数据的地方,做出决策以收集这些数据,或者选择其他风险最小,潜在收益最大的方法。


所以,所有讨论的结果可由以下几点概括:

  • 如果你要引用预印本论文,请明确说明它是参考文献中的预印本,如果可能的话,请在主文本中指出。

  • 如果你要发布一篇预印本论文,请说明这是一个预印本(大多数平台已经这样做了)。

  • 预印本平台需要版本控制(绝大多数已经有了)。

  • 社区讨论对预印本至关重要,它可以减少潜在的错误信息,提高论文质量。

  • 提倡预印本并不会破坏传统同行评审和期刊的存在。

  • 预印本在全世界正在获得越来越广泛的支持。就像 Open Access 和 Open Data 一样,这些东西正在发生,所以最好以有益于社区的方式建设性地进行沟通。

  • 在出版、引用和重复使用预印本内容时审慎判断。

  • 对于预印本的引用已经出现,与其声讨反对,不如以支持和帮助的态度让其走上正轨,看看其他领域的做法,吸收其中的优点。

综上所述,关于引用预印本的问题,我们的答案是:YES!


看完这篇文章后,你有什么想法和评论呢?机器之心选择了两条对原文的评论附在下面,希望能为你带来更多思考。欢迎大家留言讨论计算机科学、机器学习领域对此问题的看法。

George Walkden,康斯坦茨大学英语语言学和通用语言学教授

有趣,多谢。在语言学领域,预印本和灰色文献一直都会被引用,而且最近语言学领域的编辑也在谈论这件事,结论是这毫无问题。另一方面,冒着 anecdata(指基于经验而非实际研究或推理的信息)的风险,我一直有这种经验,感觉抄写编辑和制作编辑并不喜欢预印本,甚至想要完全摆脱它(尽管没有编辑或评议者觉得这有问题)。目前我仍然支持传统的同行评议,但我并不认为那应该是引用的前提条件。引用的作用是明确信息来源并给出应该的致谢,如果将其限制到同行评议范围内,就会使其变得更加困难。


Simon Dixon,伯明翰大学博士后在读

我认为本文中的观点和那些在(传统的)学科边界内进行研究的人更相关。对于跨学科研究,研究者可能对「参数」或「理论」这些东西更熟悉,而不是「方法」。因此,他们不可能在他们的专业领域之外评价一个预印本内的所有科学。当整合来自其它领域的证据时,他们很可能需要依赖该领域的同行评议来判断是否接受一篇论文。


我的研究(和很多人的一样)会接触到气候变化,但我并不是气候变化的研究者。在我介绍和讨论气候会更湿润、更多洪水或更加干旱时,我需要对一个声明提供支持。我可以理解有数据支持的结论(有内在的一致性)。但是,我既没有足够的专业知识来理解全球气候建模、降尺度等方法的复杂性,也没有时间/毅力去探索,所以我不能获得对于气候论文方法的完整理解。因此我必须依赖有专业知识的人对论文给出的「认证标签」。这只是一个简单的举例。当然这可能是错的,但我还是接受这个观点,举个例子,假如我要把手放进一个箱子里,一个专业找蛇的专家说一个箱子里面没有蛇,而另一个背景未知的人说另一个箱子没有,那我很可能听从找蛇专家的意见,即便那可能是错的。


此外,可能有点自爆的性质,我阅读一篇论文通常需要 20-30 分钟。但如果我正在评审一篇论文,我就会花上一个小时,然后放上一个星期,回头再花上几个小时逐字逐句地审阅,重新评估再写下我的报告。我觉得大多数同行评议工作需要用上半天时间。除了语义上有点近似之外,阅读并不是「同行评议」。


所以,我永远不会引用一篇预印本论文,除非在我完全熟悉的学科领域里——这样我几乎可以通过本能来评估论文的每一个方面。

产业论文观点arXiv