李亚洲 路雪作者

同行评审是这样略读论文的!Ian Goodfellow实力「嘲讽」了一波

「我怀疑同行评审实际上会造成而非减轻 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中总结的怪趋势。」今日,谷歌大脑知名研究科学家、GAN 的提出者 Ian Goofellow 在 Twitter 上发表多条信息炮轰同行评审机制。

质疑同行评审

今日,谷歌大脑研究科学家 Ian Goodfellow 发了一条 Twitter,引起了大家激烈的讨论:

我怀疑同行评审实际上会造成而非减轻 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中总结的怪趋势。

最近,「同行评审」一直是 Reddit 上与 Twitter 上的热门话题,从本科毕业生成为评审NIPS 2018 评审结果的出炉,都引发了 AI/ML 学者对同行评审机制的讨论。

在这条帖子中,Ian Goodfellow 毫不客气地质疑同行评审的作用,认为这种机制会造成而非减缓 Zachy Lipton 在 ICML 2018 期间总结的机器学习研究中的怪现状,也就是:

  1. 无法区分客观阐述和猜想。

  2. 无法确定达到好效果的来源,例如,当实际上是因为对超参数微调而获得好效果的时候,却强调不必要修改神经网络结构。

  3. 数学性:使用令人混淆的数学术语而不加以澄清,例如混淆技术与非技术概念。

  4. 语言误用,例如,使用带有口语的艺术术语,或者过多的使用既定的技术术语。

(详细内容请参见:机器学习近年来之怪现状)。

同时,Ian Goodfellow 的观点也得到了 Zachy Lipton 的赞同,表示同行评审机制的退化也应该被列在在文章的「原因」章节之下。

之后,Ian Goodfellow 接连发了多条 Twitter,「嘲讽」评审论文方式:

我常常担任某领域的主席,且自己管理了一个小型研究组织,因此我看过大量评审,包括我们组的研究成果和其他人的研究。

通常评审人员读到实验性论文时会抱怨缺乏「理论」。但是他们却并不要求理论论文来解决任何特定问题。我认为他们就是为了找到一个拒绝的理由——他们略读论文,没有看到论文中的方程。

这可以通过添加无用的数学来解决,评审者通常不会因为其无用而指出来。这样论文就通过了「我略读论文,也看到了方程或矫揉做作的理论名称」的测试。

类似地,评审人员也会在读到一篇关于表现良好的新方法的论文时,因为论文中没有解释为何该方法性能良好而拒绝该论文。

而如果你真的添加了解释,那么不管解释多么苍白,评审人员通常会接受。

评审者往往通过论文的实验部分来理解一个系统的运行方式,并对论文提出抱怨:没有新算法。这个问题可以通过在论文中提出一个实际上完全无关的新方法来解决。

评审者似乎讨厌「科学」论文,但是如果添加一些新的工程方法,则很容易「蒙混过关」。

(后者和其他情况相比不那么常见。我见过一些科学论文得到了很高的评审分数,但却常常被一些会议拒绝。)

没有同行评审有可能带来其他不好的趋势,但是我看到评审者基本上一直是要求作者添加数学原理、虚假解释和虚假的新颖性。

其实,Ian Goodfellow 并非在批评同行评审机制本身,而是认为该机制在实际应用中没有做好,「我认为同行评审理论上是个好主意,但在实践中正确地执行非常重要。」

此外,也有其他学科的学者表示,不只是 AI/ML 社区有 Ian Goodfellow 所说的问题,生物科学等其他领域也这样。但是,单单的批评并不能解决问题,整个社区需要的是解决方案。

最后小编想问,Ian Goodfellow 的 NIPS 2018 论文也被评审批得一无是处吗?

参考链接:https://threadreaderapp.com/thread/1023606428966080513.html

产业同行评审TwitterIan Goodfellow
4
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

推荐文章
暂无评论
暂无评论~