质疑同行评审
今日，谷歌大脑研究科学家 Ian Goodfellow 发了一条 Twitter，引起了大家激烈的讨论：
我怀疑同行评审实际上会造成而非减轻 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中总结的怪趋势。
最近，「同行评审」一直是 Reddit 上与 Twitter 上的热门话题，从本科毕业生成为评审到 NIPS 2018 评审结果的出炉，都引发了 AI/ML 学者对同行评审机制的讨论。
在这条帖子中，Ian Goodfellow 毫不客气地质疑同行评审的作用，认为这种机制会造成而非减缓 Zachy Lipton 在 ICML 2018 期间总结的机器学习研究中的怪现状，也就是：
无法区分客观阐述和猜想。
无法确定达到好效果的来源，例如，当实际上是因为对超参数微调而获得好效果的时候，却强调不必要修改神经网络结构。
数学性：使用令人混淆的数学术语而不加以澄清，例如混淆技术与非技术概念。
语言误用，例如，使用带有口语的艺术术语，或者过多的使用既定的技术术语。
（详细内容请参见：机器学习近年来之怪现状）。
同时，Ian Goodfellow 的观点也得到了 Zachy Lipton 的赞同，表示同行评审机制的退化也应该被列在在文章的「原因」章节之下。
之后，Ian Goodfellow 接连发了多条 Twitter，「嘲讽」评审论文方式：
我常常担任某领域的主席，且自己管理了一个小型研究组织，因此我看过大量评审，包括我们组的研究成果和其他人的研究。
通常评审人员读到实验性论文时会抱怨缺乏「理论」。但是他们却并不要求理论论文来解决任何特定问题。我认为他们就是为了找到一个拒绝的理由——他们略读论文，没有看到论文中的方程。
这可以通过添加无用的数学来解决，评审者通常不会因为其无用而指出来。这样论文就通过了「我略读论文，也看到了方程或矫揉做作的理论名称」的测试。
类似地，评审人员也会在读到一篇关于表现良好的新方法的论文时，因为论文中没有解释为何该方法性能良好而拒绝该论文。
而如果你真的添加了解释，那么不管解释多么苍白，评审人员通常会接受。
评审者往往通过论文的实验部分来理解一个系统的运行方式，并对论文提出抱怨：没有新算法。这个问题可以通过在论文中提出一个实际上完全无关的新方法来解决。
评审者似乎讨厌「科学」论文，但是如果添加一些新的工程方法，则很容易「蒙混过关」。
（后者和其他情况相比不那么常见。我见过一些科学论文得到了很高的评审分数，但却常常被一些会议拒绝。）
没有同行评审有可能带来其他不好的趋势，但是我看到评审者基本上一直是要求作者添加数学原理、虚假解释和虚假的新颖性。
其实，Ian Goodfellow 并非在批评同行评审机制本身，而是认为该机制在实际应用中没有做好，「我认为同行评审理论上是个好主意，但在实践中正确地执行非常重要。」
此外，也有其他学科的学者表示，不只是 AI/ML 社区有 Ian Goodfellow 所说的问题，生物科学等其他领域也这样。但是，单单的批评并不能解决问题，整个社区需要的是解决方案。
最后小编想问，Ian Goodfellow 的 NIPS 2018 论文也被评审批得一无是处吗？
参考链接：https://threadreaderapp.com/thread/1023606428966080513.html
