2019/11/07 14:36

顶会「扩招」，一地鸡毛：ICLR2020近半数审稿人未发过相关论文

昨日，ICLR 2020 评审结果放出，被大量作者吐槽，甚至有开发者统计，本次大会近半数审稿人没有在相关领域发过论文。这把不久之前刚被清华列为人工智能 A 类顶会的 ICLR，推上了风口浪尖。

昨日，ICLR2020 的审稿结果终于放出。但放榜时间比预计的要晚了一天，原因在于今年的投稿数量多到爆炸，足足有 2600 篇，所以原有的审稿人手根本不够用。要知道，ICLR 2019 大会的投稿数是 1500 篇，而 ICLR 2018 才 900 多。两年时间增长了近两倍。

提交论文数量爆炸式增长，大概率导致几种结果，要么使得审稿人超负荷运转，要么减少在每篇论文上花费的精力，或者增加审稿人数量。而审稿人数量一多，就很容易出现「滥竽充数」的情况。甚至有些深度学习顶会的审稿人会发出一些灵魂追问，如著名的：「What is softmax?」

ICLR 2020 的评审，就引发了社区的极大质疑。

谷歌大脑研究科学家 Ben Poole 就在 Twitter 上表示，「机器学习同行评审崩塌了」。

一大批论文作者们也表示赞同。一位相关领域的 PhD 学生在 Poole 的 Twitter 下留言称，「ICLR 2020 感恩有你，我和学术界从此拜拜。如果能重来，我要选 arXiv。」

另一位相关研究者说：「吐槽大会审稿已经是一个传统了。但是本次大会的审稿情况真是令人震惊。（论文的）评论更像是 Reddit 的评论，而不是严格的学术评审。老实说，我已经丧失了尝试（投稿）的动力。」

面对来自投稿者的「差评」，审稿人也大呼冤枉，表示「我们太难了……」

一位审稿人表示，自己真的在审稿方面花费了很多心血，不能一口气否定。这位审稿人审核了三篇论文，每篇用了 6 小时阅读、2 小时写评论，并在之后又一次花 1 小时看一遍，以免出问题，评审意见平均达 900 字之多。

不过有时候确实任务很繁重，一位审稿人对此回复说：「你这么做是对的，但是我可是在两周内审了八篇论文，而且我们可不是仅仅只有审文章这一个工作。」

直到审稿截止日期的最后两天，纽约大学助理教授 Sam Bowman 还在 twitter 上在线征集 ICLR 审稿人。他表示，「这是最后时刻发起的请求，实在是没有有经验的审稿人可用了」。不过，此次征集的审稿人是有一定要求的，如需要在同等级会议上发表过文章。

47% 审稿人没发过相关论文

如果说 ICLR 2020 的评审结果「一地鸡毛」，相信也是跟审稿人的背景有关的。让没有在相关领域发过文章的审稿人参与评审，被认为是这次审稿崩塌的主要原因。

在 Twitter 上，有用户统计称，ICLR2020 的审稿人中，有 47% 的人没有在相关领域发表过论文。南京大学周志华教授对此评论称，「顶会的『顶』正是因为有高水平专家把关，但现在已不可能了。」

ICLR 大会最初由深度学习三座大山中的 Yoshua Bengio 和 Yann LeCun 牵头创办。众所周知，Yoshua Bengio 主管着蒙特利尔大学人工智能实验室，也就是 MILA，这是世界上最大的人工智能研究中心之一。Yann LeCun 是 Facebook 人工智能研究院的院长，被称为卷积神经网络之父。

不久之前，在清华大学发布的最新版《清华大学计算机学科推荐学术会议和期刊列表》中，成立短短 6 年的 ICLR 已经成为了 A 类顶会。

本着开源的原则，ICLR 大会一直采用 open review 制度，所有提交的论文都会开放在 OpenReview.net 网站上，遵循公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源这八个原则。但正如周志华教授所言，open review 制度只有在参与者均为本领域专家的前提下才更显效用，否则存在误导风险。这并不是一种偏见，仅从学术判断专业性的角度出发而已。

这就是为什么学术界的人们非常信赖「顶会」。只有顶会能够汇聚更多的学术大咖和行业专家，让论文在更专业更深邃的审视下，能够脱颖而出。这样的论文才能经得起专业和历史的检验。然而，就 ICLR 2020 的情况来说，这次论文评分的说服力恐怕要打个折扣了。

不堪重负的顶会（们）

无论是之前爆出的「本科毕业生成为 NIPS 2018 论文同行评审」，还是如今的「近半数 ICLR 审稿人未在该领域发过论文」，其本质上反映的都是一个基本矛盾，即大会日益增长的投稿需求与审稿人数量有限之间的矛盾。

今年 ICLR 的截稿日期是 9 月 25 日。截至当日，ICLR 的投稿量达到了 2600 篇，比去年多出 65%。而在 2017 年，这一数字仅为 490，三年时间增长 4 倍还要多。

当然，面临这一情况的可不止 ICLR 一场大会。今年的 NeurIPS 2019 大会收到了 6743 篇有效论文，比 2018 年（4856）增长了近 40%；CVPR 2019 大会共收到 5165 篇有效提交论文，比去年增加了 56%；ACL 2019 接收的有效论文数近 2700 篇，相比去年的 1544 篇增加了 75%。

压力都是相似的，出的问题自然也是相似的。早在去年 5 月份，NeurIPS 大会就被曝出启用一名本科刚刚毕业的学生担任审稿人。这位年轻的「审稿人」在 reddit 上发帖提问，「我从来没有提交或者评审过这个大会的论文。所以我该如何选择论文？需要先从阅读旧 NIPS 论文开始学习其中的规律吗？最重要的是，如何写好评审意见？」

面对激增的投稿量，「降低审稿人选择标准」似乎是各大顶会不约而同的一个选择，这也解释了为什么每次评审结果出来之后都有人吐槽，「我觉得审稿人没有看懂我的论文。」也许，他/她真的没有看懂。

ICLR 2020 论文评审整体情况

虽然评审工作一地鸡毛，但我们还是可以看一下今年论文的整体情况。毕竟，论文该投还是要投的……

今年评审得分的分布：均分 3.91，中位数 3.84。

数据来源 [1]

Top5 得分论文的分数范围在 8.20-8.91 之间：

此外，Github 网友从 ICLR OpenReview 的网页上抓取了数据，在 2594 篇提交论文的基础上，对本次 ICLR 论文提交情况进行了可视化的呈现；

投稿关键词中，深度学习、强化学习、表示学习、生成模型、图神经网络等是热门话题。

所有论文中常用关键字的 Top50，以及它们出现的频率如下：

参考资料：

[1]https://colab.research.google.com/drive/1vXXNxn8lnO3j1dgoidjybbKIN0DW0Bt2#scrollTo=_qmSij2me5bX

[2]https://mp.weixin.qq.com/s/D1PSqS1fbmMQrFDPPZVakw

[3]https://github.com/shaohua0116/ICLR2020-OpenReviewData

[4]https://chillee.github.io/OpenReviewExplorer/

[5]https://twitter.com/cHHillee/status/1191823707100131329

[6]https://www.reddit.com/r/MachineLearning/comments/drs6vn/d_iclr_2020_reviews/

[7]https://www.zhihu.com/search?q=ICLR%202020&range=1d&type=content

[8]https://www.reddit.com/r/MachineLearning/comments/ds7mk0/d_explaining_your_iclr_reviews/

入门ICLR 2020同行评审

相关数据

周志华人物

周志华分别于1996年6月、1998年6月和2000年12月于南京大学计算机科学与技术系获学士、硕士和博士学位。主要从事人工智能、机器学习、数据挖掘等领域的研究工作。主持多项科研课题，出版《机器学习》(2016)与《Ensemble Methods: Foundations and Algorithms》(2012)，在一流国际期刊和顶级国际会议发表论文百余篇，被引用三万余次。

来源：个人页面 Zhou, Z.

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心