Zachary C. Lipton作者王淑婷、张倩、李泽南编译Approximately Correct选自

AI顶会ICLR找来论坛和推特网友当论文评审,这样真的靠谱?


随着人工智能顶会论文数量的增长,本科生评审也已经无法满足大会需求了,一些会议组织者最近产生了「大胆的想法」。本文中,来自卡耐基梅隆大学(CMU)的助理教授 Zachary C. Lipton 对此事发表了评论。

近年来,大会接收的论文数量直线上升,但经验丰富的研究人员却没有明显增长。一些机器学习大会陷入困境,不得不选择扩充同行评审队伍,以应对论文的大幅增长。

该信息图展示了 NeurIPS 论文接收数量的逐年变化。红色部分为预测数据。

由于每个教授和高年级研究生、博士生的评审工作量都已接近饱和,大会组织者们极富创意地在「不太可能」的地方找到了评审者。

ICLR 的项目主席拒绝透露他们寻找未被发现的评审人才的策略,怕这些商业机密被对手 NeurIPS 和 ICML 利用。幸运的是,在匿名前提下,几个职位较低的 ICLR 工作人员同意透露他们利用的一些非常规渠道。

1. 著名论坛 Reddit 上 r/machinelearning 板块中的一切渠道

2. 关注 @ylecun(人工智能先驱 Yann LeCun)的 Twitter 用户

3. 注册 .ai 和.ml domain 用户的人

4. 把机器学习相关文章的评论发布到 Hacker News 上的人

5. 在 Siraj Raval 深度学习 rap 视频上评论的 YouTube 用户

6. 注册为.ai/.ml domain 所有者的公司的员工

7. 在 Burning Man 上 Andrej Karpathy 的 4° 上驻扎的每一个人

8. 过去六个月里处理 TensorFlow、Pytorch 或 MXNet 棘手问题的 GitHub 用户

9. 与优达学城合作,将 ICLR 大会论文评审作为深度学习入门课程的一个项目

有这么多新的评审员,看到一些不同寻常的评审意见也就不足为奇了。这些意见有的很短,有些则很奇怪……感受一下里面的网络语言(「imho, srs paper 4 real」)……还有些评审意见挑战社区成员具备的共同知识(如「who are you to say this matrix is degenerate?」)

然而,如果不仔细看,有人可能觉得这些给出意见的人不够格,掩盖了一批新评审员为应对评审工作所做的努力。我之所以知道这一点,是因为许多新的评审员都是《Approximately Correct》的热心读者,在过去的几周里,我的邮箱里充斥着善意的新评审员们提出的严肃问题。

如果以前当过老师,你就会发现他们的问题中有很多是重叠的。因此,虽然通常我们不会在《Approximately Correct》上发布 QA 类型的文章,但此次破例似乎倒也说得过去。我汇编了几个问题作为例子,并在一篇名为「Is This a Paper Review?」的问答文章中提供了简洁的答案。以下是部分问答内容:

帕萨迪纳市的 Henry 写道:

我被分配来评审一篇论文。我读了摘要,形成了与该论文主题相关的见解。然后写了一段话来表达我的见解,以及与一位匿名评审就一个无关的话题展开讨论。这是 Hacker News 上的标准做法,我在上面获得了 2000 多个支持,这些支持成为了我为 ICLR 进行评审的资格基础。这算论文评审吗?

AC:不,这不是论文评审。

迈索尔市的 Pandit 写道:

我阅读过一篇关于梯度下降收敛的论文。文中所说的「limit」我没看明白,所以直接跳到了论文后面,然后我发现他们没在 ImageNet 上做任何实验。我写了一个「一句话(one-line)」评论,标题上写着类似「这是什么鬼」这种,正文写了「没在 ImageNet 上做实验」。这算是论文评审吗?

AC:不,这不是论文评审。

上海的 Xiao 写道:

我根据曾经的 ICLR 评审训练了一个 LSTM,然后在 softmax temperature 设定为 0.01 的情况下运行它。输出显示「不新颖」。我把这一点加在了 OpenReview 中。这算是论文评审吗?

AC:不,这不是论文评审。

博尔德市(Boulder)的 George 写道:

评审这篇论文的时候,我发现它与我 1987 年的一个概念有某种相似之处。虽然我很喜欢这个概念(你尽可以想象),但我给它打了一个中等的分数。我给的评论意见中,有一半是关于技术研究的固定讨论,另一半专门用来列举我自己关于这个概念的论文,并要求作者引用它们。这算是论文评审吗?

AC:听起来像一个糟糕的论文评审。不过如果你把评分提高到不带感情的程度,并指出那篇论文与你自己论文的相似之处,然后给元评审(metareviewer)发一个提示,指出其中小小的利益冲突,这就是一个不错的评审了。

新泽西的 Rachel 写道:

我阅读了论文。在前两页出现了 10 个数学错误,其中的一些导致整篇论文都不正确。于是我停止阅读论文以节省时间,并撰写了一篇简短的评审意见指出错误,我写道:「该论文不适合在 ICLR 上发表。」这是一篇论文评审吗?

AC:虽然通常来讲,这么短的评审意见并不合适,但这篇明显例外。意见写得非常好!

11 月初,ICLR 2019 的论文评审结果出炉,评审们已经在论文的 openreview 页面公布了他们的评论和分数。本届大会共接收到了 1591 篇论文投稿,相比去年的 996 篇增长了 60%。在 11 月 5 日到 11 月 21 日期间,论文作者可以对评审人的评论进行回复、修改论文。

在社交网络上,已有论文作者对评审的给分提出了质疑。扩大评审队伍的效果究竟如何,看来还有待观察。

原文链接:http://approximatelycorrect.com/2018/11/18/is-this-a-paper-review/

产业论文评审ICLR
1
相关数据
杨立昆人物

杨立昆(法语:Yann Le Cun,英语:Yann LeCun,1960年7月8日-)是一位计算机科学家,他在机器学习、计算机视觉、移动机器人和计算神经科学等领域都有很多贡献。他最著名的工作是在光学字符识别和计算机视觉上使用卷积神经网络 (CNN),他也被称为卷积网络之父。他同Léon Bottou和Patrick Haffner等人一起创建了DjVu图像压缩技术。他同Léon Bottou一起开发了Lush语言。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数,这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在 维空间内,有 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该张量的秩或阶(与矩阵的秩和阶均无关系)。 在数学里,张量是一种几何实体,或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达,记作标量的数组,但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中,表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了,它们都是二阶张量,对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

MXNet技术

MXNet是开源的,用来训练部署深层神经网络的深度学习框架。它是可扩展的,允许快速模型训练,并灵活支持多种语言(C ++,Python,Julia,Matlab,JavaScript, Go,R,Scala,Perl,Wolfram语言)

长短期记忆网络技术

长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。 其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的随时间反向传播中权重消失的问题(vanishing gradient problem over backpropagation-through-time),重要组成部分包括Forget Gate, Input Gate, 和 Output Gate, 分别负责决定当前输入是否被采纳,是否被长期记忆以及决定在记忆中的输入是否在当前被输出。Gated Recurrent Unit 是 LSTM 众多版本中典型的一个。因为它具有记忆性的功能,LSTM经常被用在具有时间序列特性的数据和场景中。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

推荐文章
暂无评论
暂无评论~