2022/07/17 12:36

机器之心编辑部机器之心报道

大名鼎鼎的YOLO、PageRank影响力爆棚的研究，曾被CS顶会拒稿

仔细一查吓死人。

在机器学习等领域，是否被顶会接收被认为是一种论文质量评价标准，但并不是唯一的标准。随着深度学习的广泛发展，机器学习顶会的投稿数量呈爆炸式增长，在被拒稿的论文中也有很多颇具影响力的研究。

近日，Reddit 上就有一个帖子引起网友热议：哪些论文是被顶会拒稿，但却非常有影响力？令人惊讶的是网友列举出一些家喻户晓的研究，包括 YOLO、transformer XL，甚至还有 Google 搜索引擎的网页排名算法 PageRank。

发帖人表示机器学习顶会的审稿机制存在问题，让一些论文难以脱颖而出。这可能是出现这种现象的原因之一。

实际上，很多优秀的研究在一开始并不被看好。就像 2021 年诺贝尔物理学奖获得者 Parisi 博士在颁奖典礼上提到的，对于他获得诺贝尔奖的研究，最初论文审稿人给出的评价是：「这篇文章不值得浪费纸张打印出来」。然而，经过时间和实验的检验，一些论文中的观点被证明是正确的，甚至卓越的。机器学习领域也是如此。

我们来具体看一下在这次讨论中，网友列举出哪些优秀的研究。

YOLO

大名鼎鼎的 YOLO 算法，作为计算机视觉领域最知名的目标检测算法之一，在投稿 NIPS 时也不是一帆风顺。NIPS 给出的评价大体为：这是一篇不错的论文，但还不够好。之后 YOLO 这篇文章被 CVPR 2016 接收。有了这次教训，YOLO2 也是第一时间投稿 CVPR。

图源：https://pjreddie.com/publications/yolo/

论文地址：https://arxiv.org/pdf/1506.02640.pdf

Transformer XL

Transformer-XL 为 Zihang Dai、Zhilin Yang 等人在 2019 年提出。这篇论文旨在进一步提升 Transformer 建模长期依赖的能力。核心算法包括：segment-level 递归机制、相对位置编码机制。Transformer-XL 可以捕获长期依赖，解决了上下文碎片问题，还提升了模型的预测速度和准确率。

然而Transformer-XL 在投稿 ICLR 2019 时被拒稿，之后作者基于 Transformer-XL 进行改进，提出了 XLNet，被 NeurIPS 2019 接收。而 Transformer-XL 则被 ACL 2019 接收。

论文地址 https://arxiv.org/abs/1901.02860

Dropout

2012 年，Hinton 在其论文《Improving neural networks by preventing co-adaptation of feature detectors》中提出 Dropout。当一个复杂的前馈神经网络用来训练小数据集时，会造成过拟合。为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。

这篇论文在 2012 年被 NIPS 拒绝，现在 arXiv 上作为预印本发布。

论文地址：https://arxiv.org/pdf/1207.0580.pdf

PageRank

PageRank 是谷歌两大创始人谢尔盖布林（Sergey Brin）和拉里佩奇（Lawrence Page）在 1998 年联合撰写的论文《The anatomy of a large-scale hypertextual Web search engine》中提出的。PageRank 是 Google 搜索引擎中使用的网页排名算法，它的成功早已经过全球谷歌用户的考验。然而，或许是因为提出的想法太超前，这篇论文在 1998 年被 SIGIR 拒稿，后被 WWW 接收。

论文地址：https://snap.stanford.edu/class/cs224w-readings/Brin98Anatomy.pdf

支持向量机（SVM）

SVM 算法分几个阶段提出。首先，它建立在早期工作的基础上，包括 1960 年代和 70 年代 Vladimir Vapnik 和 Alexey Chervonenkis 的研究之上。

1992 年，Bernhard E. Boser 、 Isabelle Guyon 以及 Vladimir Vapnik 合作写了一篇论文《A Training Algorithm for Optimal Margin Classifiers》，文中解释了如何获得这个函数以便它在干净的数据上工作。

这篇论文在一个相对面向应用、以神经网络为主导的机器学习会议 NIPS 上被拒绝，但在第二年一个更注重理论的会议 COLT 上被接收。

论文地址：https://dl.acm.org/doi/pdf/10.1145/130385.130401

知识蒸馏

知识蒸馏这一概念是 Hinton 等人在 2014 年提出，论文题目为《 Distilling the Knowledge in a Neural Network 》。知识蒸馏旨在把一个大模型或者多个模型组合学到的知识迁移到另一个轻量级单模型上，方便研究者部署。简单的说就是用新的小模型去学习大模型的预测结果。

这篇研究被 NIPS 2014 拒绝。

论文地址：https://arxiv.org/pdf/1503.02531.pdf

SIFT

计算机视觉当中的 SIFT 特征，在深度学习大火之前影响巨大，但是原作者 David Lowe 承认原稿被 CVPR 和 ICCV 拒了两次。

SIFT（Scale-Invariant Feature Transform）是一种用于检测和描述数字图像中的局部特征算法。它定位关键点并以量化信息呈现，可以用来做目标检测。此特征可以对抗不同变换而保持不变。

论文地址：https://www.cs.ubc.ca/~lowe/papers/iccv99.pdf

在今天看来，上述所列举的这些研究在AI领域地位举足轻重。但也逃不掉被顶会拒稿的命运。

也许，是机器学习顶会的审稿机制存在一些问题。去年，图灵奖得主 Yann LeCun 在论文被 NeurIPS 拒稿之后，在推特上发文称感到「proud」，表达了自己的不满。

类似的事情还发生在 2012 年，LeCun 曾给当时的 CVPR 大会主席、知名计算机视觉专家朱松纯写信，抱怨自己的论文报告了很好的实验结果，但是审稿的三个人都认为论文说不清楚到底为什么有这个结果，于是遭到了拒稿。LeCun 认为这说明 CVPR 等顶会的审稿机制令人失望。

值得一提的是，LeCun 和 Bengio 随后共同创办了 ICLR 会议，希望为「深度学习」提供一个专业化的交流平台。

在机器学习发展放缓的今天，领域内一些研究者提出了新的研究方向。尽管顶会不是评判研究价值的唯一标准，但审稿机制理应不断优化，避免卓越超前的研究思路遭到拒绝。

技术分析顶会论文

相关数据

朱松纯人物

朱松纯是全球著名计算机视觉专家，统计与应用数学家、人工智能专家，现任美国加州大学洛杉矶分校 [UCLA] 统计系与计算机系教授，UCLA计算机视觉、认知、学习与自主机器人中心主任。

来源：https://baike.baidu.com/item/%E6%9C%B1%E6%9D%BE%E7%BA%AF 朱松纯

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

Dropout技术

神经网络训练中防止过拟合的一种技术

来源：ImageNet Classification with Deep Convolutional

YOLO技术

YOLO 模型最早是由 Joseph Redmon 等人在 2015 年发布的，并在随后的两篇论文中进行了修订。

来源：介绍文章

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

支持向量机技术

在机器学习中，支持向量机是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法。给定一组训练实例，每个训练实例被标记为属于两个类别中的一个或另一个，SVM训练算法创建一个将新的实例分配给两个类别之一的模型，使其成为非概率二元线性分类器。SVM模型是将实例表示为空间中的点，这样映射就使得单独类别的实例被尽可能宽的明显的间隔分开。然后，将新的实例映射到同一空间，并基于它们落在间隔的哪一侧来预测所属类别。

来源：Wikipedia

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

来源：Wikipedia

特征检测技术

特征检测是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征检测的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。

来源：百度百科

前馈神经网络技术

前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部，参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同，在它内部不会构成有向环。FNN由一个输入层、一个（浅层网络）或多个（深层网络，因此叫作深度学习）隐藏层，和一个输出层构成。每个层（除输出层以外）与下一层连接。这种连接是 FNN 架构的关键，具有两个主要特征：加权平均值和激活函数。

来源：机器之心

知识蒸馏技术

Hinton 的工作引入了知识蒸馏压缩框架，即通过遵循“学生-教师”的范式减少深度网络的训练量，这种“学生-教师”的范式，即通过软化“教师”的输出而惩罚“学生”。为了完成这一点，学生学要训练以预测教师的输出，即真实的分类标签。这种方法十分简单，但它同样在各种图像分类任务中表现出较好的结果。

来源：机器之心

Transformer-XL技术

Transformer-XL 预训练模型是对 Transformer 及语言建模的修正，这项前沿研究是2019年1月份公布。一般而言，Transformer-XL 学习到的长期依赖性比标准 Transformer 学到的长 450%，无论在长序列还是短序列中都得到了更好的结果，而且在评估时比标准 Transformer 快 1800 多倍。

来源：机器之心

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium