2020/12/01 10:57

蛋酱、小舟报道

GNN、RL强势崛起，CNN初现疲态？这是ICLR 2021最全论文主题分析

ICLR 2021 会议的 Rebuttal 环节已经结束，最终接收结果也将在下月正式公布。日前，有开发者从 ICLR 2021 OpenReview 网页抓取了论文数据，并做了论文高频词、论文得分分布情况等信息的可视化呈现。

ICLR，全称为 International Conference on Learning Representations，国际学习表征会议。自 2013 年开始每年举办一次，2021 年将举办第九届会议。该会议被认为是深度学习领域的顶级会议之一，它与 CVPR、ACL、NeurIPS 等学术会议一样，被 CCF 评选为一类会议。

ICLR 的创始人包括深度学习三大巨头之二的 Yoshua Bengio 和 Yann LeCun。与其他顶会一样，该会议旨在为深度学习提供一个专业化的交流平台。数据的应用表征对机器学习的性能有着重要的影响，表征学习对于计算机视觉、语音处理、自然语言处理等多个领域都起着至关重要的作用，ICLR 旨在打造这一领域交流研究的平台。

ICLR 2021 将于 2021 年 5 月 4 日至 6 月 8 日以线上形式举办。初审结果已于 11 月 11 日公布，此次会议共收到论文投稿 3013 篇，其中有 856 篇是 NeurIPS 2020 Rejection 之后再提交的。

目前，ICLR 2021 的论文 rebuttal 阶段也已经结束。有开发者从 ICLR 2021 OpenReview 网页抓取了本次大会的论文数据，并做了可视化呈现。该项目统计了论文高频词、论文得分分布情况等信息。

项目地址：https://github.com/evanzd/ICLR2021-OpenReviewData

关键词频率

下图列举了提交论文中出现频率排名前 50 的关键词，与往年一样，深度学习、强化学习、表征学习、图神经网络都是非常热门的话题。但与去年的统计数据相比，卷积神经网络（convolutional neural network）的热度骤降，「元学习」、「表征学习」、「图神经网络」的热度均有上升。

由提交论文关键词组成的词云更加直观地展示了不同研究方向的热门程度：

论文得分分布情况

今年 ICLR 的论文评审得分集中在 5 分左右，平均值为 5.169。

关键词 vs 得分

项目作者还对论文平均得分和关键词频率进行了统计。结果显示，如果论文作者希望尽可能地获得高评分，或许 ta 应该使用「深度生成模型」（deep generative models）、「归一化流」（normalizing flows）、「神经正切核」（neural tangent kernel）、「梯度下降法」（gradient descent）等关键词。

有趣的是，在名为「国际学习表征会议」的 ICLR 大会中，「表征学习」这一关键词的频率仅位于第三位，前两名的位置被「深度学习」和「强化学习」牢牢占据。

看完统计结果以后，斯坦福大学教授 Christopher Manning 表示：「强化学习惊人地崛起了！但卷积神经网络已现疲态。」

观察近年来的统计结果，「图神经网络（GNN）」的热度正在逐年攀升。DeepMind 高级研究科学家 PetarVeličković直言：「不可否认的是，图神经网络已经位于深度学习工具箱中的第一阶梯。」

在 Rebuttal 环节之后，Criteo AI Lab 研究科学家 Sergey Ivanov 在自己的推特上展示了论文评分变化的统计结果：

306 篇论文撤回了提交，现剩余 2670 篇；
论文的平均得分提高了 0.25；
总共有 10305 条评审意见，有 1797 条评分发生了变化；
在 Rebuttal 环节中，有 16 篇论文得到了额外的评审意见。

ICLR 2021 Rebuttal 环节后论文得分变化情况。

从目前 OpenReview 的结果来看，这一届的 ICLR 没有满分论文，8 分以上的论文总共有 12 篇：

ICLR 2021 的最终接收结果预计在下月公布，但你可以在上述评审得分统计文档中查看自己感兴趣的论文。

论文查看地址：https://docs.google.com/spreadsheets/d/1fsXrKwKtoghQTPhgnCveRfn9GTsSVvoVRvEOaK9Eqp8/edit#gid=1229227255

理论ICLR 2021论文统计关键词

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

表征学习技术

在机器学习领域，表征学习（或特征学习）是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前，机器学习研究人员需要利用手动特征工程（manual feature learning）等技术从原始数据的领域知识（domain knowledge）建立特征，然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效，但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点，它使得机器不仅能学习到数据的特征，并能利用这些特征来完成一个具体的任务。

来源：Wikipedia

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

深度生成模型技术

深度生成模型基本都是以某种方式寻找并表达（多变量）数据的概率分布。有基于无向图模型（马尔可夫模型）的联合概率分布模型，另外就是基于有向图模型（贝叶斯模型）的条件概率分布。前者的模型是构建隐含层(latent)和显示层（visible)的联合概率，然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布，也就是给定一个随机采样的隐含层，模型可以生成数据。生成模型的训练是一个非监督过程，输入只需要无标签的数据。除了可以生成数据，还可以用于半监督的学习。比如，先利用大量无标签数据训练好模型，然后利用模型去提取数据特征（即从数据层到隐含层的编码过程），之后用数据特征结合标签去训练最终的网络模型。另一种方法是利用生成模型网络中的参数去初始化监督训练中的网络模型，当然，两个模型需要结构一致。

来源：机器之心 UT

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

语音处理技术

语音处理（Speech processing），又称语音信号处理、人声处理，其目的是希望做出想要的信号，进一步做语音辨识，应用到手机界面甚至一般生活中，使人与电脑能进行沟通。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心