Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

数十篇满分论文,接收率26.5%,ICLR 2020接收结果已出,明年非洲见

经历了一系列审稿风波,ICLR 2020 的论文接收结果终于尘埃落定。今天,ICLR 2020 公布了论文接收结果。从目前的情况来看,今年的满分论文最多可能达到 30 多篇,国内清华、上交、南大、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企都有可能出现满分论文(有些评审意见还没给出)。此外,由于举办地国情特殊(传染病、禁止同性恋),大会官方还给出了一些特别的参会建议。


「史上第一次在非洲举行的 AI 顶会」ICLR 2020 将于明年 4 月 26 日于埃塞俄比亚首都亚的斯亚贝巴举行。今年的 ICLR 也不算风平浪静,先是投稿数量爆炸导致审稿负担急剧增加,结果被爆出一半审稿人根本没在相关领域发过论文,舆论风向一度演化为「机器学习同行评审崩塌了」。


之后,又有网友摘出某篇由满分『8-8-8』转为超低分『1-1』的论文,质疑 ICLR 评审结果的权威性。「顶会审稿水平到底行不行」这个话题再一次闹得纷纷扬扬。


今天,ICLR 2020 的接收结果终于放出,以下是官方统计的数据:


  • 在最终提交的 2594 篇论文中,有 687 篇被接收,接收率为 26.5%;

  • 和之前一样,所有被接收的论文都将进行 poster 展示;

  • 23% 的接收论文将进行口头讲述报告,其中 108 篇论文为 spotlight,演讲时间 4 分钟,48 篇论文将进行 10 分钟以上的 talk。


今年的论文审核流程基本上与往年一样,有两个地方做了调整:


一是不允许在评审讨论期间进行公开评论,以确保作者和审稿人清楚地判断讨论的要点;二是空出了一周时间来进行替代和紧急审查。


除此之外,ICLR 2020 的变化更多地是体现在大会本身流程上。


为了让评审结果更清晰,今年份评分系统进行了简化,去掉了那些分配中性评分的选项,只保留了四个等级:reject、weak reject、weak accept 和 accept。

逐年上涨的 ICLR 投稿量:2018 年 900 多篇,2019 年 1500 篇,2020 则达到了 2600 多篇。


今年,大会拒绝了一部分进行重复提交而违反规定的论文,但被拒绝的论文少于 20 篇。


此外,今年的 ICLR 还有大量论文遭遇了「撤回」的情况,原因基本上是临近其他会议的截止日期或者是相重叠,抑或是与其他会议的投稿规定不兼容(比如 ACL)。


网友吐槽:领域主席的否决有时无法令人信服?


ICLR 2020 论文接收结果一出,投稿者们几家欢喜几家忧。论文遭否决的人免不了心中不忿,于是又纷纷将矛头指向了领域主席(AC),吐槽他们否决自己的论文有时太「荒谬」了!


一位名为 bose_joey 的网友表示,对于自己提交的论文,三位审稿人均给出了 6-6-6 的高分,但领域主席却做出了不适用自己论文的荒谬批评。更遗憾的是,在论文 rebuttal(评审申诉)阶段,领域主席并没有给出任何实质性意见,也没有给机会对误解做出解释。


无独有偶,另一位名为 obiwan5296 的网友表示自己也遇到了同样的情况。领域主席否决了 ta 的 8-6-6 高分论文,但给出的批评意见却完全偏离了论文本身。ta 称这是自己首次论文投稿,真是太令人失望了。


此外,还有网友对 ICLR 审稿的流程表示失望。领域主席没有鼓励论文讨论,审稿人通常会忽视 rebuttal,更糟糕的是,领域主席甚至懒得回复直接发给他们的评论意见。ta 认为这是完全的不作为。


总之,领域主席的介入可能是一道「防线」:当分数太高而不合理的时候,及时踩下刹车。但不可否认的是,领域主席也可能出现「误伤」,但通过更多审稿人参与,也许会对投稿质量的把控起到更加积极的作用。


多篇「满分论文」


在 ICLR 2020 上出现了多达 34 篇满分论文(8 分),其中不乏来自清华大学、上海交通大学、南京大学、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企的论文作者。


此外,来自以色列特拉维夫大学的一篇论文(下文中的论文 25)甚至拿到了 4 个 8 分。


ICLR 2020 官方评审页面:https://openreview.net/group?id=ICLR.cc/2020/Conference


ICLR 论文接收情况统计(非官方):https://chillee.github.io/OpenReviewExplorer/


以下是满分论文的统计结果列表(截至发稿前的统计结果):


论文 1:An Algorithm-Agnostic NAS Benchmark
作者:Xuanyi Dong、Yi Yang
机构:悉尼科技大学
关键词:神经架构搜索、AutoML、基准测试
链接:https://openreview.net/forum?id=HJxyZkBKDr


论文 2:On the "steerability" of generative adversarial networks
作者:Ali Jahanian、Lucy Chai、Phillip Isola
机构:麻省理工学院
关键词:生成对抗网络、隐空间插值、数据集偏见、模型泛化
链接:https://openreview.net/forum?id=HylsTT4FvB


论文 3:A Generalized Training Approach for Multiagent Learning
作者:Paul Muller、Shayegan Omidshafiei、Mark Rowland 等
机构:谷歌
关键词:多智能体学习、博弈论、训练、游戏
链接:https://openreview.net/forum?id=Bkl5kxrKDr&noteId=XEgYShJzuK


论文 4:Mirror-Generative Neural Machine Translation
作者:Zaixiang Zheng、Hao Zhou、Shujian Huang 等
机构:南京大学、字节跳动
关键词:神经机器翻译、生成网络
链接:https://openreview.net/forum?id=HkxQRTNYPH&noteId=HmFOnYDNdx


论文 5:Restricting the Flow: Information Bottlenecks for Attribution
作者:Karl Schulz、Leon Sixt、Federico Tombari、Tim Landgraf
机构:慕尼黑工业大学等
关键词:信息瓶颈、深度神经网络
链接:https://openreview.net/forum?id=S1xWh1rYwB&noteId=dsIQuI8DCU


论文 6:Understanding and Robustifying Differentiable Architecture Search
作者:Arber Zela、Thomas Elsken、Tonmoy Saikia 等
机构:弗莱堡大学
关键词:神经架构搜索、AutoML、深度学习、计算机视觉
链接:https://openreview.net/forum?id=H1gDNyrKDS&noteId=9abhtGXJdR


论文 7:Sparse Coding with Gated Learned ISTA
作者:Kailun Wu、Yiwen Guo、Ziang Li、Changshui Zhang
机构:清华大学、英特尔
关键词:稀疏编码、深度学习、收敛性分析
链接:https://openreview.net/forum?id=BygPO2VKPH


论文 8:The Logical Expressiveness of Graph Neural Networks
作者:Pablo Barceló、Egor V. Kostylev、Mikael Monet 等
机构:智利大学等
关键词:图神经网络、可表达性、一阶逻辑
链接:https://openreview.net/forum?id=r1lZ7AEKvB


论文 9:Implementation Matters in Deep RL: A Case Study on PPO and TRPO
作者:Logan Engstrom、Andrew Ilyas、Shibani Santurkar 等
机构:麻省理工学院
关键词:深度策略梯度方法、深度强化学习
链接:https://openreview.net/forum?id=r1etN1rtPB&noteId=LqWqdhJGoy


论文 10:Learning to Balance: Bayesian Meta-Learning for Imbalanced and Out-of-distribution Tasks
作者:Donghyun Na、Hae Beom Lee、Hayeon Lee 等
机构:韩国科学技术院、浦项科技大学
关键词:元学习、少样本学习、贝叶斯神经网络
链接:https://openreview.net/forum?id=rkeZIJBYvr&noteId=Vgm-PPd3W


论文 11:Recurrent Hierarchical Topic-Guided Neural Language Models
作者:Dandan Guo、Bo Chen、Ruiying Lu、Mingyuan Zhou
机构:西安电子科技大学、得克萨斯大学奥斯汀分校
关键词:贝叶斯深度学习、变分推理
链接:https://openreview.net/forum?id=Byl1W1rtvH


论文 12:Depth-Width Trade-offs for ReLU Networks via Sharkovsky's Theorem
作者:Vaggos Chatziafratis、Sai Ganesh Nagarajan、Ioannis Panageas、Xiao Wang
机构:斯坦福大学、新加坡科技设计大学
关键词:ReLU 网络、混沌理论、动态系统
链接:https://openreview.net/forum?id=BJe55gBtvH


论文 13:GenDICE: Generalized Offline Estimation of Stationary Values
作者:Ruiyi Zhang、Bo Dai、Lihong Li、Dale Schuurmans
机构:杜克大学、谷歌
关键词:强化学习、平稳分布校正估计、Off-policy Policy Evaluation
链接:https://openreview.net/forum?id=HkxlcnVFwB&noteId=wPTYJz9HH0


论文 14:FreeLB: Enhanced Adversarial Training for Language Understanding
作者:Chen Zhu、Yu Cheng、Zhe Gan、Siqi Sun 等
机构:马里兰大学帕克分校、微软
关键词:对抗性训练
链接:https://openreview.net/forum?id=BygzbyHFvB


论文 15:Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
作者:Jingzhao Zhang、Tianxing He、Suvrit Sra、Ali Jadbabaie
机构:麻省理工学院
关键词:自适应方法、最优化、深度学习
链接:https://openreview.net/forum?id=BJgnXpVYwS&noteId=KA65jj-wX


论文 16:Principled Weight Initialization for Hypernetworks
作者:Oscar Chang、Lampros Flokas、Hod Lipson
机构:哥伦比亚大学
关键词:超级网络;初始化;最优化;元学习
链接:https://openreview.net/forum?id=H1lma24tPB&noteId=SttNyKHM11


论文 17:Enhancing Adversarial Defense by k-Winners-Take-All
作者:Chang Xiao、Peilin Zhong、Changxi Zheng
机构:哥伦比亚大学
关键词:对抗性防御、激活函数
链接:https://openreview.net/forum?id=Skgvy64tvr


论文 18:Dynamics-Aware Unsupervised Skill Discovery
作者:Archit Sharma、Shixiang Gu、Sergey Levine 等
机构:谷歌
关键词:强化学习、无监督学习、深度学习
链接:https://openreview.net/forum?id=HJgLZR4KvH


论文 19:Differentiable Reasoning over a Virtual Knowledge Base
作者:Bhuwan Dhingra、Manzil Zaheer、Vidhisha Balachandran 等
机构:卡耐基梅隆大学、谷歌
关键词:QA、深度学习、知识库、信息提取
链接:https://openreview.net/forum?id=SJxstlHFPH&noteId=Ilh9vDgaeg


论文 20:Data-dependent Gaussian Prior Objective for Language Generation
作者:Zuchao Li、Rui Wang、Kehai Chen 等
机构:上海交通大学、哈工大、NICT
关键词:语言生成
链接:https://openreview.net/forum?id=S1efxTVYDr&noteId=QtxdEfLPMv


论文 21:Geometric Analysis of Nonconvex Optimization Landscapes for Overcomplete Learning
作者:Qing Qu, Yuexiang Zhai, Xiao Li, Yuqian Zhang, Zhihui Zhu
机构:纽约大学、加州大学伯克利分校、谷歌以色列
关键词:字典学习、稀疏表示、非凸优化
链接:https://openreview.net/forum?id=rygixkHKDH


论文 22:Mathematical Reasoning in Latent Space
作者:Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal
机构:加州大学伯克利分校、谷歌
关键词:机器学习、形式推理
链接:https://openreview.net/forum?id=Ske31kBtPr&noteId=_xQ9Hvor9M


论文 23:Contrastive Learning of Structured World Models
作者:Thomas Kipf, Elise van der Pol, Max Welling
机构:阿姆斯特丹大学
关键词:状态表征学习、图神经网络、基于模型的强化学习、关系学习、目标检测
链接:https://openreview.net/forum?id=H1gax6VtDB&noteId=06V352WC2Y


论文 24:Rotation-invariant clustering of functional cell types in primary visual cortex
作者:Ivan Ustyuzhaninov, Santiago A. Cadena 等
机构:图宾根大学等
关键词:计算神经科学、神经系统识别、功能细胞类型、深度学习、旋转等变性
链接:https://openreview.net/forum?id=rklr9kHFDB


论文 25:Optimal Strategies Against Generative Attacks
作者:Roy Mor, Erez Peterfreund, Matan Gavish, Amir Globerson
机构:以色列特拉维夫大学等
链接:https://openreview.net/forum?id=BkgzMCVtPB


论文 26:CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
作者:Rohit Girdhar, Deva Ramanan
机构:卡内基梅隆大学
关键词:视频理解基准;时序推理
链接:https://openreview.net/forum?id=HJgzt2VKPB&noteId=dUTT3jReHa


论文 27:Causal Discovery with Reinforcement Learning
作者:Shengyu Zhu, Ignavier Ng, Zhitang Chen
机构:华为诺亚方舟实验室、多伦多大学等
关键词:因果发现、结构学习、强化学习、有向无环图
链接:https://openreview.net/forum?id=S1g2skStPB


论文 28:Simplified Action Decoder for Deep Multi-Agent Reinforcement Learning
作者:Hengyuan Hu, Jakob N Foerster
机构:卡内基梅隆大学、牛津大学
关键词:多智能体强化学习、心智理论
链接:https://openreview.net/forum?id=B1xm3RVtwB


论文 29:Smooth markets: A basic mechanism for organizing gradient-based learners
作者:David Balduzzi, Wojciech M. Czarnecki, Edward Hughes, Joel Leibo, Ian Gemp, Tom Anthony, Georgios Piliouras, Thore Graepel
机构:Deepmind 等
关键词:博弈论、优化、梯度下降、对抗学习
链接:https://openreview.net/forum?id=B1xMEerYvB


论文 30:Meta-Learning with Warped Gradient Descent
作者:Sebastian Flennerhag, Andrei A. Rusu, Razvan Pascanu, Francesco Visin, Hujun Yin, Raia Hadsell
机构:DeepMind、伦敦大学学院、谷歌等
关键词:元学习、迁移学习
链接:https://openreview.net/forum?id=rkeiQlBFPB&noteId=zwVZBPeDT


论文 31:Differentiation of Blackbox Combinatorial Solvers
作者:Marin Vlastelica Pogančić, Anselm Paulus, Vit Musil, Georg Martius, Michal Rolinek
机构:马普所、图宾根大学等
关键词:组合算法、深度学习、表征学习、优化
链接:https://openreview.net/forum?id=BkevoJSYPB


论文 32:A Theory of Usable Information under Computational Constraints
作者:Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
机构:北京大学、斯坦福大学等
链接:https://openreview.net/forum?id=r1eBeyHFDH


论文 33:How much Position Information Do Convolutional Neural Networks Encode?
作者:Md Amirul Islam, Sen Jia, Neil D. B. Bruce
机构:瑞尔森大学
关键词:网络理解、绝对位置信息
链接:https://openreview.net/forum?id=rJeB36NKvB


论文 34:BackPACK: Packing more into Backprop
作者:Felix Dangel, Frederik Kunstner, Philipp Hennig
机构:图宾根大学、不列颠哥伦比亚大学
关键词:自动微分框架;向后传播算法;BackPACK
链接:https://openreview.net/forum?id=BJlrF24twB&noteId=EHmfrSLVu


另外,谷歌对于预训练模型 BERT 重要改进的研究 ALBERT(论文:ALBERT: A Lite BERT for Self-supervised Learning of Language Representations)也成为了 ICLR 2020 大会的 Spotlight 论文。


参会注意事项


值得注意的是,明年 4 月的大会将在非洲东北部的埃塞俄比亚举办,埃塞俄比亚平均海拔较高,有「非洲屋脊」之称。这也是第一场在非洲大陆上举办的 AI 顶会。


鉴于大部分参会者可能对埃塞俄比亚的风土人情都不太熟悉,大会主办方也给出了一些参会小帖士,其中有一些比较与众不同:


首先提到了大会活动流程,官方表示将在正式召开之前拿出一天的时间组织 workshop,主办方透露会有 8 位「意想不到」的讲者莅临现场。此外,为了让被接收的论文有更多的曝光量,也让参会者之间的学术交流更加充分,这一次大会基本每 4 篇论文中就有一篇有机会作为 spotlight,或者做更长时间的 talk。


打疫苗,然后再买份保险?


虽然说签证问题有效地解决了,但在去到埃塞俄比亚之前,你可能需要一支疫苗,具体取决于你在埃塞俄比亚的活动范围。如果只是单纯去首都亚的斯亚贝巴的话,应该没有感染疟疾和寨卡病毒的风险,这两种疾病基本上是在海拔 2000 米以下的地区通过蚊虫叮咬来传播。


具体的情况,各个国家的参会者可以参考世界卫生组织发布的疾病咨询与健康指南,非常全面。嗯,但内心还是有些瑟瑟发抖。


传送门:https://www.who.int/ith/en/


安保问题


ICLR 大会将在首都亚的斯亚贝巴的 Bole 地区举行,这是一个安全性有保障的地方。亚的斯亚贝巴举办过很多次大型会议和赛事,在安保方面还是有经验的。


通过与政府机构的合作,警方将在大会场所会加强巡逻以确保安全,The Millennium hall 也会有安检措施,对进出车辆和物品进行检测。此外,ICLR 还拥有自己的专属热线电话。


LGBT 群体的参会建议


彼时 ICLR 2020 刚宣布要在埃塞俄比亚举办大会,就有许多同性恋学者表示:「在下告退。」


这件事确实很难办,因为埃塞俄比亚的法律中有着严格的「反同性恋条款」。在埃塞俄比亚刑法的第 629 条中,同性恋行为的最高刑罚是 15 年监禁,且这一条不只适用于本国公民,也适用于外国公民。


尽管会得到一些有关 LGBT 群体组织的协助,但要不要前往埃塞俄比亚参会,确实需要再三斟酌。


去年 11 月,人工智能先驱 Yoshua Bengio 宣布了 ICLR 2020 即将移步非洲的消息。


有关 ICLR 2020 的更多情况,尽请关注我们的报道。


参考链接:https://medium.com/@iclr_conf/ourhatata-the-reviewing-process-and-research-shaping-iclr-in-2020-ea9e53eb4c46
产业ICLR 2020
2
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
激活函数技术

在 计算网络中, 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。 一种函数(例如 ReLU 或 S 型函数),用于对上一层的所有输入求加权和,然后生成一个输出值(通常为非线性值),并将其传递给下一层。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

凸优化技术

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用,如次导数等。 凸优化应用于很多学科领域,诸如自动控制系统,信号处理,通讯和网络,电子电路设计,数据分析和建模,统计学(最优化设计),以及金融。在近来运算能力提高和最优化理论发展的背景下,一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化(凸最小化)问题,例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题。

插值技术

数学的数值分析领域中,内插或称插值(英语:interpolation)是一种通过已知的、离散的数据点,在范围内推求新数据点的过程或方法。求解科学和工程的问题时,通常有许多数据点借由采样、实验等方法获得,这些数据可能代表了有限个数值函数,其中自变量的值。而根据这些数据,我们往往希望得到一个连续的函数(也就是曲线);或者更密集的离散方程与已知数据互相吻合,这个过程叫做拟合。

一阶逻辑技术

一阶逻辑是使用于数学、哲学、语言学及计算机科学中的一种形式系统。 过去一百多年,一阶逻辑出现过许多种名称,包括:一阶断言演算、低阶断言演算、量化理论或断言逻辑。一阶逻辑和命题逻辑的不同之处在于,一阶逻辑有使用量化变数。

暂无评论
暂无评论~