原定于 4 月 25 日 - 4 月 30 日在非洲埃塞俄比亚举行的 ICLR 2020,由于新冠疫情原因,将取消线下实体会议,完全改为线上。这也意味着有史以来首次在非洲大陆举办的人工智能领域国际顶会就此失之交臂,这也将给随后于 6、7 月举办的 CVPR、ICML、ACL 等会议留下足够多的经验参考。
ICLR 全称为 “International Conference on Learning Representations”(国际学习表征会议),由深度学习巨头 Yoshua Bengio 和 Yann LeCun 牵头举办。2013 年才刚刚成立第一届会议,今年是第八届大会,虽举办的年限比较短,但已经被学术研究者们广泛认可,被认为是深度学习的顶级会议。
ICLR 的初衷是希望能为深度学习提供一个专业化的交流平台,正如 Yoshua Bengio 和 Yann LeCun 在 ICLR 第一届官网发布的公开信中所提到的,“众所周知,数据的应用表征对于机器的性能有着重要影响。尽管表征学习对于机器学习及包括视觉、语音、音频及 NLP 领域起着至关重要的作用,目前还缺乏一个场所,能够让学者们交流分享该领域所关心的话题。ICLR 的宗旨正是填补这一鸿沟。”
Open Review 评审机制广受好评
ICLR 在国际会议广受好评,其原因不仅在于两位创始人的名人光环,还有其推行的 open review 评审制度。目前的论文审核主要分为单盲 (single-blind review)、双盲 (double-blind review) 及开放评审(open review)等多种形式。单盲评审是评审知道作者的名字、学校等身份信息,但作者并不知道评审论文的人是谁,这样容易产生刻板印象,评出不客观的评审结果;而双盲评审则是双方都不知晓彼此的身份信息。
Open Review 则非常不同,它将所有提交的论文公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。正因为 ICLR 的公开透明,引来无数学术研究者们的推崇。
多篇满分论文
据统计,ICLR2020 共收到 2594 篇论文,比去年多出 1000 余篇。2594 篇论文中,有 687 篇被接收,接收率为 26.5%,1.85% 的论文获得了口头论文展示。今年的评分系统只保留了 “拒绝(reject)”、“弱拒绝(weak reject)”、“弱接受(weak accept)”、“接受(accept)” 四项。通过数值分配到上述四项评价,所有的参选论文都会产生一个最终评分,分别为 1、3、6、8。
而在这次 ICLR2020 上出现了多达 34 篇满分论文(8 分),其中不乏来自清华大学、上海交通大学、南京大学、哈工大、西安电子科技大学等国内高校以及华为、字节跳动等国内名企的论文作者。这里简介其中的 9 篇满分论文,它们最终都被接收为 Talk 论文,届时论文作者会做 10 多分钟的演讲报告,让我们一睹为快吧!
论文 1:BackPACK: Packing more into Backprop
作者:Felix Dangel, Frederik Kunstner, Philipp Hennig
机构:图宾根大学、不列颠哥伦比亚大学
关键词:自动微分框架;向后传播算法;BackPACK
项目地址:https://github.com/toiaydcdyywlhzvlob/backpack
链接:https://openreview.net/forum?id=BJlrF24twB
论文 2:Mirror-Generative Neural Machine Translation
作者:Zaixiang Zheng、Hao Zhou、Shujian Huang 等
机构:南京大学、字节跳动
关键词:神经机器翻译、生成网络
链接:https://openreview.net/forum?id=HkxQRTNYPH
论文 3:GenDICE: Generalized Offline Estimation of Stationary Values
作者:Ruiyi Zhang、Bo Dai、Lihong Li、Dale Schuurmans
机构:杜克大学、谷歌
关键词:强化学习、平稳分布校正估计、Off-policy Policy Evaluation
链接:https://openreview.net/forum?id=HkxlcnVFwB
论文 4:A Theory of Usable Information under Computational Constraints
作者:Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
机构:北京大学、斯坦福大学等
链接:https://openreview.net/forum?id=r1eBeyHFDH
论文 5:CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning
作者:Rohit Girdhar, Deva Ramanan
机构:卡内基梅隆大学
关键词:视频理解基准;时序推理
链接:https://openreview.net/forum?id=HJgzt2VKPB
论文 6:Dynamics-Aware Unsupervised Skill Discover
作者:Archit Sharma、Shixiang Gu、Sergey Levine 等
机构:谷歌
关键词:强化学习、无监督学习、深度学习
链接:https://openreview.net/forum?id=HJgLZR4KvH
论文 7:Restricting the Flow: Information Bottlenecks for Attribution
作者:Karl Schulz、Leon Sixt、Federico Tombari、Tim Landgraf
机构:慕尼黑工业大学等
关键词:信息瓶颈、深度神经网络
链接:https://openreview.net/forum?id=S1xWh1rYwB
论文 8:Mathematical Reasoning in Latent Space
作者:Dennis Lee, Christian Szegedy, Markus Rabe, Sarah Loos, Kshitij Bansal
机构:加州大学伯克利分校、谷歌
关键词:机器学习、形式推理
链接:https://openreview.net/forum?id=Ske31kBtPr
论文 9:Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity
作者:Jingzhao Zhang、Tianxing He、Suvrit Sra、Ali Jadbabaie
机构:麻省理工学院
关键词:自适应方法、最优化、深度学习
链接:https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX
ICLR 华人榜单重磅发布
2013-2020
https://www.aminer.cn/ai2000/ml/iclr2020
ICLR 大会距今已召开了 8 年,也有很多华人的身影,如今 ICLR 2020 召开在即,清华大学 AMiner 团队根据收录的这 8 年中 1892 篇论文,筛选出了论文被引量最高的 50 名华人。通过论文看作者、通过作者找论文,并融合论文解读、相关论文推荐、对作者信息的大数据分析,可以实时掌握学术动态。
ICLR 高引华人榜单( 2013 - 2020 )如下:
根据论文的引用量,将其中被引量最高的100篇论文筛选出来,形成 ICLR 高引论文。
另外,清华 AMiner 会议智图开放平台针对即将召开的 ICLR 2020 会议,推出专题全析图(www.aminer.cn/conf/iclr2020/),对 ICLR 2020 论文、作者、华人学者、一作华人学生、论文 PPT 和视频等多维分析服务,是参会学者的会议智能助理。欢迎关注。
本文榜单数据来源清华AMiner,部分参考资料来源机器之心、大数据文摘。