小舟、魔王、杜伟报道

北理工研二一作获杰出论文,大陆论文量前三,ICML 2020各奖项出炉

刚刚,ICML 2020 公布了本届杰出论文奖和杰出论文荣誉提名奖(各两篇),其中北理工研二学生魏恺轩为一作的论文获得了杰出论文奖,主题为开发用于自动搜索参数的策略网络。另外,来自英伟达、斯坦福等机构的研究者也摘得杰出论文奖。

机器学习顶级会议 ICML 2020 于本月 13 日至 18 日以线上形式举行。此次会议共收到 4990 篇论文,接收论文 1088 篇,接收率达 21.8%。与往年相比,接收率逐年走低。

刚刚,ICML 2020 大会放出了杰出论文奖和杰出论文荣誉提名奖,一篇发表于 2009 年的论文获得此次大会的时间检验奖。

其中,北京理工大学和剑桥大学合作的论文《Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems》获得了此次会议的杰出论文奖。我们之前报道过的 OpenAI 新研究《Generative Pretraining From Pixels》获得了杰出论文荣誉提名奖。

杰出论文奖

论文1:On Learning Sets of Symmetric Elements

  • 论文地址:https://arxiv.org/pdf/2002.08599.pdf

  • 论文作者:Haggai Maron(英伟达研究院)、Or Litany(斯坦福大学)、Gal Chechik(英伟达、以色列巴伊兰大学)、Ethan Fetaya(以色列巴伊兰大学)

从无序集合中学习是一种基本的学习设置,最近这引起了越来越多的关注。这一领域的研究集中于用特征向量表示集合元素的案例,很少关注集合元素本身即遵循其自身对称性的常见情况。而后者与大量应用具备相关性,如图像去噪、多视图 3D 形状识别与重建等。

这篇论文提出了一种原则性方法来学习一般对称元素的集合。研究者首先描述了线性层的空间。线性层与元素重排序和元素的内在对称性具备等变性。

该研究进一步表明,由被称为 Deep Sets for Symmetric elements layers (DSS) 的层构成的网络是不变函数和等变函数的通用逼近器。此外,DSS 层很容易实现。

最后,研究者用一系列使用图像、图以及点云的实验,证明该方法比现有的集合学习架构有所改进。

论文2:Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

  • 论文地址:https://arxiv.org/pdf/2002.09611.pdf

  • 论文作者:Kaixuan Wei(北理工)、Angelica Aviles-Rivero(剑桥大学)、Jingwei Liang(剑桥大学)、Ying Fu(北理工)、Carola-Bibiane Schnlieb(剑桥大学)、Hua Huang(北理工)

即插即用(PnP)是将 ADMM 或其他近端算法与高级去噪先验结合的非凸(non-convex)框架。近来,PnP 取得了巨大的实验成功,特别是集成了基于深度学习的去噪器。但是,基于 PnP 的方法存在一个关键的问题:这些方法需要手动调参。此类方法必须在成像条件和场景内容具备高度差异的情况下获得高质量结果。

该研究提出了一种免调参的 PnP 近端算法,支持自动设置内部参数,包括惩罚参数、去噪强度以及终止时间。该方法的核心部分是开发一个用于自动搜索参数的策略网络,该网络能够通过混合无模型和基于模型的深度强化学习来高效地学习参数。

研究人员通过数值和视觉实验表明,该方法学到的策略能够为不同的状态定制不同的参数,并且比现有的手动调参更加高效。

此外,该研究还探讨了插入式去噪器,它和学得策略一起可达到 SOTA 结果,在线性和非线性的示例逆成像问题中皆是如此,尤其是在压缩感知 MRI 和相位恢复问题上都取得了不错的结果。

个人主页:https://kxwei.net/

另外,这篇论文的第一作者魏恺轩目前就读于北京理工大学,是一名研二学生。研究兴趣为图像处理、计算机视觉、计算摄影学、计算成像学,在 NEUCOM、CVPR、ICML 等会议上发表论文。

杰出论文荣誉提名奖

本届杰出论文荣誉提名奖授予了两篇论文,分别是帝国理工学院、圣彼得堡国立大学等研究者的《Efficiently sampling functions from Gaussian process posteriors》和 OpenAI 研究者的《Generative Pretraining from Pixels》。

论文 1:Efficiently sampling functions from Gaussian process posteriors

  • 论文地址:https://arxiv.org/abs/2002.09309

  • 论文作者:James T. Wilson(帝国理工学院) 、Viacheslav Borovitskiy(圣彼得堡国立大学)、Alexander Terenin(帝国理工学院)、Peter Mostowsky(圣彼得堡国立大学)、Marc Peter Deisenroth(伦敦大学学院)

该研究发现了一种高斯过程(Gaussian process)分解形式,该分解通过从数据中分离出先验,从而自然地进行可扩展采样。在这种因式分解的基础上,研究者提出了一种易用且通用的快速后验采样方法,该方法可以无缝匹配稀疏近似,从而在训练和测试阶段保证可扩展性。

该研究进行了一系列实验,表明只需要通常成本的一部分即可利用解耦采样路径准确地表示高斯过程后验。

论文 2:Generative Pretraining From Pixels

  • 论文地址:https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf

  • 论文作者:Mark Chen、Alec Radford、Rewon Child、Jeff Wu、Heewoo Jun、Prafulla Dhariwal 、David Luan、Ilya Sutskever(均来自 OpenAI) 

受自然语言无监督表示学习进展的启发,OpenAI 的研究者探究了类似模型是否可以学习图像的有用表示。具体来说,OpenAI 推出了用于图像分类的模型 iGPT,并发现该模型似乎能够理解物体外观和类别等 2D 图像特征。那么,iGPT 缘何能够成功呢?这是因为,在下一像素预测(next pixel prediction)上训练的足够大的 transformer 模型最终可能学会生成具有清晰可识别物体的样本。一旦学会了生成此类样本,那么通过「合成分析」,iGPT 将知道目标类别。

实验表明,iGPT 模型的特征在大量的分类数据集上实现了当前 SOTA 性能,以及在 ImageNet 数据集上实现了接近 SOTA 的无监督准确率。

时间检验奖

ICML 大会时间检验奖旨在奖励对机器学习研究和实践有着巨大影响的论文。今年获得此奖项的是发表于 2009 年的论文《Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design》,目前这篇论文的被引用次数超过 1000。

论文地址:https://icml.cc/Conferences/2010/papers/422.pdf

这篇论文通过分析高斯过程赌博机优化(Gaussian process bandit optimization),将贝叶斯优化、赌博机和实验设计进行融合,进而提出了一种通过互信息增量推导有限样本 regret bound 的方法。

过去十年中,这篇论文对学界产生了深刻的影响,包括该方法本身、所使用的证明方法和实际结果。这些点燃了其后大量研究和实践工作的创造性,从而丰富了社区。

该奖项委员会对这篇论文的评价很高:

这篇论文的结果影响了现代深度学习系统中的超参数搜索方法,其算法经过十年风霜仍然是流行的捕获算法。该论文的定理和引理得到大量引用,其证明方法也被其后的论文广泛借鉴。不管是技术深度,还是影响力,这篇论文都出类拔萃。

过去十年,贝叶斯优化成为很多机器学习问题中的强大工具…… 该论文证明中所用的数学方法极大地影响了其后的研究。

BLM 运动带来影响

「Black Lives Matter」运动持续了很长时间,对学术界带来了很大影响。ICML 2020 会议在首页上表达了对 George Floyd 以及其他受警察暴力和种族暴力伤害的人们的悼念。

ICML 2020 会议表示将深化与 AI 领域黑人群体的合作,共同为增加黑人研究者在 AI 领域的参与度而努力。

快速了解 ICML 2020 会议论文

ICML 2020 会议接收论文数量超过 1000 篇,如何能够快速了解这些论文呢?

近期 Paper Digest Team 发布了「一句话总结论文亮点」的系统,涵盖该会议中 1084 篇论文的亮点信息。感兴趣的读者可以前往观看。

地址:https://www.paperdigest.org/2020/07/icml-2020-highlights/

示例如下:

参考链接:https://icml.cc/Conferences/2020/Awards

理论北理工一作杰出论文奖ICML 2020
相关数据
深度强化学习技术

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

分类数据技术

一种特征,拥有一组离散的可能值。以某个名为 house style 的分类特征为例,该特征拥有一组离散的可能值(共三个),即 Tudor, ranch, colonial。通过将 house style 表示成分类数据,相应模型可以学习 Tudor、ranch 和 colonial 分别对房价的影响。 有时,离散集中的值是互斥的,只能将其中一个值应用于指定样本。例如,car maker 分类特征可能只允许一个样本有一个值 (Toyota)。在其他情况下,则可以应用多个值。一辆车可能会被喷涂多种不同的颜色,因此,car color 分类特征可能会允许单个样本具有多个值(例如 red 和 white)。

高斯过程技术

因式分解技术

在数学中,把一个数学因子(比如数字,多项式,或矩阵)分解其他数学因子的乘积。比如:整数15可以分解成两个质数3和5的乘积,一个多项式x^2 -4 可被因式分解为(x+2)(x-2)。

稀疏近似技术

稀疏近似(又称稀疏表示)理论处理线性方程组的稀疏解。 在图像处理,信号处理,机器学习,医学成像等领域,找到这些解决方案并将其应用到应用中的技术已被广泛使用。

北京理工大学机构

北京理工大学1940年诞生于延安,是中国共产党创办的第一所理工科大学,是新中国成立以来国家历批次重点建设的高校,首批进入国家“211工程”和“985工程”,首批进入“世界一流大学”建设高校A类行列。

http://www.bit.edu.cn/
相关技术
推荐文章
暂无评论
暂无评论~