小心肝作者

ICML杰出论文发布!北理工学子获奖

第 37 届机器学习国际会议(ICML)于 7 月 10 日于线上举行,本次会议,在 4990 篇论文中,共有 1088 篇论文被接收,21.8% 的录取率略低于 2019 年的 22.6%(3424 篇投稿中有 774 篇论文被录取),似乎投稿量的大幅增长降低了录取率。

今天,会议的组织者宣布了杰出论文奖,表彰了本届大会上“机器学习领域坚实的理论和实证工作的有力代表”的论文。同时,也给出了获得时间检验奖的论文。这些论文现已被 AMiner 平台收录,并提供了论文解读,精读,下载等服务,欢迎点击了解。

杰出论文奖

ICML 2020 有两篇论文获得杰出论文奖,第一篇来自 NAVIDA 实验室、斯坦福大学与巴伊兰大学,另一篇来自北京理工大学与剑桥大学,是继 2017 年以来中国高校再次获得杰出论文奖。值得一提的是,第二篇文章的第一作者是来自北京理工大学的研二学生魏恺轩。

On Learning Sets of Symmetric Elements

作者:Haggai Maron, Or Litany, Gal Chechik, Ethan Fetaya
机构:NAVIDA 实验室,斯坦福大学,巴伊兰大学
简介:无序集学习是一种基本的学习方式,近年来受到越来越多的关注。这方面的研究主要集中在集合的元素由特征向量表示的情况下,而对于集合元素本身遵循其自身对称性的常见情况则关注得较少。这种情况与许多应用相关,从去模糊图像突发到多视图三维形状识别和重建。本文提出了一种学习一般对称元素集的原则性方法。作者首先刻画线性层的空间,这些层与元素的重新排序和元素固有的对称性都是等变的,比如图像的平移。作者进一步证明由这些层组成的网络,称为对称元素层的深集(Deep set for Symmetric elements layers,DSS),是不变函数和等变函数的通用逼近器。DSS层也很容易实现。最后,在一系列的图像、图形和点云实验中,作者证明了它们比现有的集合学习体系结构有了很大的改进。

Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

作者:Kaixuan Wei, Angelica Aviles-Rivero, Jingwei Liang, Ying Fu, Carola-Bibiane Schönlieb, Hua Huang
机构:北京理工大学,剑桥大学
简介:即插即用(PnP)是一个非凸的框架,它将 ADMM 或其他近端算法与先进的去噪器优先级相结合。近年来,PnP 取得了巨大的实验成功,尤其是结合了基于深度学习的去噪器。然而,基于 PnP 的方法的一个关键问题是它们需要手动调整参数。在不同的成像条件和不同的场景内容方面,有必要获得高质量的结果。在这项工作中,作者提出了一个无需调整的 PnP 近似算法,它可以自动确定内部参数,包括惩罚参数、去噪强度和终止时间。该方法的一个关键部分是建立一个用于参数自动搜索的策略网络,该网络可以通过混合无模型和基于模型的深度强化学习进行有效学习。通过数值实验和可视化实验,我们证明了所学习的策略可以为不同的状态定制不同的参数,并且通常比现有的手工制定的准则更有效。此外,作者还讨论了插入式去噪器的实际考虑,这与所学的策略一起产生了最先进的结果。这在线性和非线性示例性逆成像问题中都很普遍,特别是,在压缩传感 MRI 和相位恢复方面显示了有希望的结果。


杰出论文提名奖

Efficiently Sampling Functions from Gaussian Process Posteriors

作者:James Wilson, Slava Borovitskiy, Alexander Terenin, Peter Mostowsky, Marc Deisenroth
机构:伦敦帝国理工学院,圣彼得堡国立大学,圣彼得堡俄罗斯科学院斯特克洛夫数学研究所,伦敦大学学院
简介:高斯过程是许多真实世界建模问题的黄金标准,尤其是在模型的成功取决于它忠实地表示预测不确定性的能力的情况下。这些问题通常作为更大框架的一部分存在,其中感兴趣的数量最终通过对后验分布的积分来定义。这些量通常很难处理,这促使人们使用蒙特卡罗方法。尽管在将高斯过程扩展到大型训练集方面取得了长足的进展,但是从其后验分布精确地生成绘图的方法仍然是在测试位置的数量上按立方体进行缩放的。我们确定了高斯过程的分解,通过从数据中分离出先验信息,自然地有助于进行可伸缩的采样。基于这种因式分解,我们提出了一种易于使用和通用的快速后验抽样方法,它与稀疏近似无缝配对,以在训练和测试时提供可伸缩性。在一系列旨在测试竞争采样方案的统计特性和实际结果的实验中,我们演示了解耦的采样路径如何以比通常成本低一小部分的成本准确地表示高斯过程后验。


Generative Pretraining from Pixels

作者:Mark Chen, Alec Radford, Rewon Child, Jeffrey K Wu, Heewoo Jun, David Luan, Ilya Sutskever
机构:OpenAI
简介:受自然语言无监督表征学习进展的启发,作者研究了相似模型是否可以学习有用的图像表示。作者训练一个序列变换器来自回归预测像素,而不需要加入 2D 输入结构的知识。作者发现,尽管训练分辨率很低且未标注的 ImageNet 图片,但作者发现以线性探测、微调和低数据分类来衡量时,GPT-2 尺度模型学到了很强的图像表示。在 CIFAR-10 上,作者使用线性探针实现了 96.3% 的准确率,优于监督的宽 ResNet,以及 99.0% 的准确率(完全微调),与顶级的监督预训练模型相匹配。在 ImageNet 和 web 图像的混合训练下,一个更大的模型与 ImageNet 上的自监督基准相比具有竞争力,在本文提出的特征的线性探针上达到了 72.0% 的顶级精度。

时间检验奖(十年最佳论文奖)

ICML 时间检验奖表彰了十年前的一篇 ICML 论文,来自加州理工学院,宾夕法尼亚大学,萨尔兰大学的研究小组。该论文已被证明具有影响力,在该领域具有重大影响,“包括研究和实践”。

Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

作者:Niranjan Srinivas, Andreas Krause, Sham Kakade, Matthias Seeger
机构:加州理工学院,宾夕法尼亚大学,萨尔兰大学
简介:许多应用程序需要优化一个未知的、有噪声的函数,该函数的计算代价很高。作者将此任务形式化为一个多武装 bandit 问题,其中支付函数要么是从高斯过程(GP)采样,要么是具有低 RKHS 范数。我们解决了这个重要的开放性问题,即推导此设置的遗憾界,这意味着 GP 优化的新的收敛速度。我们分析了一种直观的基于上置信度的算法 GP-UCB,并从最大信息增益的角度限制了它的累积遗憾,建立了 GP 优化与实验设计之间的新联系。此外,通过算子谱对后者进行定界,我们得到了许多常用协方差函数的显式次线性遗憾界。在一些重要的情况下,我们的边界对维数的依赖性非常弱。在我们对实际传感器数据的实验中,与其他启发式 GP 优化方法相比,GP-UCB 具有更好的性能。

ICML 官方给出的评价:“本文通过对高斯过程 bandit 优化的分析,将 Bayesian 优化、bandits 和实验设计等领域结合起来,提出了一种基于互信息增益量的有限样本后悔界的新方法。这篇论文在过去十年中产生了深远的影响,包括方法本身、所使用的证明技巧和实际效果。这些都丰富了我们的社会,激发了从理论到实践的无数后续作品的创造力。”

本届委员会的成员也给予了此篇文章高度评价
1 “本文的研究结果影响了现代深度学习系统中当前的超参数搜索方法,并且该算法甚至在十年后仍然是一种流行的获取算法。最近的论文中引用了本文的定理和引理,并且他们的研究成果是在后续论文中借用的。从文本的技术深度和影响力来看,这篇论文明显脱颖而出。”

2 “在过去的十年中,贝叶斯优化已成为解决许多机器学习问题的有力工具……证明中使用的数学技术极大地影响了后来的研究。”

想要查看更多本次会议的详细信息,可以移步 AMiner 会议智图开放平台 ICML 2020 专题全析图,其内容包括论文、作者、华人学者、一作华人学生、论文 PPT 和视频等多维分析服务,是参会学者的会议智能助理。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论北京理工大学ICML 2020
2
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

范数技术

范数(norm),是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域,是一个函数,其为向量空间内的所有向量赋予非零的正长度或大小。半范数反而可以为非零的向量赋予零长度。

深度强化学习技术

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

表征学习技术

在机器学习领域,表征学习(或特征学习)是一种将原始数据转换成为能够被机器学习有效开发的一种技术的集合。在特征学习算法出现之前,机器学习研究人员需要利用手动特征工程(manual feature learning)等技术从原始数据的领域知识(domain knowledge)建立特征,然后再部署相关的机器学习算法。虽然手动特征工程对于应用机器学习很有效,但它同时也是很困难、很昂贵、很耗时、并依赖于强大专业知识。特征学习弥补了这一点,它使得机器不仅能学习到数据的特征,并能利用这些特征来完成一个具体的任务。

高斯过程技术

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

策略网络技术

在强化学习中,策略网络指一组相对稳定的关系,这些关系具有非等级和相互依赖的性质,将各个行为者(actor)联系起来。

蒙特卡罗方法技术

蒙特卡罗方法,也称统计模拟方法,是1940年代中期由于科学技术的发展和电子计算机的发明,而提出的一种以概率统计理论为指导的数值计算方法。是指使用随机数来解决很多计算问题的方法。

因式分解技术

在数学中,把一个数学因子(比如数字,多项式,或矩阵)分解其他数学因子的乘积。比如:整数15可以分解成两个质数3和5的乘积,一个多项式x^2 -4 可被因式分解为(x+2)(x-2)。

信息增益技术

在决策树学习中,信息增益比是信息增益与固有信息的比率。 它被用来通过在选择属性时考虑分支的数量和大小来减少对多值属性的偏见.

稀疏近似技术

稀疏近似(又称稀疏表示)理论处理线性方程组的稀疏解。 在图像处理,信号处理,机器学习,医学成像等领域,找到这些解决方案并将其应用到应用中的技术已被广泛使用。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

北京理工大学机构

北京理工大学1940年诞生于延安,是中国共产党创办的第一所理工科大学,是新中国成立以来国家历批次重点建设的高校,首批进入国家“211工程”和“985工程”,首批进入“世界一流大学”建设高校A类行列。

http://www.bit.edu.cn/
相关技术
推荐文章
暂无评论
暂无评论~