NeurIPS 2019 | 七篇获奖论文揭晓,入选论文深度分析

NeurIPS100计划是AMiner新推出的一个针对顶会人才和顶会论文的平台化的智能挖掘服务,其目的是对每个顶级会议的100位作者和讲者(人才)进行深度洞察,分析作者之间的关联关系,形成的研究派系、作者的成长路径以及未来的成长脉络预测、跳槽指数等;另外,我们还将针对会议高影响力的100篇重要论文进行深入解读。

NeurIPS 2019于当地时间12月8日在温哥华正式开幕!

今年的NeurIPS可谓盛况空前,参会总人数已经突破了 13000 人。

今天,NeurIPS 2019官方公布了本届杰出论文奖、经典论文奖等重磅奖项,其中微软华人研究员Lin Xiao获得经典论文奖。

为了便于大家了解NeurIPS 2019会议最新消息与录用论文情况,我们也最新上线了会议助手1.0版,从该页面可以查看NeurIPS的会议议程,收录论文与作者详情,以及论文解读与会议报道等信息,欢迎大家使用并拍砖。

NeurIPS 2019论文分析

本次大会共收到有效投稿6743篇,最终1428篇论文被接收,接收率达到21.2%(略高于去年的20.8%)。在接收的论文中,还有36篇Oral论文和164篇Spotlight论文。

从上图可以看出,随着NeurIPS论文投稿量的逐年上升,论文接收量也逐渐提高,但是录取率近年来却有略微下降的趋势。随着机器学习的热度高涨, NeurIPS论文录用难度也将会逐年增加。

从每篇论文作者数量来看, NeurIPS2019接收的论文大多数都有3-4个作者,其中3个作者的共有360篇,4个作者的共有320篇。拥有10个作者以上的论文共有15篇,其中有1篇文章拥有21个作者。

从作者维度分析,NeurIPS2019接收的1427篇共来自4423位作者。其中3692位作者有1篇入选,510位作者有2篇入选,132位作者有3篇入选,48位作者有4篇入选。

超过5篇入选的作者共有44位。其中,有1位作者有12篇入选,他就是加州大学伯克利分校EECS助理教授Sergey Levine;其次是INRIA的大牛Francis Bach,共有10篇。伯克利大牛Pieter Abbeel和图灵奖得主Yoshua Bengio都有9篇入选。

在华人作者中,论文入选数最多的是陶大程,共有8篇入选。陶大程是澳大利亚科学院院士、悉尼大学教授,同时也担任优必选机器人的首席科学家。

来自普林斯顿大学运筹学与金融工程系的博士研究生杨卓然与美国西北大学助理教授Zhaoran Wang分别有7篇和6篇论文入选。

Zhuoran Yang(杨卓然)是普林斯顿大学运筹学与金融工程系的博士研究生。于2015年获得清华大学数学系学士学位,研究方向是统计机器学习和增强学习。

从一作统计,共有59位作者有2篇以上(包括2篇)论文入选,其中,以一作身份发表3篇以上论文作者的共有8位,还有1位作者发表了4篇,他就是“计算机金牌王子”--朱泽园,在NeurIPS2018与 ICML 2017 上,朱泽园分别也有4篇、5篇以一作论文被接收。

朱泽园目前就职于微软总部研究院,主要致力于机器学习和优化问题的数学基础的相关研究,并将它们应用于深度学习、理论计算机科学、运筹学和统计学。

从作者所属国家来看,华人参与的论文共有656篇,占总论文数的46%。其中华人一作论文共有471篇,占华人参与论文数的71.8%,占总论文数的33%。

从论文所属机构来看,Google+DeepMind组合高居榜首,入选论文共计171篇。MIT排名第二,92篇论文入选。斯坦福大学、卡内基梅隆大学排名第三,都有85篇入选。

国内高校中,清华大学入选论文最多,共计35篇,排在总榜的第13位;北京大学有25篇入选,排在总榜第19位。

杰出论文等奖项公布

今天,NeurIPS 2019官方公布了本届杰出论文奖、经典论文奖等重磅奖项,其中微软华人研究员Lin Xiao获得经典论文奖。

今年组委会还特别增设的杰出新方向论文奖,主要表彰在“面向未来研究的创新途径”方面表现优秀的研究者。

在会议上评选出最优秀的论文历来是NeurIPS的传统。这些杰出论文是如何评选出来的呢?

NeurIPS2019 杰出论文委员会的五位成员会从做oral presentation的论文中进行选择,根据论文的长期潜力、洞察力、创造性、革命性、科学性、可重复性等原则作为评选标准进行初步分类,选出三篇论文的短名单和一个八篇备选论文的长名单,然后各自再对对这八篇论文进行评估并为每篇论文定级,同时也会寻求更多的专家意见作为参考,最终确定获奖名单。

杰出论文奖

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

作者:Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos(威斯康辛大学麦迪逊分校、马普所)

论文地址:https://www.aminer.cn/pub/5d1eb9d3da562961f0b0dc62/distribution-independent-pac-learning-of-halfspaces-with-massart-noise

摘要:这篇论文研究了在训练数据中有未知的、有界的标签噪声的情况下,如何为二分类问题学习线性阈值函数。论文推导出一个在这种情境下非常高效的学习算法,解决了一个基础的、长期存在的开放性问题:在有Massart噪声的情况下高效地学习半空间;这也是机器学习的核心问题之一,这篇论文带来了巨大的进步。

论文中的一个简单的例子证明了该方法的效果。在此之前,只有1% Massart噪声就会让弱学习无效(达到49%的错误率)。论文中展示了如何高效地让错误水平上限仅仅等于Massart噪声水平+ε (算法的运行时间为(1/ε)的多项式,正如预期)。算法的实现方法很精密,达到这样的结果也有一定的技术挑战。最终的结果是,能够高效地在(1/ε)的多项式运行时间内让错误水平上限为Massart噪声水平+ε 。

杰出新方向论文奖

Uniform convergence may be unable to explain generalization in deep learning

作者:Vaishnavh Nagarajan、J. Zico Kolter(卡耐基梅隆大学、博世人工智能中心)

论文地址:https://www.aminer.cn/pub/5cede0ecda562983788cad9e/uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning

为了解释过参数化深度网络令人惊讶的良好泛化性能,近期的论文为深度学习开发出了各种泛化边界,这些边界都是基于一致收敛理论上的基本学习技巧。许多现有的边界在数值上都很大,通过大量的实验,作者揭示了这些界限的一个更值得关注的方面:实际上,这些边界可以随着训练数据集的增大而增大。

根据观察结果,他们随后给出了一些用梯度下降(gradient descent, GD)训练的过参数线性分类器神经网络的例子,而在这些例子中,一致收敛被证明不能「解释泛化」--即使尽可能充分地考虑了梯度下降的隐含偏见。更加确切地说,即使只考虑梯度下降输出的分类器集,这些分类器的测试误差小于设置中的一些小的ε。研究者也表明,对这组分类器应用(双边,two-sided)一致收敛将只产生一个空洞的大于 1-ε的泛化保证。通过这些发现,研究者对基于一致收敛的泛化边界的能力提出了质疑,从而全面了解为什么过参数化深度网络泛化得很好。

杰出论文奖荣誉提名

Nonparametric density estimation & convergence of GANs under Besov IPM losses

作者:Ananya Uppal、Shashank Singh、Barnabás Póczos(卡内基梅隆大学)

论文地址:https://www.aminer.cn/archive/nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses/5db9297547c8f766461f721d

在本文中,作者探究了大型损失函数族(Besov IPM)的非参概率密度估计问题,该函数族包括 L^p 距离、总变分距离,以及 Wasserstein 距离和 KolmogorovSmirnov 距离的泛华版本。对于各种损失函数设置,研究者提供了上下界,精确明确了损失函数与数据假设的选择,如何影响极小极大最优收敛率的确定。

作者同样展示了线性分布估计经常不能达到最优收敛率,例如经验分布或核密度估计器等线性分布。他们得出来的上下界能帮助泛化、统一或提升一些最经典研究成果。此外,IPM 可以用于形式化生成对抗网络的统计模型。因此,研究者展示了该结果如何表明 GAN 的统计误差边界,例如 GAN 要严格超越最好的线性估计器。

Fast and Accurate Least-Mean-Squares Solvers

作者:Alaa Maalouf、Ibrahim Jubran、Dan Feldman(以色列海法大学)

论文地址:https://www.aminer.cn/pub/5db9294547c8f766461f2185/fast-and-accurate-least-mean-squares-solvers

本文从线性、Lasso回归到奇异值分解和Elastic net,最小均方算法是许多ML算法的核心。本文展示了如何在不损失精度的情况下,将其计算复杂度降低一到两个数量级,并改进了数值稳定性。该方法依赖于Caratheodory定理,建立一个coreset (d维中d2 + 1个点的集合)足以表征凸集中的所有n个点。它的新颖之处在于提出了一种分治算法,在复杂度可承受的情况下(O(nd + d5 log n),其中d << n))提取coreset。

杰出新方向论文奖荣誉提名

Putting An End to End-to-End:Gradient-Isolated Learning of Representations

作者:Sindy Lwe、Peter O‘Connor、Bastiaan Veeling(阿姆斯特丹大学)

论文地址:https://www.aminer.cn/pub/5de799ee9e795e775806935a/putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

本文重新审视了深度网络的分层构建,使用了van Oord等人提出的自监督标准,特别是当前输入的表示与空间或时间相近的输入之间的相互信息。

Scene Representation Networks:Continuous 3D-Structure-Aware Neural Scene Representations

作者:Vincent Sitzmann 、Michael Zollhfer、Gordon Wetzstein(斯坦福大学)

论文地址:https://www.aminer.cn/archive/scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations/5d04e90fda56295d08de0a15

本文提出了CV中的两种主要方法:多视图几何方法和深度表示方法完美地结合在一起。具体而言,本文的三大贡献表现在:1.基于每个体素的神经渲染器,实现了场景的3D感知无分辨率渲染;2.提出一种可微分的ray-marching 算法,解决了沿着摄像机投射光线寻找曲面交点的难题;3.提出一种潜在的场景表示方法,利用自动编码器和超级网络对场景来回归表示网络的参数

经典论文奖

NeurIPS经典论文奖的授予原则为"重要贡献、持久影响和广泛吸引力",本届大会从 2009 年 NIPS 的 18 篇引用最多的论文中选出了持续影响力最高、对研究领域具有杰出贡献的研究。

最终,今年的这一奖项授予 了NIPS 2009 论文《Dual Averaging Method for Regularized Stochastic Learning and Online Optimization》及其作者,微软首席研究员 Lin Xiao。

Lin Xiao曾就读于北京航空航天大学和斯坦福大学,自 2006 年起就职于微软研究院。他的研究兴趣包括大规模优化的理论和算法,机器学习的随机和在线算法,并行计算和分布式计算。

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文地址:https://www.aminer.cn/pub/53e99858b7602d9702091d2a/dual-averaging-methods-for-regularized-stochastic-learning-and-online-optimization

该研究提出了用于在线最优化求解的RDA(Regularized Dual Averaging)方法,是Lin Xiao在微软10年的研究成果。该方法是Simple Dual Averaging Scheme一个扩展,并更有效地提升了特征权重的稀疏性。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论论文NeurIPS 2019
1
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

自动编码器技术

自动编码器是用于无监督学习高效编码的人工神经网络。 自动编码器的目的是学习一组数据的表示(编码),通常用于降维。 最近,自动编码器已经越来越广泛地用于生成模型的训练。

线性分类器技术

机器学习通过使用对象的特征来识别它所属的类(或组)来进行统计分类。线性分类器通过基于特征的线性组合的值进行分类决策。 对象的特征也称为特征值,通常在称为特征向量的向量中呈现给机器。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

奇异值分解技术

类似于特征分解将矩阵分解成特征向量和特征值,奇异值分解(singular value decomposition, SVD)将矩阵分解为奇异向量(singular vector)和奇异值(singular value)。通过分解矩阵,我们可以发现矩阵表示成数组元素时不明显的函数性质。而相比较特征分解,奇异值分解有着更为广泛的应用,这是因为每个实数矩阵都有一个奇异值分解,但未必都有特征分解。例如,非方阵型矩阵没有特征分解,这时只能使用奇异值分解。

统计模型技术

统计模型[stochasticmodel;statisticmodel;probabilitymodel]指以概率论为基础,采用数学统计方法建立的模型。有些过程无法用理论分析方法导出其模型,但可通过试验测定数据,经过数理统计法求得各变量之间的函数关系,称为统计模型。常用的数理统计分析方法有最大事后概率估算法、最大似然率辨识法等。常用的统计模型有一般线性模型、广义线性模型和混合模型。统计模型的意义在对大量随机事件的规律性做推断时仍然具有统计性,因而称为统计推断。常用的统计模型软件有SPSS、SAS、Stata、SPLM、Epi-Info、Statistica等。

运筹学技术

运筹学,是一门应用数学学科,利用统计学和数学模型等方法,去寻找复杂问题中的最佳或近似最佳的解答。运筹学经常用于解决现实生活中的复杂问题,特别是改善或优化现有系统的效率。研究运筹学的基础知识包括矩阵论和离散数学,在应用方面多与仓储、物流等领域相关。因此运筹学与应用数学、工业工程专业密切相关。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分,在机器学习领域,分类问题通常被认为属于监督式学习(supervised learning),也就是说,分类问题的目标是根据已知样本的某些特征,判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

加州大学伯克利分校机构

加利福尼亚大学伯克利分校,简称加州大学伯克利分校,又常被译为加利福尼亚大学伯克莱分校,位于美国加利福尼亚州旧金山湾区伯克利市,是一所世界著名的公立研究型大学。其许多科系位于全球大学排行前十名,是世界上最负盛名的大学之一,常被誉为美国乃至世界最顶尖的公立大学。

https://www.berkeley.edu/
奇虎360机构

360公司成立于2005年8月,创始人周鸿祎 2011年3月30日在纽交所成功上市 2018年2月28日,回归A股上市,上证交易所(601360) 是中国第一大互联网安全公司,用户6.5亿,市场渗透率94.7% 中国第一大移动互联网安全公司,用户数超过8.5亿 中国领先的AIoT公司,将人工智能技术应用于智能生活、家庭安防、出行安全、儿童安全等多个领域

http://smart.360.cn/cleanrobot/
生成对抗技术

生成对抗是训练生成对抗网络时,两个神经网络相互博弈的过程。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。

推荐文章
暂无评论
暂无评论~