NeurIPS 2018,最佳论文也许就藏在这30篇oral论文中

未来一周,AI 顶会 NeurIPS 2018 将于当地时间 12 月 2 日-8 日在加拿大蒙特利尔举行。2016 年有 5000 人注册参加该会议,2017 年参会人数飙升至 8000,今年则出现了 11 分钟大会门票被抢光的盛况。近年来,很多科技巨头在 NeurIPS 会议期间举行一些 party 来招揽人才,如英特尔亚马逊、IBM、英伟达、谷歌、苹果、特斯拉、Uber 等。

今年,NeurIPS 增加了 EXPO,当地时间 12 月 8 日众多来自国内的公司将进行展示。如下为一个 Room 的讨论主题,Expo 是给工业界组织的活动,它主要会关注各种前沿技术在产业中的应用与部署。

9 月,NeurIPS 2018 接收论文结果公布。据悉,NeurIPS 2018 共收到 4856 篇投稿,创历史最高记录,最终录取了 1011 篇论文,其中 Spotlight 168 篇 (3.5%),oral 论文 30 篇 (0.6%)。

Oral 论文

机器之心在梳理接收论文列表时,重点关注 30 篇 Oral 论文,很可能今年的最佳论文就从里面选出。在今年的 30 篇 Oral 论文中,可以看到总体上有几个比较突出的方面,首先对于神经网络、模块及损失函数的理论分析会比较多,此外对反向传播及最优化过程的研究也比较多,最后从策略到结构对强化学习的整体研究就更多了。这里主要介绍这三方面的研究,完整列表可看后文。

理论分析

近来模型或方法的理论分析越来越多,很多「技巧」的底层机制正在逐步揭开。在今年的 NIPS 论文中,很多研究者也希望了解我们曾忽视的原理,例如在 Oral 论文 On Neuronal Capacity 中,Pierre Baldi 等研究者定义学习机器的能力(capacity)可以是函数量的对数。他们分析了一些神经模型的能力,包括线性和多项式阈值门控单元、权重受限的阈值门控单元和 ReLU 神经元。更重要的是,他们分析了完整循环神经网络和前馈神经网络的大概能力。

  • 论文:Neuronal Capacity

  • 论文地址:http://papers.nips.cc/paper/7999-on-neuronal-capacity.pdf

这样的理论基础对于实践来说非常有借鉴作用,但是理解已有的「技巧」可能就是实在的实践指引了。在今年的 Oral 论文中,Shibani Santurkar 等研究者更关注批量归一化(BN)如何帮助模型的最优化过程。在他们的研究工作中,研究者表示尽管我们常常以为批量归一化主要在于修正输入的分布,并在训练过程中减少所谓的「internal covariate shift」。但实际上他们发现层级输入的分布稳定性与 BN 的成功没啥关系。

Santurkar 表示他们发现 BN 在训练过程中有更基础的影响,即 BN 会令损失函数表面更平滑一些,也令最优化过程更加容易一些。这种平滑使得梯度流更加稳定,并允许更快速的训练。

  • 论文:How Does Batch Normalization Help Optimization?

  • 论文地址:https://papers.nips.cc/paper/7515-how-does-batch-normalization-help-optimization.pdf

  • 机器之心相关文章:MIT新研究参透批归一化原理

除了这两篇外,理论分析在整体 Oral 论文都非常突出,包括如何从理论上理解词嵌入及其维度、一种新型神经网络模型神经常微分方程、半正定规划中低秩方法的平滑分析等。其中词嵌入的理解提出了一种新的损失函数(Pairwise Inner Product/PIP),并借此揭示了词嵌入向量中维度选择的偏差-方差权衡。

最优化与学习

最优化与学习过程一直是研究重点,且自从 Adam 最优化算法提出以来也有很多相关研究。其实学习过程其实是一个很广的研究领域,它可以包括最优化方法、训练过程或方法、最大似然估计或其它构建损失函数的方法以及泛化问题与黑箱问题等话题。这一次的 Oral 论文比较受关注的是 Bengio 等人提出的一种反向传播近似方法,以及其它非凸优化问题。

Bengio 等研究者介绍了一种由简化的树突元素组成的多层神经网络模型,它同样以误差驱动的突触可塑性来调整神经网络而得到全局期望的输出。这一篇论文有非常浓厚的神经科学色彩,研究者表示这种模型在分类和回归任务中都有很好的效果,且分析表明它可以近似误差反向传播算法

  • 论文:Dendritic cortical microcircuits approximate the backpropagation algorithm

  • 论文地址:http://papers.nips.cc/paper/8089-dendritic-cortical-microcircuits-approximate-the-backpropagation-algorithm.pdf

其它最优化算法就跟理论了,基本上都在尝试解决神经网络模型下的非凸优化问题,当然基本上还是采用一阶梯度,但也有分析二阶梯度的。例如在论文 Optimal Algorithms for Non-Smooth Distributed Optimization in Networks 中,研究者提出了一种一阶去中心化的算法,即 multi-step primal-dual /MSPD。

强化学习

强化学习在整个 Oral 论文中可能是接受量最多的,不论是通过重要采样的策略优化,还是「Non-delusional」Q 学习和价值迭代,强化学习的研究非常多。在这些研究中,比较有意思的是 Jurgen Schmidhuber 的「世界模型」,它可以让人工智能在「梦境」中对外部环境的未来状态进行预测,大幅提高完成任务的效率。

在 Jurgen 等研究者的论文中,他们表示「世界模型」抽取的特征可以馈送到紧致且简单的策略中,这些策略是由进化策略训练得出。这样的模型能在多种环境中实现最佳的结果,并且智能体能自己生成内部的「世界模型」。

  • 论文:Recurrent World Models Facilitate Policy Evolution

  • 论文地址:https://papers.nips.cc/paper/7512-recurrent-world-models-facilitate-policy-evolution.pdf

最后,30 篇 Oral 论文的完整列表如下所示,读者可根据标题搜索具体的论文:

列表地址:https://nips.cc/Conferences/2018/Schedule?type=Oral

至于论文地址,读者可以在论文集页面中按照论文标题搜索。
NeurIPS 2018论文集:https://papers.nips.cc/book/advances-in-neural-information-processing-systems-31-2018

理论NIPS 2018NIPS强化学习理论获奖论文
5
相关数据
来也机构

「来也」是国内领先的人工智能交互平台,由常春藤盟校(Ivy League)归国博士和MBA团队发起,核心技术涵盖自然语言处理(NLP)、多轮对话控制和个性化推荐系统等。公司已获得数十项专利和国家高新技术企业认证。 来也的愿景是通过AI赋能,让每个人拥有助理。C 端产品小来是智能化的在线助理,通过业内创新的AI+Hi模式,提供日程、打车、咖啡、差旅和个性化查询等三十余项技能(覆盖400w用户和数十万服务者),让用户用自然语言发起需求并得到高效的满足。B端品牌吾来输出知识型的交互机器人和智能客户沟通系统,帮助各领域企业客户打造行业助理。目前已经在母婴,商旅,金融和汽车等行业的标杆企业实现商业化落地。

https://www.laiye.com/
亚马逊机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
英特尔机构

英特尔是计算创新领域的全球领先厂商,致力于拓展科技疆界,让最精彩体验成为可能。英特尔创始于1968年,已拥有近半个世纪产品创新和引领市场的经验。英特尔1971年推出了世界上第一个微处理器,后来又促进了计算机和互联网的革命,改变了整个世界的进程。如今,英特尔正转型成为一家数据公司,制定了清晰的数据战略,凭借云和数据中心、物联网、存储、FPGA以及5G构成的增长良性循环,提供独到价值,驱动日益发展的智能互联世界。英特尔专注于技术创新,同时也积极支持中国的自主创新,与产业伙伴携手推动智能互联的发展。基于明确的数据战略和智能互联全栈实力,英特尔瞄准人工智能、无人驾驶、5G、精准医疗、体育等关键领域,与中国深度合作。面向未来,英特尔致力于做中国高价值合作伙伴,在新科技、新经济、新消费三个方面,着力驱动产业协同创新,为实体经济增值,促进消费升级。

https://www.intel.com/content/www/us/en/company-overview/company-overview.html
相关技术
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

神经科学技术

神经科学,又称神经生物学,是专门研究神经系统的结构、功能、发育、演化、遗传学、生物化学、生理学、药理学及病理学的一门科学。对行为及学习的研究都是神经科学的分支。 对人脑研究是个跨领域的范畴,当中涉及分子层面、细胞层面、神经小组、大型神经系统,如视觉神经系统、脑干、脑皮层。

最大似然估计技术

极大似然估计是统计学中用来估计概率模型参数的一种方法

凸优化技术

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用,如次导数等。 凸优化应用于很多学科领域,诸如自动控制系统,信号处理,通讯和网络,电子电路设计,数据分析和建模,统计学(最优化设计),以及金融。在近来运算能力提高和最优化理论发展的背景下,一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化(凸最小化)问题,例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

反向传播算法技术

反向传播(英语:Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法计算对网络中所有权重计算损失函数的梯度。这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 在神经网络上执行梯度下降法的主要算法。该算法会先按前向传播方式计算(并缓存)每个节点的输出值,然后再按反向传播遍历图的方式计算损失函数值相对于每个参数的偏导数。

神经元技术

(人工)神经元是一个类比于生物神经元的数学计算模型,是神经网络的基本组成单元。 对于生物神经网络,每个神经元与其他神经元相连,当它“兴奋”时会向相连的神经元发送化学物质,从而改变这些神经元的电位;神经元的“兴奋”由其电位决定,当它的电位超过一个“阈值”(threshold)便会被激活,亦即“兴奋”。 目前最常见的神经元模型是基于1943年 Warren McCulloch 和 Walter Pitts提出的“M-P 神经元模型”。 在这个模型中,神经元通过带权重的连接接处理来自n个其他神经元的输入信号,其总输入值将与神经元的阈值进行比较,最后通过“激活函数”(activation function)产生神经元的输出。

协变量技术

协变量:在实验的设计中,协变量是一个独立变量(解释变量),不为实验者所操纵,但仍影响实验结果。 协变量(covariate)在心理学、行为科学中,是指与因变量有线性相关并在探讨自变量与因变量关系时通过统计技术加以控制的变量。常用的协变量包括因变量的前测分数、人口统计学指标以及与因变量明显不同的个人特征等。

批次技术

模型训练的一次迭代(即一次梯度更新)中使用的样本集。

批归一化技术

批归一化(Batch Normalization,BN)由谷歌于2015年提出,是一个深度神经网络训练的技巧,它不仅可以加快模型的收敛速度,还能在一定程度上缓解深层网络中的“梯度弥散”问题,从而使得训练深层网络模型更加容易和稳定。目前BN已经成为几乎所有卷积神经网络的标配技巧了。从字面意思看来Batch Normalization(简称BN)就是对每一批数据进行归一化。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

进化策略技术

进化策略(Evolutionary Strategies,ES)是由德国的I. Rechenberg和HP. Schwefel于1963年提出的。ES作为一种求解参数优化问题的方法,模仿生物进化原理,假设不论基因发生何种变化,产生的结果(性状)总遵循零均值、某一方差的高斯分布。

推荐文章
暂无评论
暂无评论~