仵冀颖作者H4O编辑

NeurIPS提前看 | 四篇论文,一窥元学习的最新研究进展

2019 年 NeurIPS 将于 12 月 8 日至 14 日在加拿大温哥华举行。NeurIPS 今年共收到投稿 6743 篇,其中接受论文 1429 篇,接受率达到了 21.1%。作为人工智能领域的年度盛会,每年人工智能的专家学者以及工业企业界的研发人员都会积极参会,发布最新的理论研究结果以及应用实践方面的成果。今年,国外的高校和研究机构一如既往的踊跃参加本届 NeurIPS,其中 Google 共贡献了 179 篇文章,斯坦福和卡耐基梅隆分别有 79 篇和 75 篇文章。国内的企业界腾讯上榜 18 篇、阿里巴巴上榜 10 篇,高校和研究机构中清华参与完成的文章共有 35 篇。

2019 年,NeurIPS 接受与元学习相关的研究论文约有 20 余篇。元学习(Meta-Learning)是近几年的研究热点,其目的是基于少量无标签数据实现快速有效的学习。元学习通过首先学习与相似任务匹配的内部表示,为机器提供了一种使用少量样本快速适应新任务的方法。学习这种表示的方法主要有基于模型的(model-based meta-learning)和模型不可知的(model-agnostic meta-learning,MAML)两类。基于模型的元学习方法利用少量样本的任务标记(task identity)来调整模型参数,使用模型完成新任务,这种方法最大的问题是设计适用于未知任务的元学习策略非常困难。模型不可知的方法首先由 Chelsea Finn 研究组提出,通过初始化模型参数,执行少量的梯度更新步骤就能够成功完成新的任务。

本文从 NeurIPS 2019 的文章中选择了四篇来看看元学习的最新的研究方向和取得的成果。Chelsea Finn 以及他的老师 Pieter Abbeel 在元学习领域一直非常活跃,他们的研究团队在这个方向已经贡献了大量的优秀成果,推动了元学习在不同任务中的有效应用。在本次 NeurIPS 中,他们的研究团队针对基于梯度(或优化)的元学习提出了一种只依赖于内部级别优化的解决方案,从而有效地将元梯度计算与内部循环优化器的选择分离开来。另外,针对强化学习问题,提出了一种元强化学习算法,通过有监督的仿真学习有效的强化学习过程,大大加快了强化学习程序和先验知识的获取。我们将在这篇提前看中深入分析和理解这些工作。

Chelsea Finn 是斯坦福大学计算机科学和电子工程的助理教授,同时也担任 Google Brain 的研究科学家。Chelsea Finn 在她的博士论文《Learning to Learn with Gradients》中提出的 MAML 是目前元学习的三大方法之一,Chelsea Finn 证明了 MAML 的理论基础,并在元学习领域中将其发扬光大,在少样本模仿学习、元强化学习、少样本目标推断等中都获得了很好的应用。

本文还选择另外两篇关于元学习的文章进行讨论,其中一篇是 Facebook 的工作,提出了一种元序列到序列(Meta seq2seq)的方法,通过学习成分概括,利用域的代数结构来帮助理解新的语句。另外一篇提出了一个多模态 MAML(Multimodal MAML)框架,该框架能够根据所识别的模式调整其元学习先验参数,从而实现更高效的快速自适应。

论文清单:

  1. Meta-Learning with Implicit Gradients 

  2. Guided Meta-Policy Search

  3. Compositional generalization through meta sequence-to-sequence learning

  4. Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

1、Aravind Rajeswaran,Chelsea Finn,Sham Kakade,Sergey Levine,Meta-Learning with Implicit Gradients ,https://papers.nips.cc/paper/8306-meta-learning-with-implicit-gradients.pdf

基于优化的元学习方法主要有两种途径,一是直接训练元学习目标模型,即将元学习过程表示为神经网络参数学习任务。另一种是将元学习看做一个双层优化的过程,其中「内部」优化实现对给定任务的适应,「外部」优化的目标函数是元学习目标模型。本文是对后一种方法的研究和改进。元学习过程需要计算高阶导数,因此给计算和记忆带来不小的负担,另外,元学习还面临优化过程中的梯度消失问题。这些问题使得基于(双层)优化的元学习方法很难扩展到涉及大中型数据集的任务,或者是需要执行许多内环优化步骤的任务中。

本文提出了一种隐式梯度元学习方法(implicit model-agnostic meta-learning,iMAML),利用隐式微分,推导出元梯度解析表达式,该表达式仅依赖于内部优化的解,而不是内部优化算法的优化路径,这就将元梯度计算和内部优化两个任务解耦。具体见图 1 中所示,其中经典的任务不可知的元学习(model-agnostic meta-learning,MAML)方法沿绿色的路径计算元梯度,一阶 MAML 则利用一阶倒数计算元梯度,本文提出的 iMAML 方法通过估计局部曲率,在不区分优化路径的情况下,推导出精确的元梯度的解析表达式。

专业用户独享

本文为机器之心深度精选内容,专业认证后即可阅读全文
开启专业认证
理论NeurIPS 2019元学习
9
暂无评论
暂无评论~