2020/05/04 12:27

魔王参与

什么是小样本学习？这篇综述文章用166篇参考文献告诉你答案

什么是小样本学习？它与弱监督学习等问题有何差异？其核心问题是什么？来自港科大和第四范式的这篇综述论文提供了解答。

数据是机器学习领域的重要资源，在数据缺少的情况下如何训练模型呢？小样本学习是其中一个解决方案。来自香港科技大学和第四范式的研究人员综述了该领域的研究发展，并提出了未来的研究方向。

这篇综述论文已被 ACM Computing Surveys 接收，作者还建立了 GitHub repo，用于更新该领域的发展。

论文地址：https://arxiv.org/pdf/1904.05046.pdf
GitHub 地址：https://github.com/tata1661/FewShotPapers

机器学习在数据密集型应用中取得了很大成功，但在面临小数据集的情况下往往捉襟见肘。近期出现的小样本学习（Few-Shot Learning，FSL）方法旨在解决该问题。FSL 利用先验知识，能够快速泛化至仅包含少量具备监督信息的样本的新任务中。

这篇论文对 FSL 方法进行了综述。首先，该论文给出了 FSL 的正式定义，并厘清了它与相关机器学习问题（弱监督学习、不平衡学习、迁移学习和元学习）的关联和差异。然后指出 FSL 的核心问题，即经验风险最小化方法不可靠。

基于各个方法利用先验知识处理核心问题的方式，该研究将 FSL 方法分为三大类：

数据：利用先验知识增强监督信号；
模型：利用先验知识缩小假设空间的大小；
算法：利用先验知识更改给定假设空间中对最优假设的搜索。

最后，这篇文章提出了 FSL 的未来研究方向：FSL 问题设置、技术、应用和理论。

论文概览

该综述论文所覆盖的主题见下图：

我们选取介绍了该综述论文中的部分内容，详情参见原论文。

什么是小样本学习？

FSL 是机器学习的子领域。

我们先来看机器学习的定义：

计算机程序基于与任务 T 相关的经验 E 学习，并得到性能改进（性能度量指标为 P）。

基于此，该研究将 FSL 定义为：

小样本学习是一类机器学习问题，其经验 E 中仅包含有限数量的监督信息。

下图对比了具备充足训练样本和少量训练样本的学习算法：

FSL 方法分类

根据先验知识的利用方式，FSL 方法可分为三类：

FSL 方法解决少样本问题的不同角度。

基于此，该研究将现有的 FSL 方法纳入此框架，得到如下分类体系：

数据

此类 FSL 方法利用先验知识增强数据 D_train，从而扩充监督信息，利用充足数据来实现可靠的经验风险最小化。

如上图所示，根据增强数据的来源，这类 FSL 方法可分为以下三个类别：

模型

基于所用先验知识的类型，这类方法可分为如下四个类别：

算法

根据先验知识对搜索策略的影响，此类方法可分为三个类别：

文章最后从问题设置、技术、应用和理论四个层面探讨了小样本学习领域的未来发展方向。

理论小样本学习弱监督学习香港科技大学第四范式

相关技术

自动化机器学习随机梯度下降迁移学习

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

元学习技术

元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，我们如果想使智能体掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要智能体通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。这种学习如何学习的方法，又叫元学习（meta-learning），是通往可持续学习多项新任务的多面智能体的必经之路。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

港科大机构

香港科技大学（The Hong Kong University of Science and Technology），位于中国香港，简称港科大（HKUST），为环太平洋大学联盟、全球大学校长论坛、东亚研究型大学协会、亚洲大学联盟、中国大学校长联谊会重要成员，并获AACSB和EQUIS双重认证，是一所亚洲顶尖、国际知名的研究型大学。该校以科技和商业管理为主、人文及社会科学并重，尤以商科和工科见长。截至2019年9月，学校设有理学院、工学院、工商管理学院、人文社会科学学院等4个学院及跨学科课程事务处；校园占地超过900亩，有教员697人，各类学生16054人，其中本科生10148人，研究生5906人。

https://hkust.edu.hk/

小样本学习技术

人类非常擅长通过极少量的样本识别一个新物体，比如小孩子只需要书中的一些图片就可以认识什么是“斑马”，什么是“犀牛”。在人类的快速学习能力的启发下，研究人员希望机器学习模型在学习了一定类别的大量数据后，对于新的类别，只需要少量的样本就能快速学习，这就是 Few-shot Learning 要解决的问题。

来源：知乎