编辑H4O作者Angulia Chao

CVPR 2019提前看:少样本学习专题

本文选择深度学习细分种类下的少样本学习(Few-Shot Learning)这个话题。近两年来我们注意到学界开始改变之前大数据好效果的模型训练方式,关注用少量的数据来达到较好的任务表现,目前此类方法还处在学界探索实验阶段,在业界运用还不算普及(由于业界产品对模型精确度有比较高的要求,且大多针对的都是特定业务细分场景),然而该方向『小数据学好模型』的思想对之后的机器学习研究和应用都具有非常好的前景以及应用潜力,所以笔者今年挑了四篇思路和方法都比较新颖,同时结果也具有说服力的少样本学习的文章进行了比较细致的引读和推荐,文章内容涵盖物体分类、物体检测任务,以期给关注这个方向的读者更多的启发。

由于篇幅有限,在详细介绍的四篇论文之外,我们还准备了几篇同样非常新颖的少样本学习工作做了简略的介绍,这部分文章涉及图像检索,人脸反欺诈,长尾数据分类等任务,最后我们将筛选的本届 CVPR 接受的几篇少样本学习或者相关的半监督学习文章的原文和名称都附到了文章末尾供读者参考。

分类任务上的少样本学习

1.Edge-Labeling Graph Neural Network for Few-shot Learning(classification)

  • paper: https://arxiv.org/abs/1905.01436

  • code: https://github.com/khy0809/fewshot-egnn

图网络(Graph Neural Network, GNN)由于节点与节点之间具有相关性可以实现更丰富的信息传递,在近期来涉及到的推理问题(Reasoning)或者是视觉问答(Visual Question Answering)等任务上都有不少的尝试,而少样本学习(few-shot learning)的难点通常是在于可用样本有限,所以样本之间潜在的关联性在学习过程中就变得非常重要了,通用的前传网络很难捕捉到样本之间丰富的关联信息,图网络正好可以弥补这一点:图网络在节点之间构建的丰富的连接,使得其能够利用节点之间的信息传递机制得到邻节点的信息并且进行聚合,通过一定复杂程度的图网络,就能够表达数据个体之间丰富的关联互动特征。

常见的图网络关注于节点的表示与特征嵌入,为了更充分的利用节点的关联信息,本篇论文提出了边标记图网络(Edge-Labeling Graph Neural Network,EGNN),类比于关注节点信息的 GNN,EGNN 通过迭代更新连接边的信息直接可以反映节点之间的类内相似度(intra-cluster similarity)与类间差异度(inter-cluster dissimilarity)从而获取正确的类别分配结果。另一方面,EGNN 在无需 re-train 的情况下能很好地适应不同数目的类别,并且很容易扩展到转换式推理(Transductive Inference)上面,同时在现有的 GNN 方法中,EGNN 在分类任务上实现了大幅的性能提升。

在完整观察 EGNN 结构之前,我们先理解 EGNN 里的节点与对应的连接边信息的基本更新方式:

在图中首先更新节点特征,之后再更新节点之间连接边的特征,因为一组节点的特征有变化,进而也会影响到连接边上的特征,以及衡量节点之间的类内相似度(intra-cluster similarity)与类间差异度(inter-cluster dissimilarity)的参数也会对应得到更新,在边和点的特征都得到更新之后,计算边损失(Edge Loss),用 episodic training 的训练策略来更新 EGNN 的权重。

专业用户独享

本文为机器之心深度精选内容,专业认证后即可阅读全文
开启专业认证
理论少样本学习CVPR 2019
241
相关数据
半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

应用太烂,电脑上认证了一次,手机上就认证不了呢