CVPR 2018最佳论文作者亲笔解读:研究视觉任务关联性的Taskonomy

本文作者沈博魁是斯坦福本科生/准博士生,也是 CVPR 2018 最佳论文《Taskonomy:Disentangling Task Transfer Learning》的共同二作。鉴于作者在 Poster Session时发现很多人对Taskonomy的理解有偏差,沈博魁在知乎写了一篇Taskonomy的中文解读,希望能对大家有帮助。很多专业词汇的中文翻译可能有偏差,希望大家见谅。如果有问题,欢迎大家评论私信。

➤ 细节请查看知乎文章:https://zhuanlan.zhihu.com/p/38425434

➤ Taskonomy的网站:taskonomy.stanford.edu

梗概

人类的视觉具备多种多样的能力,计算机视觉界基于此定义了许多不同的视觉任务。长远来看,计算机视觉着眼于解决大多数甚至所有视觉任务,但现有方法大多尝试将视觉任务逐一击破。这种方法造成了两个问题:

  • 第一,逐一击破需要为每一项任务收集大量数据,随着任务数量的增多,这将会是不可行的。

  • 第二,逐一击破会带来不同任务之间的冗余计算和重复学习。

一般来说,逐一击破的策略忽略了视觉任务之间的关联性,比如法线(Surface Normals)是由深度(Depth)求导得来,语义分割(Semantic Segmentation)又似乎和遮挡边缘测试(Occlusion edge detection)有着千丝万缕的关联。基于上述两个问题,我们希望能有效测量并利用视觉任务之间的关联来避免重复学习,从而用更少的数据学习我们感兴趣的一组任务。

Taskonomy是一项量化不同视觉任务之间关联、并利用这些关联来最优化学习策略的研究。如果两个视觉任务A、B具有关联性,那么在任务A中习得的representations理应可为解决任务B提供有效的统计信息。由此我们通过迁移学习计算了26个不同视觉任务之间的一阶以及高阶关联。

如图一,如果有预测法线的网络和预测遮挡边缘测试的网络,我们可以通过结合两个网络的representations来快速通过少量数据解决Reshading和点匹配 (Point matching)。基于这些关联,我们利用BIP (Binary Integer Programming) 求得对于一组我们感兴趣的任务,如何去最优分配训练数据量。比如,如果想最高效地解决10个问题,利用Taskonomy提供的学习策略可以减少2/3的训练数据量。

方法

简单概括,方法分为两个大阶段,四个小步。

第一大阶段涉及前三小步,我们要量化不同视觉任务之间的关联,并将任务关联表达成一个affinity matrix(关联矩阵)。

第二大阶段,也就是最后一小步,我们对求得的affinity matrix进行最优化,求得如何最高效地去学习一组任务。这个最高效的策略会由一个指向图 (directed graph)  来表示,我们称此指向图为Taskonomy。词语上Taskonomy是Task (任务) 和 Taxonomy (分类论) 的合并简称。

>>>> 问题定义

首先,我们来定义我们想要解决的问题。我们想在有限的监督预算γ下最大化我们在一组目标任务(target tasks) T =  {t1,...,tn}上的表现。同时,我们有一组起始任务 (source tasks) S,其定义为我们可从零学习的任务。监督预算γ的定义为多少起始任务我们愿意从零开始学习(从零开始学习需要收集大量数据,监督预算表达了我们所面对的金钱、计算力和时间上的限制)。其中,

  • T \ S 代表了我们感兴趣但不能从零学习的任务,比如一个只能有少量数据的任务。

  • S \ T 代表了我们不感兴趣但可以从零学习(来帮助我们更好的学习𝓣)的任务,如jigsaw、colorization等自我监督的视觉任务。

  • TS 代表了我们既感兴趣又能从零学习的任务,但因为从零学习会消耗监督预算,我们希望从中选择出符合预算的一组从零学习,余下的通过少量数据的迁移学习来实现。

我们称 V = TS 为我们的任务词典 (task dictionary)。最后,我们对视觉任务t的定义为一个基于图片的方程 f(t)。

如下图所示,我们收集了一个有四百万张图片的数据题,每张图片均有26个不同视觉任务的标注 (ground truth)。这26个任务涵盖了2D的、3D的和语义的任务,构成了本项research的任务词典。因为这26个任务均有标答,S也为这26个任务。

下面,我们进入第一大阶段,量化视觉任务的关联。

>>>> 第一步:从零学习

对于每个起始任务,我们为其从零开始学习一个神经网络。为了能更好地控制变量从而比较任务关联,每个任务的神经网络具有相似的encoder-decoder结构。所有的encoder都是相同的类ResNet50结构。因为每个任务的output维度各不相同,decoder的结构对不同的任务各不相同,但都只有几层,远小于encoder的大小。

(注:CVPR poster session期间有人问起,decoder泛指readout functions,比如classification的FC Layers也算为decoder)

>>>> 第二步:迁移学习

如上图所示,对于每一对起始任务 s ∈ S 和目标任务 t ∈ T,我们将以s的representation作为输入来学习t。我们将冻结任务s的encoder 参数,并基于encoder的输出 (representations) 学习一个浅层神经网络read out function。

如下图所示,对于t,不同的起始任务的representation会对迁移表现造成不同的影响。更具关联的s会为t提供更有效的统计信息,从而仅用1/60的训练数据(相较于从零学习)就能取得不错的结果;相反不具备关联的s则并不能有此表现。因此,我们认为基于s的representation的迁移学习在t任务中的表现可以很好地代表了s之于t的关联性。

上述迁移代表了任务之间一对一的关联,我们称其为一阶关联。如下图,几个任务之间可能具有互补性,结合几个起始任务的representations会对解决目标任务起到帮助。因此,我们也研究了任务之间多对一的关联,我们称其问高阶关联。在这种情况下,我们concatenate几个起始任务的representation当作目标任务的输入,其余细节跟上段类似。

因为高阶的任务组合数量太大,我们基于一阶表现选择了一部分的组合进行迁移学习。对于小于五阶的高阶,我们根据一阶的表现,将前五的所有组合作为输入。对于n > 5阶,我们选择结合一阶表现前n的起始任务作为输入。

>>>> 第三步:Ordinal Normalization

这一步的目标为用一个affinity matrix量化任务之间的关联。虽然从上步习得的迁移网络中我们获得了许多的loss值 ,但因这些loss值来自于不同的loss 函数,它们的值域有很大差别。

如果我们把这些loss值直接放入一个矩阵(上图左,纵轴为目标任务、横轴为起始任务),那么这个矩阵内的值及其不均匀,并不能有效反应任务之间的关联。同时,简单的线性规范化也并不能解决问题,因为任务的loss值和表现并不构成线性关系(0.01的l2 loss并不代表其表现两倍好于0.02)。

由此,我们采用Ordinal Normalization(基于序数的规范化)来将loss值转换为关联度。该方法基于运筹学中的AHP (Analytic Hierarchy Process)。具体细节见论文或知乎,概括来讲,affinity matrix中的第 (i, j) 个值为利用第 i 个起始任务迁移后,其网络有多大的几率表现好于用第 j 个网络(我们在下文称其为 i 对于 j 的胜率)。

至此第一大阶段完结,我们通过上述affinity matrix量化了任务之间的关联性。

>>>> 第四步:BIP最优化

最后一步,我们要基于affinity matrix求得如何最有效地学习一组我们感兴趣的任务。我们可以这个问题想象成一个subgraph selection的问题:选择一些任务从零学习,剩下的任务用少量数据进行迁移学习,具体迁移学习的策略由subgraph中的edge来决定(对一条directed edge,起始点代表我们从零学习的一个任务,终点代表要进行迁移的目标任务)。基于此,我们可以通过解如下最优化问题来得到最优解:

这个最优问题有三个限制条件。

1.    如果我们选择了一个迁移,那么迁移的起始任务(可能为高阶起始集)和目标任务均要出现在subgraph中

2.    每个目标任务有且仅有一个迁移(我们将从零学习在途中定义为从自己到自己的迁移,即一条自己到自己的edge)

3.    不超过监督预算

这三个限制条件的具体数学表达如下:

至此,我们通过解最优subgraph selection从而获得了最有效迁移学习策略,如下图:

实验结果


Taskonomy项目训练了3000+个神经网络,总耗时~50000小时的GPU。从零学习消耗120k张图片,迁移学习为16k张图片。

我认为现有公众号对Taskonomy翻译中最不准确的是对Taskonomy实验部分的评论。如文章一开头所说,Taskonomy的目标为用有限的监督预算来最有效地解决一组任务,并不是将state of the art提高百分之几。本文想宣扬的中心思想是计算机视觉界应注重视觉任务间的关联性,并让这些关联性为我们所用。回到本文的具体用途,Taskonomy的用途有两个:

1.    Taskonomy作为解决一组任务的方法。

2.    用Taskonomy的任务词典解决一个只有少量数据的新任务。

以下试验结果分为两个部分,分别对应以上两点。

>>>> 一:解决一组任务

如何衡量Taskonomy解决一组任务的有效性?我们设定了两个评判标准。

1.    迁移获利 (Gain) : 如果我们不进行迁移学习,我们只能基于少量的数据从零学习。迁移获利是指迁移学习相较于从零学习的胜率(见Ordinal Normalization部分)。

2.    迁移质量 (Quality) : 用少量数据迁移学习相较于用大量数据从零学习的胜率。

下图是Taskonomy的迁移获利 (左) 和质量 (右) 的图表。两图的纵轴为所有目标任务,横轴为监督预算,胜率在0-1之间。可见,对于一个26个任务的目标集,在只有一半甚至1/3的监督预算时,Taskonomy计算出的监督分配会使整体表现远远打败从零学习(迁移获利),并近似于(胜率超过40%)大量数据完全监督学习(迁移质量)。

>>>> 二:解决新任务

对于解决新任务,我们可以把我们任务词典里的目标任务当作一个新任务,模拟只有少量数据的情况。实验结果如下,我们可以发现Taskonomy的表现超过了现有的行业pretrained features(包括imagenet fc7)。

总结

在Taskonomy项目里,我们的目标是着眼于一组任务,并利用任务之间的关联性减少总体数据使用量。为此,我们量化了视觉任务的关联性,并基于求得的affinity matrix最优化得到如何分配任务监督数据量。实验表明,视觉任务之间确实存在很强的关联性,我们能通过更少的数据很好地解决一组任务。

理论迁移学习获奖论文CVPR 2018计算机视觉
3
相关数据
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

运筹学技术

运筹学,是一门应用数学学科,利用统计学和数学模型等方法,去寻找复杂问题中的最佳或近似最佳的解答。运筹学经常用于解决现实生活中的复杂问题,特别是改善或优化现有系统的效率。研究运筹学的基础知识包括矩阵论和离散数学,在应用方面多与仓储、物流等领域相关。因此运筹学与应用数学、工业工程专业密切相关。

运筹优化技术

最优化问题(英语:Optimization problem)在数学与计算机科学领域中,是从所有可行解中寻找最优良的解的问题。根据变数是连续的或离散的,最佳化问题可分为两类:连续最佳化问题与组合优化。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

规范化技术

规范化:将属性数据按比例缩放,使之落入一个小的特定区间,如-1.0 到1.0 或0.0 到1.0。 通过将属性数据按比例缩放,使之落入一个小的特定区间,如0.0到1.0,对属性规范化。对于距离度量分类算法,如涉及神经网络或诸如最临近分类和聚类的分类算法,规范化特别有用。如果使用神经网络后向传播算法进行分类挖掘,对于训练样本属性输入值规范化将有助于加快学习阶段的速度。对于基于距离的方法,规范化可以帮助防止具有较大初始值域的属性与具有较小初始值域的属相相比,权重过大。有许多数据规范化的方法,包括最小-最大规范化、z-score规范化和按小数定标规范化。

迁移学习技术

迁移学习是一种机器学习方法,就是把为任务 A 开发的模型作为初始点,重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务,虽然大多数机器学习算法都是为了解决单个任务而设计的,但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。 迁移学习对人类来说很常见,例如,我们可能会发现学习识别苹果可能有助于识别梨,或者学习弹奏电子琴可能有助于学习钢琴。

暂无评论
暂无评论~