这篇论文发表于 CVPR 2019,是我们团队(清华大学龙明盛副教授的团队)在领域适配问题设定方向的最新探索: 我们将领域适配问题扩展到任意相关的目标领域上,去除了标准领域适配问题中对于类别集合的不合理假设,提出了更加有挑战性的通用领域适配问题,并提出了一种有效的解决方法:通用领域适配网络。
论文动机
领域适配问题包含一个源领域 (source domain)和一个目标领域(target domain)。源领域是完全标注好的,目标领域是 与源领域相关的领域,但是里面的数据是没有标注的。 当前被研究的领域适配问题,多多少少需要知道目标领域的类别集合的一些信息,对源领域和目标领域的类别集合之间的关系有一定要求(或者重合,或者包含,或者相交且知道交集是什么),这些要求可以概括为下图:
考虑到目标领域是没有标注的,在实际应用中,我们难以获知目标领域的类别集合是什么。为了让领域适配问题更贴近实际,我们首次探究了针对未知目标领域的领域适配问题。
问题描述
由于我们只有源领域的标注信息,所以我们无法得知目标领域独有的类别的具体信息。我们的任务是把目标领域独有的类别对应的图片标记为”unknown”,把共有的类别对应的图片的具体类别找到。
技术挑战
我们首先需要面对的是两个领域之间的类别差异:两个领域的类别集合不同,导致我们无法直接在两个领域中做领域适配(目标领域和源领域中的部分数据原理上来说就是不能进行适配的)。目标领域中存在源领域中没有的类,这又要求我们的模型具有开放式识别的能力(识别出不属于任何训练集类别的类)。
除了类别差异,在公共类别中,领域差异也依然存在,我们需要识别出这些应该被适配的数据,并对它们进行适配。
通用领域适配网络
我们提出的通用领域适配网络可以初步解决上述问题。具体的计算细节参见论文,其核心思想是利用可迁移性判据来找到两个领域中公共类别的数据,在这些数据中进行适配。
可迁移性判据由领域相似度与预测不确定度两部分共同构成:
实验效果
我们在Office-31、Office-Home、ImageNet-Caltech、VisDA2017等标准数据集上进行了实验,这些实验中,我们发现,当前的一些需要知道目标领域类别集合才能工作的方法,在通用领域适配的问题设定下表现得很差。当面临未知的目标领域时,只有通用领域适配网络的表现比较稳定,在各种设定下都取得了最好的结果。
结论与展望
本文提出了更加符合实际应用场景的通用领域适配问题并提出了通用领域适配网络来解决这个问题。实验表明,通用领域适配网络能够较好地处理这个问题,使得领域适配问题向实际应用的方向更进一步。
如果我们想要把一个已有的模型应用到新的场景中,我们就可以先使用本文提出的通用领域适配网络。如果通用领域适配网络能识别出大部分数据的具体类别,那么我们可以期望领域适配方法在不标注新数据的情况下就能解决新的场景中的问题;反之,如果通用领域适配网络认为大部分数据都属于源领域中没有的类别,那么,对目标领域的数据标注将是不可缺少的。所以说,当我们遇到一个领域适配问题时,通用领域适配网络可以作为先导研究首先被尝试。