2024/06/06 18:47

ICML 2024 Oral｜外部引导的深度聚类新范式

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文作者李云帆，四川大学计算机学院 2020级直博研究生。在导师彭玺教授的指导下，博士期间主要围绕深度聚类开展理论、方法和应用的研究。目前已在国际权威刊物Nature Communications/JMLR/TPAMI/IJCV/ICML/CVPR等上发表学术论文13篇，谷歌学术引用共954次；发表于AAAI2021的Contrastive Clustering被引516次，是2021年以来聚类领域引用最高的论文；获首批国家自然科学基金青年学生基础研究项目（博士研究生）资助。

怎样才能将可爱又迷人的柯基与柴犬的图像进行区分？

如果单从图像识别角度而言，两种犬类在外观上极为相似，拥有相近的色块像素，仅凭数据内蕴信息（即图像自身）可能难以对二者进行区分，但如果借助外部数据和知识，情况可能会大幅改观。

近日，一篇以《Image Clustering with External Guidance》为题的论文，提出了能够大幅提升CLIP图像聚类性能，引入外部知识库内容辅助深度聚类的方法。

论文题目：Image Clustering with External Guidance
论文地址：https://arxiv.org/abs/2310.11989
代码地址：https://github.com/XLearning-SCU/2024-ICML-TAC

背景

作为机器学习的经典任务之一，图像聚类旨在无需依赖样本标注的情况下，将图像依据语义划分到不同的类簇中，其核心在于利用先验知识构建监督信号。从经典基于类簇紧致性的k-means到近年来基于增广不变性的对比聚类[1]，聚类方法的发展本质上对应于监督信号的演进。

^{图1: 聚类方法的发展大致可分为三个阶段: (1)传统聚类，基于数据分布假设设计聚类策略; (2)深度聚类，利用深度神经网络提取有利于聚类的特征; (3)自监督聚类，通过数据增广或动量网络等策略构建自监督信号。不同于此前的工作聚焦于从数据内部挖掘监督信号，本文提出利用外部知识来引导聚类，并将新范式归类为 (4)外部引导聚类。实验结果表明，通过利用文本模态中的语义信息，所提出的方法(TAC)显著提升了图像聚类精度。}

现有的聚类研究虽然在方法设计上各不相同，但均是从数据内部挖掘监督信号，其性能最终会受限于数据自身所蕴含信息量的固有上限。举例来说，柯基和巴哥犬的图片有明显的差异，但其和柴犬在外观上十分相似，仅依据图像本身难以对二者进行区分。

但值得注意的是，在数据内蕴信息之外，现实世界中还存在着大量有助于聚类的外部知识，而在现有工作中被很大程度地忽略了。

在上述例子中，假设模型具备来自知识库的「柯基腿较短，而柴犬腿较长」等非图像域的外部先验，则能更准确地对二者的图像进行区分。

换而言之，与从数据中竭力地挖掘内部监督信号相比，利用更加丰富且容易获得的外部知识来引导聚类，有望起到事半功倍的效果。

方法

本文提出了一种简单而有效的外部引导聚类方法TAC（Text-Aided Clustering，文本辅助的聚类），基于预训练CLIP模型，通过利用来自文本模态的外部知识辅助图像聚类。

在缺乏类别标注和图像描述等文本信息的情况下，利用文本语义辅助图像聚类面临两个挑战：

如何构建图像的文本表征；
如何协同图像和文本进行聚类。

^{图2：所提出的TAC方法框架，包括文本表征构建和跨模态互蒸馏两部分。}

一、文本表征构建

针对第一个挑战，由于样本标注、图像描述等文本信息在图像聚类任务中不可用，本文提出将来自WordNet[2]的所有名词作为文本模态的候选词，选择其中具有代表性的名词集合来组成文本空间。

具体地，为了使文本表征精确地覆盖图像语义，同时尽可能在不同类别图像之间具有区分度，本文首先使用k-means算法来计算图像语义中心。

考虑到过多的语义中心会关注过于细粒度的特征，不利于区分不同类别的图像，而过少的语义中心则会难以准确覆盖位于聚类边界图像的语义，本文提出根据样本点的个数估计k-means算法中合适的k值（实验中选取k=N/300，N为图像个数），并计算图像语义中心如下：

其中

当且仅当图像

属于第l个聚类，

表示第i张图像经过CLIP图像编码器后得到的表征。在得到图像语义中心后，为了选取具有代表性的名词集合，与常见的CLIP Zero-shot分类相反，本文将所有WordNet中的名词划分到k个图像语义中心，其中第i个名词属于第l和语义中心的概率为：

其中sim表示余弦相似性，

表示第i个名词经过预训练好的文本编码器后得到的表征。保留每个语义中心对应概率最高的名词，作为组成文本空间的候选词。

选取完具有代表性的名词集合后，可通过为每张图像检索其最相关的名词来构建其文本模态的表征：

其中，

表示第i张图像对应的文本模态中的表征，

表示组成文本空间的第j个候选名词，

控制检索的平滑程度。

至此，作者为每张图像构建出了其在文本模态中的表征。此时可通过在文本和图像的拼接表征

直接使用经典k-means聚类方法来实现图像聚类。

由于融入了来自文本模态的紧凑语义，拼接后的表征具有更好的判别性，从而相较于直接在图像表征上使用k-means会得到更好的图像聚类结果。

值得注意的是，上述文本模态的构建过程不需要任何的额外训练和模型调优，其中名词选取和检索过程的计算开销几乎可以忽略不计。

二、跨模态互蒸馏

尽管直接将文本和图像表征进行拼接已能显著提升图像聚类效果，但是简单的拼接并不能充分协同文本和图像两个模态。因此，本文进一步提出跨模态互蒸馏方法，通过训练额外的聚类网络进一步提升聚类性能。

具体地，为每张图像构建邻居集合

，并引入一个聚类网络f对每个图像表征做出聚类指派，在每次迭代中，计算所有图像和其邻居集合中随机的一个图像的聚类指派，记为：

其中和分别对应图像i及其邻居的聚类指派，P和均为n*K的矩阵，其中K表示目标聚类个数。

相类似的，引入另一个聚类网络g来对每个文本表征做出聚类指派，同样为每个文本表征构建邻居集合

，在每次迭代中，计算所有文本和其邻居集合中随机的一个文本的聚类指派，记为：

其中

和

分别对应文本i及其邻居的聚类指派，Q和Q^N同样均为n*K的矩阵。

为了协同图像和文本两个模态，要求网络对于图像和其对应文本模态的邻居具有类似的聚类指派，同时对于文本和其对应图像模态的邻居也具有类似的聚类指派。为实现该目标，本文设计了如下的损失函数：

其中

分别表示聚类指派矩阵P,P^N,Q,Q^N的第i列，

为温度系数。该损失函数一方面能通过跨模态邻居之间的聚类指派一致性实现图文模态的协同，另一方面能扩大不同的类簇之间的差异性。

此外，为了使训练过程更加稳定，本文设计了另外两个正则项损失函数。首先，为了鼓励模型做出更加置信的聚类指派，提出如下损失函数：

该损失函数在

和

均为独热（One-hot）编码时被最小化，因此能提升聚类指派的置信度。另外，为了防止模型将大量图像和文本都分配到个别类簇中，提出了以下损失函数：

其中

和

分别表示图像和文本模态中整体的聚类分布。

综合上述三个损失函数，本文使用如下损失函数来优化图像和文本模态的聚类网络f和g：

其中为权重参数。需要指出的是，上述损失函数只用来优化额外引入的聚类网络，并不修改CLIP预训练好的文本和图像编码器，因此其整体训练开销较小，实验表明所提出的方法在CIFAR-10的6万张图像上训练仅需使用1分钟。

训练完成后，只需将待聚类的图像输入聚类网络f，即可得到其聚类指派，从而实现准确的图像聚类。

实验

本文在五个经典数据集和三个更具挑战性的图像聚类数据集上对方法进行了验证，部分实验结果如下：

^{表1：所提出的TAC方法在经典图像聚类数据集上的聚类性能}

^{表2：所提出的TAC方法在更具挑战性的图像聚类数据集上的聚类性能}

从结果中可以看出，在缺少标注信息的情况下所提出的TAC方法通过为每个图像构建文本表征，能够有效地从文本模态中挖掘语义信息。在无需任何额外训练的情况下，TAC (no train)显著提高了直接在CLIP提取的图像表征上使用k-means聚类的性能，特别是在更困难的数据集上。

当进一步使用提出的跨模态相互蒸馏策略训练聚类网络时，TAC取得了最优的聚类性能，甚至超过了依赖类别标签信息的CLIP Zero-shot分类性能。

总结与展望

不同于现有的聚类研究聚焦于从数据内部构建监督信号，本文创新性地提出利用此前被忽略的外部知识来引导聚类。

所提出的TAC方法通过在无需文本描述的情况下，从预训练CLIP模型的文本模态挖掘语义信息，显著提升了图像聚类性能，证明了所提出的外部引导聚类新范式的有效性。

所提出的外部引导聚类范式的挑战在于：

如何选择合适的外部知识；
如何有效的整合外部知识以辅助聚类。

除了本工作关注的文本语义外，外部知识广泛存在于各类的数据、模型、知识库等，对于不同的数据类型和聚类目标，需要针对性地选择与利用外部知识。

总的来说，在目前大模型、知识库日趋成熟背景下，外部引导的聚类新范式具备良好的发展潜力，希望未来有更多工作进行相关的探索。

^{参考文献：}

^{[1] Li Y, Hu P, Liu Z, et al. Contrastive clustering[C]//Proceedings of the AAAI conference on artificial intelligence. 2021, 35(10): 8547-8555.}

^{[2] Miller G A. WordNet: a lexical database for English[J]. Communications of the ACM, 1995, 38(11): 39-41.}

工程ICML 2024 Oral图像聚类

相关数据

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

图像检索技术

图像检索系统是用于从大型数字图像数据库浏览、搜索和检索图像的计算机系统。大多数传统和常见的图像检索方法利用向图像添加诸如字幕、关键字或描述之类的元数据的一些方法，以便可以对注释词执行检索。手动图像注释耗时，费力且昂贵; 为了解决这个问题，人们已经对自动图像标注进行了大量研究。

来源：Image retrieval

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

知识库技术

知识库是用于知识管理的一种特殊的数据库，以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家，它是求解问题所需领域知识的集合，包括基本事实、规则和其它有关信息。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

余弦相似性技术

余弦相似性通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为0到1之间。

来源：维基百科

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科

动量技术

优化器的一种，是模拟物理里动量的概念，其在相关方向可以加速SGD，抑制振荡，从而加快收敛

来源：An overview of gradient descent optimization algorithms

WordNet技术

WordNet是由普林斯顿大学心理学家、语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列，而是按照单词的意义组成一个“单词的网络”。

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/