2024/04/24 11:10

CVPR 2024 | 基于MoE的通用图像融合模型，添加2.8%参数完成多项任务

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com。

论文链接：https://arxiv.org/abs/2403.12494
代码链接：https://github.com/YangSun22/TC-MoA
论文题目：Task-Customized Mixture of Adapters for General Image Fusion

^{图 1 不同融合任务的源图像对融合结果的主导强度变化}

研究背景与动机

图像融合的目的是将同一场景中不同传感器捕获的多源图像的互补信息整合到单个图像上。这种方式通常被用于提取图片重要信息和提高视觉质量。

目前，一般的图像融合主要包括多模态、多曝光、多焦图像融合等。融合任务表现出不同的融合机制。多曝光图像融合（MEF）的重点是将具有多个曝光程度的图像序列转换成一个高质量的全曝光图像。每个源图像为融合的图像提供自己的光照和结构信息。可见红外图像融合（VIF）是一种多模态图像融合（MMF），旨在融合红外和可见模态的互补信息，产生鲁棒且信息丰富的融合图像。红外图像提供更多的强度信息，而可见图像提供更多的纹理和梯度信息。多聚焦图像融合（MFF）的目的是从一系列部分聚焦的图像中生成一个全聚焦的图像。多聚焦融合图像的每个清晰区域通常只需要学习一个源图像。因此，可以观察到，MEF 和 VIF 任务是多源相对平等的融合，而 MFF 是多源地位较为极端的任务，对图像的某一区域而言，往往表现出极化的选择。

随着深度学习技术的快速发展，近年来图像融合领域取得了很大的进展，而现有的方法大多只关注单一图像融合场景，通常为单一任务采用特定策略，如为某任务设计的复杂网络或任务特定的损失函数，导致无法直接应用在其他任务上。考虑到不同融合任务的本质相同，即整合来自多个源图像的重要信息，最近提出的一些方法，试图使用统一的模型处理多种融合任务，构建通用的图像融合。然而，这些方法要么有主导任务偏差，要么为了多任务共性而牺牲个性，导致次优的性能。这促使我们探索一个更兼容的融合范式，它可以自适应地动态地兼容不同的融合场景。

为了处理这一挑战，受到预训练基座模型强大的特征表示能力的启发，我们引入了基座模型作为一个冻结的编码器来提取多源图像的互补特征。与大多数现有方法不同的是，我们借鉴了混合专家（MoE）的思想，将每个专家作为一个高效的微调适配器，基于基座模型执行自适应视觉特征提示融合。任务特定的路由网络定制这些适配器的混合，为不同的源生成任务特定的融合提示，形成一种新的任务定制混合适配器（TC-MoA）架构。另外，我们设计了互信息正则化来约束融合提示，从而保证了对不同来源的互补性。值得注意的是，融合提示具有显著的任务偏差和模态主导强度差异。如图 1 所示，MFF 的提示比 VIF 和 MEF 的色差更大，说明特征选择在优势模态的强度偏差上具有更多的双极性。我们的模型有效地感知了单一模型中不同融合任务之间的融合强度偏差，因此与更广泛的融合任务相兼容。

大量的实验验证了我们在通用图像融合方面的优越性，包括多模态、多曝光和多焦点融合。更重要的是，我们的 TC-MoA 甚至对未知的融合任务显示出了创造性的可控性和泛化性，充分展示了我们在更广泛的融合场景中的潜力。

主要贡献

我们提出了一个统一的通用图像融合模型，提供了一种新的任务定制混合适配器（TC-MoA）用于自适应多源图像融合（受益于动态聚合各自模式的有效信息）。
我们为适配器提出了一种互信息正则化方法，这使得我们的模型能够更准确地识别不同源图像的主导强度。
据我们所知，我们首次提出了一种基于 MoE 的灵活适配器。通过只添加 2.8% 的可学习参数，我们的模型可以处理许多融合任务。大量的实验证明了我们的竞争方法的优势，同时显示了显著的可控性和泛化性。

核心方法

如图 2 所示，给定一对源图像

，网络整合来自不同源的互补信息，获得融合图像

。我们将源图像输入 ViT 网络，并通过 patch 编码层获得源图像的 Token。ViT 由一个用于特征提取的编码器和一个用于图像重建的解码器组成，这两者都是由 Transformer 块组成的。

在编码器和解码器中，每

个 Transformer 块插入一个 TC-MoA。网络通过这些 TC-MoA 逐步调制融合的结果。每个 TC-MoA 由一个特定于任务的路由器银行

，一个任务共享适配器银行

和一个提示融合层F组成。TC-MoA 包括两个主要阶段：提示生成和提示驱动的融合。为了便于表达，我们以 VIF 为例，假设输入来自 VIF 数据集，并使用G来表示

。

^{图 2 TC-MoA 的总体架构}

提示生成。首先，获得后续处理的多源特征。将第 j 个 TC-MoA 之前的网络结构定义为

，并提取提示生成特征定义为

。我们将

作为多源 Token 对的特征表示拼接起来。这允许来自不同来源的 Token 在后续的网络中交换信息。然而，直接计算高维的拼接特征会带来大量不必要的参数。因此，我们使用

进行特征降维，得到处理后的多源特征

，如下：

然后，根据 Φ 所属的任务，我们从路由器银行中选择一个任务特定的路由器来定制路由方案，即，每对源 Token 应该输入适配器银行中的哪个适配器。

最后，我们对适配器的输出进行加权求和，以获得融合提示。每个路由器都有任务偏好来定制合适的适配器混合，然后通过适配器混合生成提示，计算方法如下：

提示驱动的融合。任务定制的提示受到互信息正则化（MIR）的约束，这保证了对不同源的互补性。因此，提示可以作为对每个来源中重要信息的比例的估计。通过多源特征和提示的点乘，我们在去除冗余信息的同时保留了互补信息。然后，考虑到特征表示应该包含源相关的偏置（如可见或红外图像），我们为每个源引入输入无关的可学习参数，即源编码 s。特征在经过提示修饰和源偏置，我们得到细化的源特征

，然后经过融合层 F 获得融合特征，过程如下：

最终，我们通过任务定制的提示获得了一个融合特征。为了鼓励模型逐步地提取重要信息，我们对输出到下一个 Transformer 块的特征定义如下（

是一个超参数）：

互信息正则。为了保证模型在丢弃多源特征冗余信息的同时，动态地保留互补信息，我们对提示符施加了正则化约束。假设特征表示呈线性变化，我们定义 MIR 如下：

实验效果

定性和定量实验。如图 3-5 和表 1-3 所示，在三个融合任务上的定性和定量对比表明我们的方法性能超越以往的通用融合方法。与特定任务的方法相比，我们的方法在所有任务上也达到了先进水平，甚至在部分任务（VIF）上达到了领先水平。证明了所提方法的优越性。

^{图 3 VIF 任务 LLVIP 数据集上的定性比较实验}

^{图 4 MEF 任务 MEFB 数据集上的定性比较实验}

^{图 5 MFF 任务数据集上的定性比较实验}

^{表 1 VIF 任务 LLVIP 数据集上的定量比较实验}

^{表 2 MEF 任务 LLVIP 数据集上的定量比较实验}

^{表 3 MFF 任务 LLVIP 数据集上的定量比较实验}

^{图 6 域内任务的可控性和未知任务的泛化性}

可控性和泛化性。如图 6 所示，通过控制融合提示的超参数 α 和 β，我们可以分别控制模型对源图像互补信息的特征选择强度（区域级）和融合图像与某个源图像的相似度（图像级）。我们可以通过线性变换融合提示，最终实现生成定制的融合图像。对于已知的任务，如多曝光融合，我们可以得到定制化的最符合人类感知的融合结果。对于未知任务，我们可以调制出最合适的融合参数，将模型泛化到未知任务。

工程CVPR 2024图像融合

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

图像重建技术

通过物体外部测量的数据，经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用，显示人体各部分的图像，即计算机断层摄影技术，简称CT技术，后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

来源：百度百科

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

损失函数技术

在数学优化，统计学，计量经济学，决策理论，机器学习和计算神经科学等领域，损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

特征选择技术

在机器学习和统计学中，特征选择（英语：feature selection）也被称为变量选择、属性选择或变量子集选择。它是指：为了构建模型而选择相关特征（即属性、指标）子集的过程。

来源：维基百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/