Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

用语言对齐多模态信息,北大腾讯等提出LanguageBind,刷新多个榜单

北京大学腾讯等机构的研究者们提出了多模态对齐框架 ——LanguageBind。该框架在视频、音频、文本、深度图和热图像等五种不同模态的下游任务中取得了卓越的性能,刷榜多项评估榜单,这标志着多模态学习领域向着「大一统」理念迈进了重要一步。
 
在现代社会,信息传递和交流不再局限于单一模态。我们生活在一个多模态的世界里,声音、视频、文字和深度图等模态信息相互交织,共同构成了我们丰富的感知体验。这种多模态的信息交互不仅存在于人类社会的沟通中,同样也是机器理解世界所必须面对的挑战。

如何让机器像人类一样理解和处理这种多模态的数据,成为了人工智能领域研究的前沿问题。

在过去的十年里,随着互联网和智能设备的普及,视频内容的数量呈爆炸式增长。视频平台如 YouTube、TikTok 和 Bilibili 等汇聚了亿万用户上传和分享的视频内容,涵盖了娱乐、教育、新闻报道、个人日志等各个方面。如此庞大的视频数据量为人类提供了前所未有的信息和知识。为了解决这些视频理解任务,人们采用了视频 - 语言(VL)预训练方法,将计算机视觉自然语言处理结合起来,这些模型能够捕捉视频语义并解决下游任务。

然而,目前的 VL 预训练方法通常仅适用于视觉和语言模态,而现实世界中的应用场景往往包含更多的模态信息,如深度图、热图像等。如何整合和分析不同模态的信息,并且能够在多个模态之间建立准确的语义对应关系,成为了多模态领域的一个新的挑战。

为了应对这一难题,北大与腾讯的研究人员提出了一种新颖的多模态对齐框架 ——LanguageBind。与以往依赖图像作为主导模态的方法不同,LanguageBind 采用语言作为多模态信息对齐的纽带。

图片

  • 论文地址:https://arxiv.org/pdf/2310.01852.pdf
  • GitHub 地址:https://github.com/PKU-YuanGroup/LanguageBind
  • Huggingface 地址:https://huggingface.co/LanguageBind
 
语言因其内在的语义丰富性和表现力,被赋予了整合和引导其他模态信息对齐的能力。在这个框架下,语言不再是附属于视觉信息的标注或说明,而是成为了联合视觉、音频和其他模态的中心通道。

LanguageBind 通过将所有模态的信息映射到一个统一的语言导向的嵌入空间,实现了不同模态之间的语义对齐。这种对齐方法避免了通过图像中介可能引入的信息损失,提高了多模态信息处理的准确性和效率。更重要的是,这种方法为未来的扩展提供了灵活性,允许简单地添加新的模态,而无需重新设计整个系统。

此外,该研究团队构建了 VIDAL-10M 数据集,这是一个大规模、包含多模态数据对的数据集。

VIDAL-10M 涵盖了视频 - 语言、红外 - 语言、深度 - 语言和音频 - 语言配对,以确保跨模态的信息是完整且一致的。通过在该数据集上进行训练,LanguageBind 在视频、音频、深度和红外等 15 个广泛的基准测试中取得了卓越的性能表现。

图片

图片

方法介绍

在多模态信息处理领域,主流的对齐技术,如 ImageBind,主要依赖图像作为桥梁来实现不同模态之间的间接对齐。这种方法在对其他模态和语言模态的对齐上可能会导致性能次优化,因为它需要两步转换过程 —— 首先是从目标模态到图像模态,然后是从图像模态到语言模态。这种间接对齐可能导致语义信息在转换过程中的衰减,从而影响最终的性能表现。

图片

针对这一问题,该团队提出了一种名为 LanguageBind 的多模态语义对齐预训练框架。该框架摒弃了依赖图像作为中介的传统模式,而是直接利用语言模态作为不同模态之间的纽带。语言模态因其天然的语义丰富性,成为连接视觉、音频、深度等模态的理想选择。LanguageBind 框架通过利用对比学习机制,将不同模态的数据映射到一个共享的语义嵌入空间中。在这个空间里,不同模态的信息可以直接进行语义层面的理解与对齐。

图片

                               LanguageBind 概览图

具体而言,LanguageBind 通过锚定语言模态,采用一系列优化的对比学习策略,对多模态数据进行预训练。这一过程中,模型学习将来自不同模态的数据编码到与语言模态相兼容的表征中,确保了模态间的语义一致性。这种直接的跨模态语义对齐避免了传统方法中的性能损失,同时提高了模型在下游多模态任务中的泛化能力和适用性。

LanguageBind 框架的另一个优点是其扩展性。由于直接使用语言作为核心对齐模态,当引入新的模态时,无需重构整个对齐机制,只需通过相同的对比学习过程,将新模态的数据映射到已经建立的语言导向嵌入空间。这使得 LanguageBind 不仅适用于现有的模态,也能轻松适应未来可能出现的新模态,为多模态预训练技术的发展奠定了坚实基础。

数据集介绍

在跨模态预训练领域,数据集的构建及其质量对于预训练模型的性能与应用效能具有决定性影响。传统的多模态数据集大多局限于二模态或三模态的配对数据,这种限制导致了对更丰富模态对齐数据集的需求。

因而,该团队开发了 VIDAL-10M 数据集,这是一个创新的五模态数据集,包含了视频 - 语言(VL)、红外 - 语言(IL)、深度 - 语言(DL)、音频 - 语言(AL)等数据对。每个数据对都经过了精心的质量筛选,旨在为跨模态预训练领域提供一个高品质、高完整性的训练基础。

图片

                                VIDAL-10M 数据集示例

VIDAL-10M 数据集的构建主要包括三步:

  1. 视觉相关搜索词库构建。设计一种创新的搜索词获取策略,该策略综合利用了各类视觉任务数据集中的文本信息,如标签和标题,以构建一个丰富视觉概念且多样化的视频数据集,从而增强了数据多样性和覆盖度。
  2. 视频和音频数据的收集、清洗与筛选:在数据的收集过程中,该研究采取了基于文本、视觉和音频内容的多种过滤机制,这些机制确保收集到的视频和音频数据与搜索词高度相关,并且满足高标准的质量要求。这一步骤是确保数据集质量的关键环节,它直接影响模型训练的效果和后续任务的性能。
  3. 红外、深度模态数据生成与多视角文本增强。此阶段,利用多种先进的生成模型技术合成了红外和深度模态数据,并对文本内容进行了多角度的生成和增强。多视角文本增强包括了标题、标签、关键帧描述、视频概要等多个维度,它为视频内容提供了全面且细致的描述,增强了数据的语义丰富性和描述的细粒度。

图片

                                VIDAL-10M 数据集的构建过程

实验

LanguageBind 框架被应用于多个模态的零样本分类任务,并与其他模型进行了性能比较。实验结果显示,LanguageBind 方法在包括视频、音频、深度图像、热成像等多模态数据上的 15 个零样本分类与检索任务中均展示了显著的性能提升。这些实验成果强调了 LanguageBind 方法在理解和处理不同模态数据中的潜在能力,尤其是在没有先前样本可供学习的情况下。为了更深入地了解 LanguageBind 方法的性能,可以参照以下详细的实验结果。

表 2 显示,LanguageBind 的性能在 MSR-VTT 上超过 VideoCoca 和 OmniVL ,尽管仅使用 300 万个视频 - 文本对。

图片

在两个经典数据集 MSR-VTT 和 MSVD 上进行的零样本视频 - 文本检索实验结果如表 3 所示:

图片

该研究还将本文模型与 SOTA 多模态预训练模型 OpenCLIP、ImageBind 在多模态理解任务上进行了比较,结果如表 4 所示:

图片

表 5 比较了在 Clotho 数据集和 Audiocaps 数据集上的零样本文本 - 音频检索性能:

图片

工程LanguageBind多模态对齐框架
相关数据
感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

重构技术

代码重构(英语:Code refactoring)指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。 软件重构需要借助工具完成,重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中,重构需要单元测试来支持。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

多模态学习技术

现实世界中的信息通常以不同的模态出现。例如,图像通常与标签和文本解释联系在一起;文本包含图像以便更清楚地表达文章的主要思想。不同的模态由迥异的统计特性刻画。例如,图像通常表示为特征提取器的像素强度或输出,而文本则表示为离散的词向量。由于不同信息资源的统计特性不同,发现不同模态之间的关系是非常重要的。多模态学习是一个很好的模型,可以用来表示不同模态的联合表示。多模态学习模型也能在观察到的情况下填补缺失的模态。多模态学习模型中,每个模态对应结合了两个深度玻尔兹曼机(deep boltzmann machines).另外一个隐藏层被放置在两个玻尔兹曼机上层,以给出联合表示。

文本检索技术

文本检索(Text Retrieval)与图象检索、声音检索、图片检索等都是信息检索的一部分,是指根据文本内容,如关键字、语意等对文本集合进行检索、分类、过滤等。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

腾讯机构

腾讯,1998年11月诞生于中国深圳,是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念,为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”,我们长期致力于社交平台与数字内容两大核心业务:一方面通过微信与QQ等社交平台,实现人与人、服务及设备的智慧连接;另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展,通过普及移动支付等技术能力,为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
Audi机构

奥迪是一间德国跨国豪华汽车制造商,主要从事豪华和高性能汽车制造业。总部位于德国巴伐利亚州的英戈尔施塔特。是大众集团的成员。奥迪与德国品牌宝马和梅赛德斯-奔驰一起,是世界上最畅销的豪华汽车品牌之一。

http://www.audi.com/
北京大学机构

北京大学创办于1898年,初名京师大学堂,是中国第一所国立综合性大学,也是当时中国最高教育行政机关。辛亥革命后,于1912年改为现名。2000年4月3日,北京大学与原北京医科大学合并,组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校,创建于1912年10月26日。20世纪三、四十年代,学校一度名为北平大学医学院,并于1946年7月并入北京大学。1952年在全国高校院系调整中,北京大学医学院脱离北京大学,独立为北京医学院。1985年更名为北京医科大学,1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构,为促进医学与人文社会科学及理科的结合,改革医学教育奠定了基础。

官网,http://www.pku.edu.cn/
推荐文章
暂无评论
暂无评论~