北京大学与腾讯等机构的研究者们提出了多模态对齐框架 ——LanguageBind。该框架在视频、音频、文本、深度图和热图像等五种不同模态的下游任务中取得了卓越的性能,刷榜多项评估榜单,这标志着多模态学习领域向着「大一统」理念迈进了重要一步。
论文地址:https://arxiv.org/pdf/2310.01852.pdf GitHub 地址:https://github.com/PKU-YuanGroup/LanguageBind Huggingface 地址:https://huggingface.co/LanguageBind
视觉相关搜索词库构建。设计一种创新的搜索词获取策略,该策略综合利用了各类视觉任务数据集中的文本信息,如标签和标题,以构建一个丰富视觉概念且多样化的视频数据集,从而增强了数据多样性和覆盖度。 视频和音频数据的收集、清洗与筛选:在数据的收集过程中,该研究采取了基于文本、视觉和音频内容的多种过滤机制,这些机制确保收集到的视频和音频数据与搜索词高度相关,并且满足高标准的质量要求。这一步骤是确保数据集质量的关键环节,它直接影响模型训练的效果和后续任务的性能。 红外、深度模态数据生成与多视角文本增强。此阶段,利用多种先进的生成模型技术合成了红外和深度模态数据,并对文本内容进行了多角度的生成和增强。多视角文本增强包括了标题、标签、关键帧描述、视频概要等多个维度,它为视频内容提供了全面且细致的描述,增强了数据的语义丰富性和描述的细粒度。