Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

即插即用、无需训练:剑桥大学、腾讯AI Lab等提出免训练跨模态文本生成框架

来自剑桥大学、腾讯 AI Lab 等机构的研究者提出了一个全新的框架 MAGIC (iMAge-guided text GeneratIon with CLIP),MAGIC 通过直接插入可控图文匹配模型分数的方式,使得语言模型在解码过程中选择更接近图片信息的生成结果。


1. 导读

本文提出了一个全新的 MAGIC (iMAge-guided text GeneratIon with CLIP)框架。该框架可以使用图片模态的信息指导预训练语言模型完成一系列跨模态生成任务,例如 image captioning 和 visually grounded story generation。与其他方法不同的是,MAGIC 框架无需多模态训练数据,只需利用现成的语言模型(例如 GPT-2)和图文匹配模型(例如 CLIP)就能够以 zero-shot 的方式高质量地完成多模态生成任务。此外,不同于使用梯度更新生成模型 cache 的传统方法,MAGIC 框架无需梯度更新,因而具备更高效的推理效率。

图片

  • 论文:https://arxiv.org/abs/2205.02655

  • 代码:https://github.com/yxuansu/MAGIC


2. 研究背景以及目的

借助日益强大的预训练语言模型,我们已经可以根据文本前缀生成一段流利文本。当前,绝大多数工作的主要研究方向集中于利用文本模态的前缀来生成后续文本的方法。然而,如何有效利用其他模态的信息(例如图片)来指导预训练语言模型生成高质量的文本,仍然是一个待解决的难题。

目前,针对此类问题最常见的解决思路是在收集好的高质量多模态平行数据的基础上,训练多模态的模型来完成特定的跨模态任务。例如,我们可以在图文匹配的标注数据集上,通过监督学习的方法训练 image captioning 模型,从而根据输入图片生成对应的文本描述。

但是,该方法存在标注数据获取困难的弊端,并不适合所有应用场景。为了解决这一难题,许多研究者提出了一系列弱监督的方法。而这类方法也有其弊端,它们会受到不同多模态任务的特定限制。例如,在 image captioning 任务中,弱监督的方法需要使用特定的目标检测器,来收集图片内可识别目标的标签信息。然而,当图片中包含目标检测器无法识别的物体 (out-of-domain object) 时,弱监督方法的有效性就会大打折扣。

为了摆脱对目标检测器的依赖从而真正实现 zero-shot 跨模态文本生成,ZeroCap[1]提出在推理阶段通过梯度更新的方式修正生成语言模型内部的隐状态,从而使生成的文本描述和图片内容尽可能接近。但是,这一方法也有其弊端,通过多次迭代梯度更新来调整模型的内部隐状态,在当前预训练语言模型参数量越来越大的趋势下,其运行效率会变得越来越低,严重限制了该方法在实际场景中的应用。

本文提出了一个全新的 MAGIC 框架。MAGIC 通过直接插入可控的图文匹配模型分数的方式,使得语言模型在解码过程中选择更接近图片信息的生成结果。这样,语言模型可以在不经过任何跨模态训练的情况下,高质量地解决跨模态生成任务,得到明显优于弱监督模型的文本生成质量。同时,与 ZeroCap 相比,MAGIC 还拥有接近 27 倍的推理速度提升。

3. 研究方法

3.1 无监督语言建模

为了适应特定跨模态任务的文本领域,该研究预先使用了跨模态训练数据集中的文本数据,采取无监督的方式更新语言模型参数(仅需在 1 块 NVIDIA 1080Ti 上运行不到两个小时),从而使得语言模型更加熟悉该领域的文本分布。具体而言,本文使用 MLE 损失函数训练语言模型参数

图片

此外,SimCTG[2]的最新工作证明了通过引入对比损失来校准模型的语义空间,能够获得质量更高的语言模型。因此,本文也同时优化如下的对比损失:

图片

其中 图片是用来校准生成模型表示空间的 margin 参数图片用来计算 token 表示之间的余弦相似度。最终,本文将两个损失函数合并,以此来优化文本模态的 GPT-2 语言模型

图片

3.2 MAGIC Search

本文提出了 MAGIC Search 解码算法。MAGIC 使用视觉信息指导预训练语言模型的生成过程。具体而言,给定文本前缀 图片和图片图片,第 t 步的 token 选择公式如下:

图片


其中图片表示按照语言模型概率分布选择的 top-k 个候选 token。同时,该研究借鉴了 SimCTG 中 contrastive search 的思路,在 token 选择指标中引入了 model confidence 和 degeneration penalty 项来使得模型选择更合适的 token。上述公式中最重要的一项是将视觉控制信息引入到模型解码过程中的 magic score:

图片

其中图片是 CLIP 的 image encoder 产生的图片表示,图片是 CLIP 的 text encoder 产生的文本表示。图片参数用来调节视觉信息的控制力度。当其值为 0 时,语言模型的生成过程不再被视觉信息所影响,从而 magic search 退化为传统的 contrastive search。

4. 实验结论

4.1 Zero-shot Image Captioning

4.1.1 实验设置

本文在 MS-COCO 和 Flickr30k 数据集上进行了大量的实验,并选用以下的无监督 baseline 进行对比:

1.top-k sampling:不基于图片信息,用 top-k 解码方法使用语言模型来生成 caption
2.nucleus sampling:不基于图片信息,用 nucleus 解码方法使用语言模型生成 caption
3.contrastive search:不基于图片信息,用 contrastive search 解码方法使用语言模型来生成 caption
4.CLIPRe:使用 CLIP 模型从 MS-COCO 或 Flickr30k 的训练数据中检索文本数据
5.ZeroCap:在解码过程中,使用 CLIP 信息来指导语言模型梯度更新的方法

值得注意的是 top-k sampling, nucleus sampling 和 contrastive search 解码方法因为不基于图片信息,所以可看作是文本生成模型在跨模态任务上的性能下界。此外,本文还选取了一批监督和弱监督的方法来进行对比。

对于评价方法,本文采用 image captioning 中经典的评价指标:BLEU-1, BLEU-4,  METEOR, ROUGE-L, CIDEr 和 SPICE,同时也测试了不同模型的相对解码速率。

4.1.2 MS-COCO 和 Flickr30k 实验结果

图片

如上图所示,本文发现当忽视 captions 的信息,只使用语言模型进行生成时效果并不好(Top-k, Nucleus, Contrastive),这说明没有对应的图片信息,只依靠语言模型很难完成这个跨模态的任务。CLIPRe 方法效果虽然显著好于 Top-k 等纯文本解码方法,但仍然弱于当前 SOTA 无监督方法,ZeroCap,这是由 training set 和 test set 之间的数据差异所造成。这也证明了检索模型在该任务上效果弱于生成模型

本文 MAGIC 的生成结果显著优于 ZeroCap,展示了 MAGIC 框架的有效性。并且因为 MAGIC 完全不依赖于梯度更新,其解码速度比 ZeroCap 快接近 27 倍。

4.1.3. 跨领域实验结果

此外,本文还进行了跨领域实验以进一步测试 MAGIC 的泛化能力。具体而言,本文使用在源领域(例如 MS-COCO)上得到的无监督语言模型,在目标领域(例如 Flickr30k)的测试集上进行实验。本文在该实验中对比无监督解码方法和 CLIPRe。其中 CLIPRe 的检索数据集仅来自于源领域的训练集,实验结果如下:

图片

从表格中结果可以发现,MAGIC 远好于纯文本解码方法和 CLIPRe 强 baseline。

4.1.4. Case Study

该研究通过一些例子来定性的对比 baseline 和本文方法:

图片

这几个例子显示出 MAGIC 不仅能够生成非常流利的文本,同时其生成文本中的信息和图片模态的关联性也更强。例如图 (a) 中,MAGIC 可以准确的生成 “building”,但是 ZeroCap 却生成了“school bus” 这个无关的结果。此外,图 (d) 中,虽然 ZeroCap 生成了 “boatboard” 这一相关词汇,但其语句流利度低,并且存在语法错误。相比之下,MAGIC 生成的文本在通顺流畅的同时,也与图片显示的内容一致。

4.2 基于视觉的故事生成 

除了 image captioning 任务之外,该研究还将 MAGIC 框架拓展到了其他基于视觉的文本生成任务,例如基于视觉的故事生成(visually grounded story generation)。在该任务中,给一个图片和故事标题,模型的任务是生成一个流利有趣并且与图片内容及故事标题一致的故事。

4.2.1 实验设置

本文在 ROCStories 数据集上进行了实验,并选取以下的文本解码方式作为该研究的 baseline:(1) Greedy search;(2)Beam search;(3)Top-K sampling;(4)Nucleus sampling;(5)Typical sampling;和(6)Contrastive search。

为了达到给 ROCStories 数据集中每一个测试样例提供一个图片信息的目的,本文使用 CLIP 模型从公开的 ConceptCaption 数据集中检索和故事标题最相关的图片。

为了有效评价模型的效果,本文采用了以下几种评价指标:

1. 自动评价指标:本文采用之前文本生成研究中的一系列评价指标
a.n-gram 重复率 (rep-n)
b. 生成文本多样性 (div.)
c. 语义一致性(coh.):生成的故事和标题是否语义一致
d. 图文匹配相关性 (CLIPScore)
e.MAUVE 分数

2. 人工评价指标:为了更精准的反映生成故事的质量,五个专业的标注员从以下几个角度对生成故事的质量进行打分(1-5 分,1 分最差,5 分最好)
a. 相关性:生成的故事是否和标题有关
b. 流利度:生成的故事是否流利易懂
c. 信息量:生成的故事是否多样且有趣
d. 故事图片相关性:生成的故事是否和通过标题检索得到的图片语义一致

4.2.2 实验结果

图片

如上图所示,MAGIC 在大多数的指标上都达到了最佳的效果,明显优于其他方法。其中 rep-n, diversity 和 MAUVE 的最佳结果说明 MAGIC 生成的故事和人类文本更加接近。并且 MAGIC 在 coherence 和图文匹配一致性分数上显著优于其他的方法,说明 MAGIC 在综合利用了图片和文本标题的信息之后可以生成和标题信息更加相关的故事内容。人工评价的效果也显示 MAGIC 生成的故事在各个角度上均达到了最好的效果。

4.2.3 Case Study

图片

如上图所示,MAGIC 可以有效的生成和图片有关的信息。在第一个例子中,MAGIC 生成的故事包含了详细的冰淇凌的种类和味道,除了 orange 的结果稍有差异,其他的文本都完美符合图片中的描述。在第二个例子中,contrastive search 生成的结果和故事标题间相关度较差。与之相反,MAGIC 生成的内容和图片中的信息及主题高度相关,例如:(1)和朋友们在沙滩;(2)打沙滩排球;(3)比赛持续了两个小时;(4)朋友赢下了比赛。

参考文献:

[1] Tewel et al., ZeroCap: Zero-Shot Image-to-Text Generation for Visual-Semantic Arithmetic, arXiv 2022
[2] Su et al., A Contrastive Framework for Neural Text Generation, arXiv 2022
理论多模态学习
相关数据
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

概率分布技术

概率分布(probability distribution)或简称分布,是概率论的一个概念。广义地,它指称随机变量的概率性质--当我们说概率空间中的两个随机变量具有同样的分布(或同分布)时,我们是无法用概率来区别它们的。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

监督学习技术

监督式学习(Supervised learning),是机器学习中的一个方法,可以由标记好的训练集中学到或建立一个模式(函数 / learning model),并依此模式推测新的实例。训练集是由一系列的训练范例组成,每个训练范例则由输入对象(通常是向量)和预期输出所组成。函数的输出可以是一个连续的值(称为回归分析),或是预测一个分类标签(称作分类)。

模型选择技术

模型选择是从给定数据的一组候选模型中选择统计模型的任务。对于具有类似预测或解释力的候选模型,最简单的模型最有可能是最佳选择(奥卡姆剃刀)。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

腾讯机构

腾讯,1998年11月诞生于中国深圳,是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念,为亿万网民提供优质的互联网综合服务。 腾讯的战略目标是“连接一切”,我们长期致力于社交平台与数字内容两大核心业务:一方面通过微信与QQ等社交平台,实现人与人、服务及设备的智慧连接;另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展,通过普及移动支付等技术能力,为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/
相关技术
文本生成技术

文本生成是生成文本的任务,其目的是使人类书写文本难以区分。

GPT-2技术

GPT-2是OpenAI于2019年2月发布的基于 transformer 的大型语言模型,包含 15 亿参数、在一个 800 万网页数据集上训练而成。据介绍,该模型是对 GPT 模型的直接扩展,在超出 10 倍的数据量上进行训练,参数量也多出了 10 倍。在性能方面,该模型能够生产连贯的文本段落,在许多语言建模基准上取得了 SOTA 表现。而且该模型在没有任务特定训练的情况下,能够做到初步的阅读理解、机器翻译、问答和自动摘要。

目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

推荐文章
暂无评论
暂无评论~