机器之心编辑部发布

端到端问答新突破:百度提出RocketQA,登顶MSMARCO榜首

开放域问答(Open-domain QA)一直是自然语言处理领域的重要研究课题。百度从面向端到端问答的检索模型出发,提出了RocketQA训练方法,大幅提升了对偶式检索模型的效果,为实现端到端问答迈出了重要的一步。RocketQA已逐步应用在百度搜索、广告等核心业务中,并将在更多场景中发挥作用。

近日,百度提出了面向端到端问答的检索模型训练方法 RocketQA,该方法针对模型训练中存在的问题,通过跨批次负采样(cross-batch negatives)、去噪的强负例采样(denoised hard negative sampling)与数据增强(data augmentation)等技术,大幅提升了对偶式检索模型的效果。RocketQA 不仅在多个问答相关数据集中取得了 SOTA,同时也刷新了微软 MSMARCO 数据集段落排序任务的榜单,超越谷歌、微软、Facebook、阿里、美团、卡内基梅隆大学、清华大学、滑铁卢大学等企业和高校位居第一,为实现 “端到端问答” 迈出了重要的一步。
  • 论文名称 RocketQA: An Optimized Training Approach to Dense Passage Retrieval for Open-Domain Question Answering

  • 论文地址:https://arxiv.org/abs/2010.08191

一、开放域问答系统

开放域问答(Open-domain QA)是自然语言处理领域的重要研究课题。它的任务是,基于用户用自然语言提出的问题,从海量候选文本中快速、精准地找出答案。开放领域问答在智能搜索、智能助手、智能客服等多个场景下,都发挥着重要作用。特别是近些年,随着各种智能手机、智能音箱的普及,智能搜索快速进化,通过开放域问答系统直接给出唯一的精准答案(如图 1 所示),可以帮助用户在这些小屏和无屏设备上更快速、准确的获取有用信息。

图 1:百度搜索的 TOP1 结果:将问题的答案展现在搜索结果的首位,提升用户体验。

传统的开放域问答主要采用级联的检索式问答系统,包含了段落检索、段落排序、答案定位等多个步骤。随着近些年预训练语言模型的发展,研究人员开始探索基于深度语义表示的对偶式检索模型(dual-encoder),希望其能够替代传统的检索式问答系统中级联的检索和排序等模块,与基于机器阅读理解模型的答案定位一起实现“端到端问答”。

不同于传统的级联式问答系统,“端到端问答”摒弃了传统系统中繁杂的构件,系统复杂性大大降低,并且其中每个模块(段落检索和答案定位)都是可学习的,这样的设计能够让整个系统实现端到端训练。这意味着问答系统可以基于用户实时的反馈实现在线训练,而不是只在封闭的数据集上闭门造车。这是智能问答技术的发展趋势,可能会引发问答系统的新一代技术变革

基于此,百度从面向端到端问答的检索模型出发,针对对偶式检索模型训练中存在的问题,提出了 RocketQA 训练方法,并基于百度自研的预训练模型ERNIE进行训练,大幅提升了对偶式检索模型的效果,为实现端到端问答迈出了重要的一步。

图 2 基于稠密向量表示的对偶模型

二、RocketQA:一种对偶式检索模型增强训练方法

不同于传统的检索模型使用基于关键词的稀疏表示对问题和候选段落进行建模,基于深度语义表示的对偶式检索模型(如图 2 所示)通过两个对称的网络分别对问题和候选段落进行编码并计算语义相似度。这样能够利用强大的网络结构进行更深层次的学习,同时基于预训练语言模型,使语义理解更加丰富。在过去的工作中,对偶模型大多采用批次内负采样 (in-batch negatives) 的方式进行训练,将批次内其他问题的正确答案作为当前问题的错误答案(负例),从而减少重复计算和提高训练效率。然而,由于检索场景不同于常见的分类问题,对偶式检索模型的训练仍然存在如下的挑战:

训练场景和预测场景中样本数量存在较大差异

在开放域问答的应用场景中,模型需要从大规模的候选集合中找出问题的答案。但是按照批次内负采样的方法训练时,每个问题的候选段落个数与批次大小相同。受到单 GPU 显存大小的限制,训练过程中见到的候选段落远小于预测时的候选段落,从而导致模型即使在训练时表现良好,在实际应用当中却差强人意。

数据集中存在大量漏标注的正确答案

开放域问答场景下候选段落的数量往往非常大,标注出问题的全部正确答案几乎是不可能的。在 MSMARCO 数据集中,候选段落的总数为 880 万,但每个问题平均只标注了 1.1 个正确答案。研究人员发现,在使用对偶模型检索出的首条结果中,70% 的错误结果其实是漏标的正确答案。这种情况下,构造训练数据中的强负例时很容易引入假负例(false negative),给模型训练带来负面影响。

相对于开放域全集,人工标注训练数据的规模小、成本大

尽管目前已有较多大规模的问答数据集,但是相较于开放域的用户问题来说,仍然是冰山一角。有限的标注数据集无法覆盖到全面的领域和类型,导致模型泛化性差。想要增大标注数据的规模和质量,需要很高的人工成本。

因此百度提出了一种对偶式检索模型的增强训练方法 RocketQA,通过跨批次负采样、去噪的强负例采样与数据增强三项技术,解决上述挑战。接下来将对这三个技术进行详细的介绍。

2.1 跨批次负采样(cross-batch negatives)

采用传统的批次内负采样方法训练时,每个问题的候选段落个数与批次大小相同。为了进一步增加训练过程中候选段落的数量,百度提出了跨批次负采样方法(如图 3 所示)。该方法能够在使用多 GPU 并行训练时,将其它 GPU 批次内的全部段落作为当前问题的负样本。这样可以直接复用各个 GPU 上已经计算好的段落表示,不额外增加计算量;同时基于飞桨分布式训练扩展工具包 FleetX 的 all-gather 算子实现,只需要使用很少的通信量和内存开销,就达到了增加每个问题候选段落的目的。随着 GPU 个数的增加,每个问题的候选段落个数线性增加,训练场景中的任务难度也更加接近真实场景。百度在 MSMARCO 数据集上进行了实验,在使用跨批次负采样后,随着训练时候选段落数量增加,模型的效果稳步提升(如图 4 所示)。

图 3 批次内负采样(上)和跨批次负采样(下)的对比

图 4 MSMARCO 数据集中,训练阶段候选段落的个数对模型效果的影响

2.2 去噪的强负例采样(denoised hard negative sampling)

在对偶模型的训练中,适当增加训练数据中的强负例的难度,有助于提升模型效果。一般的做法是,从一个排序的候选段落中进行采样,越靠前的负例对模型来说难度越大。但是由于难以避免的漏标注情况,直接采样很大概率会引入假负例。为了解决这一问题,百度使用交互模型(cross-encoder)的打分作为监督信息进行去噪。在选择强负例时,避开交互模型给出高置信度的样例。相较于对偶模型,交互模型具有结构上的优势,能够编码更多的交互信息,从而给出可靠的监督信号,帮助对偶模型选取更可靠的强负例。如表 1 的第三行和第四行所示,去噪的强负例采样可以显著提升模型效果。

2.3 数据增强(data augmentation)

交互模型可以过滤强负例中的噪声,也可以用来选取未标注的正确答案。因此,当引入大量无标注的问题时,便可以利用交互模型以极低的成本得到大量弱监督数据,进一步增强对偶模型的能力。在 MSMARCO 数据集的实验中,百度引入了 Yahoo!Answers 和 ORCAS 数据集中的 150 万未标注问题,用交互模型在对偶模型检索出的候选段落上进行打分,并根据置信度选取正负样本。如表 1 第四行和第五行所示,通过这种方式,对偶模型的效果得到进一步提升。

表 1 MSMARCO 数据集中,去噪的强负例采样与数据增强策略对模型效果的影响

2.4 训练流程和实验结果

上述三项技术是层层递进的关系,将它们整合成一套完整的训练方法,类比多级火箭,称之为 RocketQA,其完整实现流程如图 5 所示。在实现中,使用了百度研发并开源的大规模英文预训练模型 ERNIE 初始化模型参数,然后使用标注数据进行微调。

图 5 RocketQA 训练流程

如表 2 所示,最终的实验结果表明,RocketQA 在微软 MSMARCO 和谷歌 Natural Question 数据集的效果均大幅超过了已经发表的最好的检索模型。同时,百度也在答案抽取任务上验证了 RocketQA 检索结果的有效性。如表 3 所示,在 RocketQA 做检索的基础上,使用训练好的阅读理解模型,百度在 Natural Questions 的答案抽取任务上取得了 42.0 的 EM 值,超过了已有的相关工作,而这其中的增益来自检索效果的提升。

表 2 RocketQA 在微软 MSMARCO 和谷歌 Natural Questions 数据集上段落检索的效果

表 3 RocketQA 在 Natural Questions 数据集上做阅读理解任务的效果

三、RocketQA 在 MSMARCO 段落排序任务中夺得第一

MSMARCO(Microsoft Machine Reading Comprehension)是微软提出的大规模阅读理解数据集,包含约 100 万问题、880 万相关段落以及人工标注的问题答案。数据集的问题来自 Bing 搜索引擎的日志, 是真实搜索场景中用户提出的问题,段落来自 Bing 的搜索结果。基于 MSMARCO 数据集,微软举办了包括阅读理解、段落排序在内的多个问答相关任务的评测任务。由于数据集规模大、贴近真实场景,MSMARCO 的各项任务已经吸引了包括 Google、微软、Facebook、阿里巴巴等知名企业,以及清华、CMU 等国内外著名高校的参与。如图 6 所示,百度基于 RocketQA 检索模型的结果进一步训练了段落重排序模型,在 MSMARCO 的段落排序(Passage Ranking)任务中排名第一,超越了谷歌、微软、Facebook、阿里、美团、卡内基梅隆大学、清华大学、滑铁卢大学等企业和高校。

图 6 微软 MSMARCO Passage Ranking 数据集 leaderboard 截图

四、飞桨分布式训练加持 RocketQA

飞桨框架通过持续迭代升级,在分布式训练方面真正做到了从产业实践中来,回到开源社区和产业实践中去。在飞桨框架最新版本中,分布式训练继承了之前版本高性能、高扩展的能力,在易用性方面进行了精心的优化。

paddle.distributed.fleet 是飞桨框架 2.0 新 API 体系下通用分布式训练 API,千亿规模稀疏参数服务器和大规模 GPU 多机多卡训练都可以通过几行代码轻松配置完成。DistributedStrategy 作为用户配置并行策略的统一入口,支持大规模异步训练、自动混合精度、深度梯度压缩、重计算、梯度累计、计算算子自动融合、通信梯度智能融合以及自动并行等功能,极大的满足了研究人员日常训练的加速需求。飞桨框架的最新版本同时也开放了能够面向高级编程用户的分布式底层通信接口 paddle.distrbuted,使用户能够自主构建诸如自动并行、模型并行等高级并行训练功能。目前,飞桨大规模分布式训练已经在百度日常业务中进行过深入锤炼,并每天都在根据业务的痛点进行改进和优化。

RocketQA 的实现完全基于飞桨深度学习框架,特别在研发算法的过程中飞桨的高性能并行训练助力了各种想法的快速尝试。研究人员在使用飞桨官方提供的 paddle.distributed.fleet 进行训练的同时,也采用了飞桨分布式训练扩展工具 FleetX。FleetX 作为飞桨框架分布式训练扩展工具,提供数据分片并发下载,快速定义模型,快速提交集群任务等功能,极大的提升了研发人员的使用效率。RocketQA 采用 paddle.distributed.fleet API 提供的经典数据并行训练方案,并采用自动混合精度、算子融合进行纵向扩展性的提升,同时采用梯度融合,计算与通信自动并发等策略提升横向的扩展性,从而大幅度提升实验效率。

为了实现 RocketQA 的跨批次负采样,对单卡能够见到的负样本规模有较大的需求,研究人员使用了飞桨 paddle.distributed 提供的底层集合通信操作 all-gather 算子,将数据并行训练中各块卡的隐层向量进行汇总,扩大单卡可以见到的负例数量达到 GPU 卡数倍;为了进一步增加每块卡可以见到的全局负例样本,研究人员还使用了重计算(recompute)策略,该策略以 20% 左右的计算开销将整个模型的训练使用的显存占用从 O(N)降低到 O(LogN),在该模型中使用 Recompute 使训练数据批次大小提升 5 倍以上,对训练计算图的改写结果如图 7 所示。这样,跨批次负采样方法与传统的纯数据并行方法相比,实现了负例数量 5 x GPU 卡数的倍数增长,从而加快了收敛速度和收敛效果。

图 7 Multi-Head Self Attention 利用重计算后的计算图

五、总结

百度提出的 RocketQA 训练方法,通过对经典对偶模型进行优化训练,显著提升了模型的检索能力,为实现端到端问答迈出了重要一步。目前,RocketQA 已逐步应用在百度搜索、广告等核心业务中,并将在更多场景中发挥作用。

理论百度端到端问答
相关数据
清华大学机构

清华大学(Tsinghua University),简称“清华”,由中华人民共和国教育部直属,中央直管副部级建制,位列“211工程”、“985工程”、“世界一流大学和一流学科”,入选“基础学科拔尖学生培养试验计划”、“高等学校创新能力提升计划”、“高等学校学科创新引智计划”,为九校联盟、中国大学校长联谊会、东亚研究型大学协会、亚洲大学联盟、环太平洋大学联盟、清华—剑桥—MIT低碳大学联盟成员,被誉为“红色工程师的摇篮”。 清华大学的前身清华学堂始建于1911年,因水木清华而得名,是清政府设立的留美预备学校,其建校的资金源于1908年美国退还的部分庚子赔款。1912年更名为清华学校。1928年更名为国立清华大学。1937年抗日战争全面爆发后南迁长沙,与北京大学、南开大学组建国立长沙临时大学,1938年迁至昆明改名为国立西南联合大学。1946年迁回清华园。1949年中华人民共和国成立,清华大学进入了新的发展阶段。1952年全国高等学校院系调整后成为多科性工业大学。1978年以来逐步恢复和发展为综合性的研究型大学。

相关技术
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

分类问题技术

分类问题是数据挖掘处理的一个重要组成部分,在机器学习领域,分类问题通常被认为属于监督式学习(supervised learning),也就是说,分类问题的目标是根据已知样本的某些特征,判断一个新的样本属于哪种已知的样本类。根据类别的数量还可以进一步将分类问题划分为二元分类(binary classification)和多元分类(multiclass classification)。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

问答系统技术

问答系统是未来自然语言处理的明日之星。问答系统外部的行为上来看,其与目前主流资讯检索技术有两点不同:首先是查询方式为完整而口语化的问句,再来则是其回传的为高精准度网页结果或明确的答案字串。以Ask Jeeves为例,使用者不需要思考该使用什么样的问法才能够得到理想的答案,只需要用口语化的方式直接提问如“请问谁是美国总统?”即可。而系统在了解使用者问句后,会非常清楚地回答“奥巴马是美国总统”。面对这种系统,使用者不需要费心去一一检视搜索引擎回传的网页,对于资讯检索的效率与资讯的普及都有很大帮助。从系统内部来看,问答系统使用了大量有别于传统资讯检索系统自然语言处理技术,如自然语言剖析(Natural Language Parsing)、问题分类(Question Classification)、专名辨识(Named Entity Recognition)等等。少数系统甚至会使用复杂的逻辑推理机制,来区隔出需要推理机制才能够区隔出来的答案。在系统所使用的资料上,除了传统资讯检索会使用到的资料外(如字典),问答系统还会使用本体论等语义资料,或者利用网页来增加资料的丰富性。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。由于字词与句子都是任意组合的长度,因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题),也使得在语料库中估算字串的机率变得很困难,这也是要使用近似的平滑n元语法(N-gram)模型之原因。

百度机构

百度是全球最大的中文搜索引擎,是一家互联网综合信息服务公司,更是全球领先的人工智能平台型公司。2000年1月1日创立于中关村,公司创始人李彦宏拥有“超链分析”技术专利,也使中国成为美国、俄罗斯、和韩国之外,全球仅有的4个拥有搜索引擎核心技术的国家之一。

https://www.baidu.com/
推荐文章
暂无评论
暂无评论~