2023/02/09 11:00

禁止大型语言模型胡编乱造，给点外部知识，推理靠谱的很

该研究提出的 RR（Rethinking with Retrieval）方法不需要额外的训练或微调，也不受大型语言模型（LLM）输入长度限制，在常识推理、时间推理和表格推理任务中显著提高了 LLM 性能。

大型语言模型 (LLM) 已通过 In-context Learning 在各种复杂任务上展现出卓越的性能，并且无需针对特定任务进行训练或微调，近期 prompt 和解码方面取得的进展也使 LLM 解决复杂推理任务变成了现实。

然而，LLM 可能会存储过时、不全面或不正确的知识，要将 LLM 成功部署到实际应用中，外部知识来源（例如维基百科）至关重要。此前，人们尝试将知识用于较小的语言模型 (LM)，例如 T5、BERT 和 RoBERTa，但这些方法通常需要额外的训练或微调，成本高昂，对于 LLM 来说完全不切实际。

基于此，来自罗彻斯特大学、腾讯 AI Lab 和宾夕法尼亚大学的研究者联合提出了一种称为 Rethinking with Retrieval (RR) 的后处理方法，以在 LLM 中利用外部知识。

论文地址：https://arxiv.org/pdf/2301.00303v1.pdf

该研究的思路是首先使用思维链 (chain-of-thought，CoT) prompting 方法生成一组不同的推理路径，类似于 Wang et al. (2022) 的方法。然后该研究使用这些路径中的每个推理步骤来检索相关的外部知识，让 RR 方法可以提供更合理的解释和更准确的预测。

该研究使用 GPT-3 175B 和几种常见的外部知识源（维基百科、维基数据、WordNet 和 Conceptnet）来评估 RR 方法在三个复杂推理任务上的有效性，包括常识推理、时序推理和表格推理。实验结果表明，无需额外的训练或微调，RR 在这三项任务上始终优于其他方法，这表明 RR 方法在利用外部知识来提高 LLM 性能方面具有很大优势。

利用检索进行重新思考

实际上，尽管 LLM 已准确捕捉了回答问题所需的要素，但这些模型有时还是会生成错误的结果。这种现象说明 LLM 存储和检索知识的方式存在一些问题，包括：

预训练语料库中存在过时、不正确或缺失的相关知识；
预训练时对相关知识的存储有误；
推理阶段对相关知识的错误检索。

RR 方法的大致思路如下：给定一个输入问题 Q，RR 方法先利用思维链（chain-of though）prompting 生成一组不同的推理路径 R_1、R_2、……、R_N，其中每个推理路径 R_i 由解释 E_i 和跟在其后的预测 P_i 组成，然后再从合适的知识库 KB 中检索相关知识 K_1、……、K_M 来支持每个推理路径中的解释，并选择最符合该知识的预测

。

思维链（CoT）prompting。与标准 prompting 明显不同，CoT prompting 包括在 prompting 中进行分步推理实例演示来生成一系列捕获推理过程的短句。

例如，给定输入问题：「亚里士多德使用笔记本电脑吗？」CoT prompting 旨在生成完整的推理路径：

CoT prompting 的推理过程为：「亚里士多德死于公元前 322 年。第一台笔记本电脑于 1980 年发明。因此，亚里士多德没有使用笔记本电脑。所以答案是 no。」而非简单地输出「No」。

对不同的推理路径采样。与 Wang et al. (2022) 相似，该研究对一组不同的推理路径 R_1、R_2、……、R_N 进行了采样，而不是像 Wei et al. (2022) 那样只考虑最优比例路径（greedy path）。对于「亚里士多德是否使用笔记本电脑？」这一问题，可能的推理路径如下：

(R_1) 亚里士多德死于 2000 年。第一台笔记本电脑发明于 1980 年。因此，亚里士多德使用过笔记本电脑。所以该问题的答案为是。

(R_2) 亚里士多德于公元前 322 年去世。第一台笔记本电脑发明于 2000 年。因此，亚里士多德没有使用过笔记本电脑。所以答案为否。

知识检索。不同的知识库可以用来处理不同的任务。例如，为了解决「亚里士多德使用笔记本电脑了吗？」这个问题，我们可以使用维基百科作为外部知识库 KB。信息检索技术可用于基于分解的推理步骤从维基百科中检索相关知识 K_1、……K_M。理想情况下，针对此问题我们可以从维基百科中获得以下两段内容：

(K_1) 亚里士多德（公元前 384 至公元前 322 年）是古希腊古典时期的希腊哲学家和博学大师

(K_2) 第一台笔记本电脑 Epson HX-20 于 1980 年发明……

忠实的推理。我们可以使用函数 f_KB（R_i）来估算每个推理路径 R_i 的置信度，该函数建立在从知识库 KB 检索的相关知识 K_1、……、K_M 基础之上。最终的预测可以通过运用以下推断过程来获得：

实验评估

本节中，该研究介绍了 RR 在三个复杂推理任务上的评估：常识推理、时序推理和表格推理。

实验设置。在所有实验中，除非另有说明，该研究都使用 GPT-3 text-davinci-002。实验完成期间生成的最大 token 数量被设置为 256，zero-shot、few-shot 以及 chain-of-thought prompting，温度参数（temperature）固定设置为 0。

结果。如表 1 所示，本文提出的方法 RR，在所有三个推理任务上始终优于所有基准，而无需额外的训练或微调。这些结果凸显出了 RR 在利用外部知识提高 LLM 表现方面的有效性。

该研究在 StrategyQA 数据集上展示了带有 CoT prompting 方法的关于 GPT-3 的分析。在仔细检查 GPT-3 的输出后，该研究观察到 RR 可以为许多问题提供合理的解释和正确的预测。例如，当给出「佐治亚州的奥尔巴尼会在纽约州的奥尔巴尼之前先达到十万名住户吗？」这个问题时，GPT-3 产生了以下输出：

总体来看对于问题的输出答案质量很高。然而，该研究也观察到 GPT-3 可能偶尔会为其解释提供不正确的事实支持，或为其预测做出不正确的推理，尽管它通常能够识别出合适的观点。

错误的支持事实。如表 2 所示，GPT-3 为 Lil Jon 在 Billboard 榜单中排名最高的歌曲提供了错误的事实支持，指出排名最高的歌曲是 Get Low 而非正确答案 Yeah。另外，GPT-3 还做出了错误的推理，即富士山的山顶不会高于日本海，而不是正确答案会高于。

更多技术细节请参阅原论文。

理论大模型

相关数据

信息检索技术

信息检索（IR）是基于用于查询检索信息的任务。流行的信息检索模型包括布尔模型、向量空间模型、概率模型和语言模型。信息检索最典型和最常见的应用是搜索引擎。

来源：机器之心

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

知识库技术

知识库是用于知识管理的一种特殊的数据库，以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家，它是求解问题所需领域知识的集合，包括基本事实、规则和其它有关信息。

来源：维基百科

语料库技术

语料库一词在语言学上意指大量的文本，通常经过整理，具有既定格式与标记；事实上，语料库英文 "text corpus" 的涵意即为"body of text"。

来源：维基百科

WordNet技术

WordNet是由普林斯顿大学心理学家、语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列，而是按照单词的意义组成一个“单词的网络”。

语言模型技术

语言模型经常使用在许多自然语言处理方面的应用，如语音识别，机器翻译，词性标注，句法分析和资讯检索。由于字词与句子都是任意组合的长度，因此在训练过的语言模型中会出现未曾出现的字串(资料稀疏的问题)，也使得在语料库中估算字串的机率变得很困难，这也是要使用近似的平滑n元语法(N-gram)模型之原因。

来源：维基百科

腾讯机构

腾讯，1998年11月诞生于中国深圳，是一家以互联网为基础的科技与文化公司。我们的使命是“通过互联网服务提升人类生活品质”。腾讯秉承着 “一切以用户价值为依归”的经营理念，为亿万网民提供优质的互联网综合服务。腾讯的战略目标是“连接一切”，我们长期致力于社交平台与数字内容两大核心业务：一方面通过微信与QQ等社交平台，实现人与人、服务及设备的智慧连接；另一方面为数以亿计的用户提供优质的新闻、视频、游戏、音乐、文学、动漫、影业等数字内容产品及相关服务。我们还积极推动金融科技的发展，通过普及移动支付等技术能力，为智慧交通、智慧零售、智慧城市等领域提供有力支持。

http://www.tencent.com/