孙月晴作者朱文轩本期编辑丁 效 本期责任编辑

融合外部知识的常识问答

1.摘要

本文介绍常识问答任务,主要关注融合外部知识的常识问答模型。首先介绍几个常识问答的基准评测数据集,然后总结了一些在常识推理中常用的结构化和非结构化知识库,最后根据知识的融合方式介绍了三类融合外部知识的常识问答模型:使用预训练融合常识知识、使用关系网络融合常识知识和使用神经网络融合外部知识。

2.正文

当人类回答一个问题时,我们经常会不自觉地利用关于空间关系、因果关系、科学事实和社会习俗等常识和背景知识。例如,如果问“当李明听到割草机的声音时,他最有可能位于哪里?”,我们可以推断出割草机离李明很近,李明很有可能在街道旁行走。这种类型的知识对人类来说似乎微不足道,但是这超出了当前的自然语言理解(NLU)系统的能力范围。为了让机器也具有常识推理能力,很多学者在解决需要常识的问答任务时都引入了外部知识,既期望模型能够利用外部知识作出正确的判断,也期望模型能够给出使用到的显式的、可解释的证据。引入的外部知识可以是结构化的知识图谱(如ConceptNet),也可以是非结构化的文本语料(如Wikipedia)。接下来我们分为三部分,首先介绍几个常识问答数据集评测基准,然后介绍在常识推理中常用的结构化和非结构化知识库,最后根据知识融合的方式介绍近几年提出的融合外部知识的常识问答模型。

2.1常识问答数据集

当前大多数问答模型主要关注的问题类型是事实类问题(factoid questions),这种类型的问题答案往往能直接在原文中找到,然而如何基于常识和背景知识进行推理以获得答案仍旧是一个巨大的挑战。数据集 CommonsenseQA[1]、CosmosQA[2]等相继被提出便是为了促进该方向的发展。

(1) CommonsenseQA

CommonsenseQA数据集由以色列特拉维夫大学构建,是一个多项选择题的常识问答数据集,它需要不同类型的常识知识来预测正确的答案,是极具有挑战性的数据集。为了确保使用常识知识来回答问题,每个问题都包含来自ConceptNet的一个实体,每个问题对应一个正确答案和四个干扰答案。利用像ConceptNet这样的大型常识知识图,不仅可以确保问题直接针对常识关系,而且可以确保问题所需的常识知识领域在日常使用中相当全面。数据集共12102个问题(训练集/验证集/测试集:9741/1221/1140),数据格式如图1所示。

图1 CommonsenseQA示例(问句中绿色粗体是source concept;答案中的蓝色字体是从ConceptNet中采样的target concepts,其中有一个正确答案,红色和紫色字体分别是从ConceptNet中采样的和人工编写的干扰concept)(2) CosmosQA

CosmosQA数据集包含35600个需要常识阅读理解的问题,大约94%的问题需要常识,这是所有需要理解段落的QA基准中所见比例最高的。其专注于解决需要跨越上下文、而不是定位指定片段的推理问题。其主要特点为:

  • 上下文段落中的任何地方都没有明确提到正确的答案,因此需要通过常识推断在各行之间进行阅读
  • 选择正确的答案需要阅读上下文段落

图2给出了数据集中的一个例子:

图2 CosmosQA示例(3) PIQA

PIQA[3]专注于日常生活中的物理常识,偏爱非典型的解决方案。图3展示了PIQA的示例。PIQA 数据集由 16,000 多个训练的QA对组成,另外分别提供了约2K和3K进行开发和测试。目的长度平均为7.8个单词,正确和不正确的解决方案平均长度为21.3个单词,正确和不正确解决方案所使用的单词之间至少有85%的重叠。通过对名词、动词、形容词、副词出现的词频统计,验证了数据集确实是和物理现象强相关的。比如,出现词频最高的形容词中包括状态(干燥的、干净的、烫的)、形状(小的、锋利的、平坦的)、形式(快速的、仔细的),这些属性通常决定了解决方案的正确与否。

图3 PIQA数据集示例(左边的问答更侧重于物体的属性,右边的问答从技术角度而言都是对的,但是侧重于更方便可取)(4)SOCIAL IQA

Social IQA[4]是第一个面向社交情况常识推理的大规模基准,包含38000个覆盖日常情形中社交情感和智慧的多选问题,涵盖了关于在情境中描述人们的行为的各种类型的推断,对于基于预训练语言模型的现有问答模型具有挑战性。值得注意的是,SOCIAL IQA也可以作为常识知识迁移学习的资源,在多个常识推理任务(Winograd Schemas,COPA)上达到了最好的结果。数据集示例如图4所示。

图4 SOCIAL IQA数据集示例(5) OpenBookQA

OpenBookQA[5]数据集解决了先前QA数据集的一些缺点,较早的数据集通常不需要外部知识或推理即可解决,而确实需要外部知识的领域又很难捕获。OpenBookQA包含大约6,000个多项选择的问题,需要结合科学事实或常识知识来回答,如图5中的示例。OpenBookQA提供了约1300个科学事实的“open book”,每个事实都与问题直接相关,作者希望可以使用外部资源来支持回答问题。

图5 OpenBookQA数据集示例2.2外部知识库

(1) ConceptNet

ConceptNet[6]是一个已成功应用于NLI系统中的常识知识库。最早源于MIT媒体实验室的Open Mind Common Sense(OMCS)项目,OMCS项目是由著名AI专家Marvin Minsky于1999年创立,该项目从在线用户那里收集了free text的常识知识。这个语义网络最初包含超过160万条常识知识,这些知识表示为300,000个实体节点之间的链接,但是后续版本对其进行了扩展并添加了更多功能。最新版本的ConceptNet 5.5包含800万个节点之间的2100万个链接,并增加了Cyc,WordNet和DBpedia等其他资源,它包括来自多语言资源的知识,以及来自其他知识图谱的知识的链接。与Cyc相比,ConceptNet采用了非形式化、更加接近自然语言的描述;与链接数据和谷歌知识图谱相比,ConceptNet比较侧重于词与词之间的关系。与WordNet相比,包含的关系类型多。ConceptNet完全免费开放,并支持多种语言。

图6 ConceptNet示例(2) ATOMIC

ATOMIC[7]是一个包含87万条推理常识的知识图谱,包含870k条推理常识,相较于常见的基于本体论分类条目的知识图谱,该知识库专注于“if...then...”关系的知识。作者提出了9种类型的因果联系来区分原因-效果、主体-主题、自愿-非自愿、行动-心理状态。例如:事件“x防御了y的攻击”,我们能够马上推理出 x的动机是“保护自己”、 x这么做的先决条件是接受了一定的防身技巧、 x可能的特点是强壮勇敢。事件的结果可能是:x会感觉生气并报警、 y可能会觉得害怕并想要逃走。通过生成式训练,作者发现神经网络模型可以从该图谱中获取简单的常识推理能力。

图7 ATOMIC示例(3) GenericsKB

GenericsKB[8]是AI2提出的包含340万个通用句子的大型非结构化知识库,通用句子是指表达一般事实的语句,例如“Dogs bark”和“Trees remove carbon dioxide from the atmosphere”。这是第一个包含天然存在的通用句子的大型资源库,而不是抽取或众包的三元组,因此富含高质量、一般性、语义完整的陈述。GenericsKB主要从三个大型文本源中提取:Waterloo语料库、Simple Wikipedia和ARC语料库。其中的所有句子均带有主题词,上下文句子和学习到的置信度评分。GenericsKB-Best中还提供了一个经过过滤的高质量子集,其中包含1,020,868个句子。

图8 GenericsKB示例(4) Wikipedia

任何自然语言的文字甚至网页都可以视为非结构化知识的来源。Wikipedia就是一个常用的大型非结构化知识库,Wikipedia语料库包含有关各种领域的440万篇文章,并且都是人工编纂的。由Wikipedia延伸出的一个知识库是WikiData[9],WikiData的目标是构建一个免费开放、多语言、任何人或机器都可以编辑修改的大规模链接知识库。WikiData由维基百科的组织者于2012年启动,继承了Wikipedia的众包协作的机制,但与Wikipedia不同,WikiData支持的是以三元组为基础的知识条目(Items)的自由编辑。一个三元组代表一个关于该条目的陈述(Statements)。例如可以给“地球”的条目增加“<地球,地表面积是,五亿平方公里>”的三元组陈述。

2.3融合外部知识的常识问答模型

我们按照知识的融合方式将模型分为使用预训练融合常识知识、使用关系网络融合常识知识和使用神经网络融合外部知识三种类型。

(1)使用预训练融合常识知识

预训练语言模型,如BERT、GPT等,在很多任务上都取得了很好的效果,但很少明确地包含常识知识。最近的研究表明,只需在大型预训练模型上融合常识知识进行继续训练或者微调就能达到一个很好的效果。

如Ye等人[10]提出了一种将常识知识整合到语言模型中的预训练方法,使用align、mask、select(AMS)方法,自动构造了一个常识相关的多项选择问答数据集,用于预训练神经语言表示模型。AMS方法如下:

  • 首先,从ConceptNet中挑选一些三元组:非英文去掉;调整RelateA和IsA关系三元组到正常比例,因为在ConceptNet中这两种关系占比较高;三元组中,至少有一个实体包含四个单词以上,或者两个实体之间的编辑距离少于4;
  • 然后基于每个三元组中的两个实体词去Wikipedia中搜索包含这两个词的句子;(align)
  • 在该句子中,使用[QW]遮掩两个实体中的一个,构成question,mask的词为标注答案;(mask)
  • 基于三元组中的mask之外的词去ConceptNet搜索,找4个包含这两个词的三元组作为干扰。如果大于4个,随机选4个,反之过滤掉;(select)

举个实例:

表1 使用AMS构造数据的一个例子

为了节省时间和成本,作者使用bert-base/bert-large初始化参数,结果在当时的CommonsenseQA 、 Winograd Schema Challenge以及 GLUE任务的几个句子分类和推理任务上取得了sota。在显着改善常识相关的NLP任务的同时,也没有降低预训练模型的语言表示能力。

Wang等人[11]研究了将知识注入诸如BERT和RoBERTa之类的大型预训练模型中的问题。现有方法通常会在注入知识时更新预训练模型的原始参数。但是当注入多种知识时,它们可能会遭受灾难性的遗忘。为了解决这个问题,作者提出了K-ADAPTER,它保持了固定的预训练模型的原始参数,并支持持续的知识注入。以RoBERTa为预训练模型,K-ADAPTER具有用于每种注入知识的神经适配器(adapter),就像是连接到RoBERTa的插件,如图6所示。

图9 K-ADAPTER模型架构图在不同的适配器之间没有信息流,因此以分布式方式有效地训练了不同的适配器。模型注入了两种知识,包括从Wikipedia和Wikidata上自动对齐的文本三元组获得的基础知识,以及从依存分析获得的语言知识。通过三个知识驱动型任务(总共六个数据集)的实验结果(包括关系分类,实体类型和问题回答)表明,每个适配器都可以提高性能,并且两个适配器的组合都可以带来进一步的改进。探索性实验进一步表明K-ADAPTER比RoBERTa捕获了更丰富的事实和常识知识,在CosmosQA上的表现与Multi-task 的结果相比也有明显的提升。

这里对比一下最近提出的一系列将知识融入预训练模型的方法,如表2所示:

表2 将知识融入预训练模型的方法对比

尽管大规模的预训练语言模型取得了成功,但在经过微调的模型和人类表现之间仍然存在巨大的性能差距,而且这些模型不能提供可解释的证据,因为无法明确说明使用到了训练语料库中的哪些知识,只是隐式学习了这些知识。

(2)使用关系网络融合常识知识

图10 KagNet模型的内部结构图

图11 KagNet模型可解释的一个示例首先选择关注度最高的概念对,然后查看每个选定对的(一个或两个)排名最高的路径。以这种方式定位的路径与推理过程高度相关,并且建模时诸如“fountain”之类的嘈杂概念将减少。实验结果在当时的CommonsenseQA上取得了SOTA。

(3)使用神经网络融合常识知识

虽然关系网络可以建模多跳关系,在关系路径上应用注意力机制也能提供良好的可解释性,但是关系网络建模路径的可扩展性受节点数量和路径长度的限制,因为路径数量随节点的数量是多项式增加的,随路径长度是指数级增加的。相比之下,神经网络通过其消息传递机制享有更好的可伸缩性。

Lv等人[14]提出了一个融合异构知识源的基于神经网络的常识问答模型。作者从结构化知识基础(即ConceptNet)和Wikipedia纯文本中提取证据,并为这两个来源构造图以获取证据的关系结构,如图9和图10所示。

图12 从ConceptNet的证据中构建的Concept-Graph

图13 从Wikipedia证据中构建的Wiki-Graph

基于这些图,作者提出了一种基于图的推理方法,该方法由基于图的上下文词表示学习模块和基于图的推理模块组成,如图11所示。


图14 Lv等人提出的模型结构图第一个模块利用图结构信息来重新定义单词之间的距离,以学习更好的上下文单词表示。第二个模块采用图卷积网络将邻居信息编码为节点的表示形式,并通过图注意力机制汇总证据以预测最终答案。在CommonsenseQA数据集上的实验结果表明,在两种知识源上基于图的方法都可以改善基线模型,并且在CommonsenseQA数据集上达到了最高的准确性。

虽然神经网络有很好的可扩展性,但我们仍不想丢弃RN的路径可解释性,于是Feng等人[15]就提出了一种多跳图关系网络(MHGRN),所提出的推理模块统一了基于路径的推理方法和神经网络,实现了更好的可解释性和可伸缩性。MHGRN通过保留消息传递公式从图网络继承了可伸缩性,通过引入结构化关系注意机制对消息传递路径进行建模,从而保留了基于路径的模型的可解释性。模型结构如图12所示。

图15 MHGRN模型的结构图模型的主要动机是在单层内执行多跳消息传递,以允许每个节点直接参与其多跳邻居,也就是赋予GNN直接建模路径的能力,从而进行多跳关系推理。为此,MHGRN直接在所有长度不超过topK的关系路径上传递消息,其中K是一个超参数。最后在CommonsenseQA和OpenbookQA数据集上的实验结果表明了其有效性和可扩展性,图13是来自CommonsenseQA的可解释的两个示例。在左侧的示例中,模型将问题实体和答案实体链接在链中以支持推理,而右侧的示例模型利用未提及的实体来弥合问题实体和答案实体之间的推理差距。
图16 来自CommonsenseQA的两个可解释示例3.总结

本文依次介绍了常识问答任务基准评测数据集、常用的外部知识库以及使用不同方式融合外部知识的常识问答模型。尽管大规模的预训练语言模型取得了成功,但在经过微调的模型和人类表现之间仍然存在巨大的性能差距,而且这些模型不能提供可解释的证据;使用关系网络可以建模多跳关系,在关系路径上应用注意力机制也能提供良好的可解释性,但是关系网络建模路径的可扩展性受节点数量和路径长度的限制;神经网络通过其消息传递机制享有更好的可伸缩性,但其推理是在节点级进行,与建模路径级推理链不兼容;而将基于图的模型与基于路径的模型融合在一起,既能保持图的可扩展性,又能增加模型的透明度和可解释性。

对于未来工作,一方面,需要外部知识的常识推理任务的核心难点在于如何在外部知识库中快速检索相关的知识,并有效地、可解释地应用在模型中;另一方面,如何设计一个指标衡量常识推理模型的可解释性。AI2的VCR dataset给了一个比较简单有效的方案,在传统的多选题类型QA任务上加上一个对于正确选项的正确解释的选择题。如果我们要求模型在两个任务上都答对,则同时衡量了模型的正确性和可解释性[16]。但对于常识问答的可解释性似乎需要更复杂、合理的评价方式。

参考资料

[1]

Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant.  2019. Commonsenseqa: A question an-swering challenge targeting commonsense knowledge.   InProceedings of the 2019 Conference of the NorthAmerican Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pages 4149–4158.

[2]

Lifu Huang, Ronan Le Bras, Chandra Bhagavatula, and Yejin Choi.  2019.  Cosmos qa: Machine reading compre-hension with contextual commonsense reasoning. InProceedings of the 2019 Conference on Empirical Methodsin Natural Language Processing and the 9th International Joint Conference on Natural Language Processing(EMNLP-IJCNLP), pages 2391–2401.

[3]

Bisk, Y.;Zellers, R.; Le Bras, R.; Gao, J.; and Choi, Y. 2020.PIQA: Reasoning about Physical Commonsense in NaturalLanguage. InAAAI.

[4]

Sap, M.; Rashkin, H.; Chen, D.; Le Bras, R.; and Choi, Y.2019c.  Social IQA: Commonsense Reasoning about SocialInteractions. InProceedings of the 2019 Conference on Em-pirical Methods in Natural Language Processing and the 9thInternational  Joint Conference  on  Natural  Language  Pro-cessing (EMNLP-IJCNLP), 4453–4463.

[5]

Todor Mihaylov, Peter Clark, Tushar Khot, and Ashish Sabharwal.  2018.  Can a suit of armor conduct electricity?a new dataset for open book question answering. InProceedings of the 2018 Conference on Empirical Methodsin Natural Language Processing, pages 2381–2391.

[6]

Speer, R.; Chin, J.; and Havasi, C. 2017. Conceptnet 5.5: Anopen multilingual graph of general knowledge. In AAAI.

[7]

Maarten Sap, Ronan Le Bras, Emily Allaway, ChandraBhagavatula, Nicholas Lourie, Hannah Rashkin, Bren-dan Roof, Noah A Smith, and Yejin Choi.  Atomic:  anatlas of machine commonsense for if-then reasoning. InAAAI, volume 33, pages 3027–3035, 2019.

[8]

Sumithra Bhakthavatsalam, Chloe Anastasiades, and Peter Clark. 2020. Genericskb: A knowledge base of generic statements. arXiv preprintarXiv: 2005.00660.

[9]

WikiData官网:https://www.wikidata.org/wiki/Wikidata:Main_Page

[10]

Zhi-Xiu Ye, Qian Chen, Wen Wang, and Zhen-Hua Ling. Align, mask and select: A simple method for incorporating commonsense knowledge into language representation models. CoRR,abs/1908.06725, 2019. URL http://arxiv.org/abs/1908.06725.

[11]

Ruize Wang, Duyu Tang, Nan Duan, Zhongyu Wei, Xuanjing Huang, Jianshu Ji, Guihong Cao, Daxin Jiang,and Ming Zhou. 2020b.K-adapter: Infusing knowledge into pre-trained models with adapters.CoRR,abs/2002.01808.

[12]

Adam Santoro, David Raposo, David G Barrett, Mateusz Malinowski, Razvan Pascanu, Peter Battaglia,and Timothy Lillicrap. A simple neural network module for relational reasoning. InAdvances in neuralinformation processing systems, pp. 4967–4976, 2017.

[13]

Lin, B. Y.; Chen, X.; Chen, J.; and Ren, X. 2019. KagNet: Knowledge-Aware Graph Networks for Commonsense Rea-soning. In EMNLP/IJCNLP.

[14]

Shangwen Lv, Daya Guo, Jingjing Xu, Duyu Tang, Nan Duan, Ming Gong, Linjun Shou, Daxin Jiang, GuihongCao, and Songlin Hu.  2019.  Graph-based reasoning over heterogeneous external knowledge for commonsensequestion answering.In AAAI.

[15]

Feng, Y.; Chen, X.; Lin, B. Y.; Wang, P.; Yan, J.; and Ren, X.  2020. Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering. In EMNLP.

[16]

https://www.zhihu.com/question/312388163/answer/600712686

哈工大SCIR
哈工大SCIR

哈尔滨工业大学社会计算与信息检索研究中心

入门常识问答
相关数据
自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

常识知识库技术

常识知识库是当代智能系统或智能代理所具备的一种知识库。它是解决人工智能或知识工程技术瓶颈难题的一项关键措施,其特点是数量上规模大。早期人工智能或知识工程系统所具备的领域知识库是另一种知识库。也就是说,领域知识库和常识知识库是智能计算机系统所具备的知识库的两种基本类型。计算机科学领域普遍认为领域知识库和常识知识库是人工智能或知识工程技术瓶颈难题。从早期关注专家的领域知识到现在同时关注常识知识,这是人工智能或知识工程技术的一种进步。由于计算机硬件和软件以及数据库乃至数据仓库及其人机交互界面等技术的不断成熟,使得人们在21世纪开发各种专家系统所需要的各个中等规模的领域知识库和开发常识系统所需要的大规模的常识知识库都具备了基础条件。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

知识库技术

知识库是用于知识管理的一种特殊的数据库,以便于有关领域知识的采集、整理以及提取。知识库中的知识源于领域专家,它是求解问题所需领域知识的集合,包括基本事实、规则和其它有关信息。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

语料库技术

语料库一词在语言学上意指大量的文本,通常经过整理,具有既定格式与标记;事实上,语料库英文 "text corpus" 的涵意即为"body of text"。

语义网技术

语义网是由万维网联盟的蒂姆·伯纳斯-李在1998年提出的一个概念,它的核心是:通过给万维网上的文档蒂姆加能够被计算机所理解的语义,从而使整个互联网成为一个通用的信息交换媒介。语义万维网通过使用标准、置标语言和相关的处理工具来扩展万维网的能力。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

语义网络技术

语义网络常常用作知识表示的一种形式。它其实是一种有向图;其中,顶点代表的是概念,而边则表示的是这些概念之间的语义关系。

WordNet技术

WordNet是由普林斯顿大学心理学家、语言学家和计算机工程师联合设计的一种基于认知语言学的英语词典。它不是光把单词以字母顺序排列,而是按照单词的意义组成一个“单词的网络”。

关系分类技术

关系分类旨在将文本中给定实体的关系分类为预定义类。

图网络技术

2018年6月,由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》,该研究提出了一个基于关系归纳偏置的 AI 概念:图网络(Graph Networks)。研究人员称,该方法推广并扩展了各种神经网络方法,并为操作结构化知识和生成结构化行为提供了新的思路。

实体链接技术

在自然语言处理中,实体链接,也称为命名实体链接(NEL)、命名实体消歧(NED)。实体链接的任务是为文本中提到的实体(例如着名的个人,地点或公司)分配唯一的身份。

图卷积网络技术

假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理啊,颜色啊,或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别。而深度学习是输入一张图,经过神经网络,直接输出一个标签。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习。相较于传统的方法,深度学习能够学习到更高效的特征与模式。

常识推理技术

常识推理是人工智能(AI)的一个分支,它关注模拟人类每天遇到的普通情境的类型和本质的假设。这些假设包括对人和物体的物理特性,目的,意图和行为的判断,以及他们的行为和相互作用的可能结果。展示常识推理的设备将能够预测结果并得出类似于人类民间心理学(人类对人们的行为和意图进行推理的天生能力)和天真物理学(人类对物理世界的自然理解)的结论。

语言模型技术

统计式的语言模型是借由一个几率分布,而指派几率给字词所组成的字串。语言模型经常使用在许多自然语言处理方面的应用,如语音识别,机器翻译,词性标注,句法分析和资讯检索。

常识推断技术

常识推理是识别文本蕴涵的延伸:预测人类对于给定文本推理的主关可能性的反应。

迁移学习技术

迁移学习 是属于机器学习的一种研究领域。它专注于存储已有问题的解决模型,并将其利用在其他不同但相关问题上。比如说,用来辨识汽车的知识(或者是模型)也可以被用来提升识别卡车的能力。计算机领域的迁移学习和心理学常常提到的学习迁移在概念上有一定关系,但是两个领域在学术上的关系非常有限。

句子分类技术

句子分类是文本分类的子任务,是指在句子层面的文本分类任务。

暂无评论
暂无评论~