KG 高引论文解读两篇 | 两种模型:多层卷积神经网络、知识感知路径递归网络

1、Convolutional 2D Knowledge Graph Embeddings

作者:

Tim Dettmers, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel

论文出处:

The Thirty-Second AAAI Conference on Artificial Intelligence (AAAI 2018)

文章链接:

https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/download/17366/15884

研究问题

知识图谱的链接预测任务是预测节点之间潜在的关系。传统的链接预测方法专注于浅的、快速的模型,因为这样可以扩展到大规模的KG中。但是浅层模型学习到的特征比深沉模型少很多,大大限制了模型的性能。解决该问题的方法之一是增加embedding的维度,但是会加模型参数量,不方便扩展到大规模KG中。此外,部分现有数据集中有测试集泄露问题:训练集中的三元组稍微翻转一下就可以得到测试集三元组,然后使用基于规则的模型就能达到最佳性能。文章通过构造一个简单的翻转来衡量这个问题严重性,并清洗了部分数据来解决该问题。

研究方法

文章提出一种多层卷积神经网络模型用于知识图谱的链接预测任务。与自然语言处理中常用的一维卷积不同,文章通过把多个向量堆叠成矩阵,就可以像图形一样用二维卷积核来抽取embedding之间的关系。

模型的流程总结为:

  • 经过look-up embedding得到实体和关系的向量表示,然后通过变形和堆叠转化为2D版本。

  • 用多个卷积核对堆叠后的矩阵进行卷积操作,得到一个特征图γ。

  • 把γ向量化,然后通过一个全连接层映射到k维空间中。

  • 最后与目标实体的embedding相乘获得相应的得分。

  • 将得分进行sigmoid操作得到概率p,从而最小化交叉熵来训练模型。

值得一提的是,与传统模型对三元组关系打分的一对一模式不同,ConvE以实体关系对作为输入,同时对所有候选实体进行打分。这种方式极大加快了计算速度。实验结果表明,即使实体规模扩大10倍,计算时间也只是增加了25%。

研究结果

文章在4个数据集WN18、FB15K、YAGO3-10、Countries上进行实验,与DisMult、R-GCN等模型进行了对比。实验结果表明:0.23M个参数的ConvE就与1.89M个参数的DistMult有相近的性能表现,总的来说ConvE的参数效率是R-GCN的17倍以上,是DistMult的8倍以上。此外,作者还发现ConvE在YAGO3-10和FB15k-237上的表现比在WN18RR上好,因为前两者包含入度很大的结点,这种复杂的KG需要更深层的模型,而浅层模型比如DistMult则在较简单的KG上有优势。

2、Explainable Reasoning over Knowledge Graphs for Recommendation

作者:

Xiang Wang, DingxianWang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua1

论文出处:

Proceedings of the AAAI Conference on Artificial Intelligence. 2019 (AAAI'19).

文章链接:

https://www.aaai.org/ojs/index.php/AAAI/article/view/4470/4348

研究问题

近年来如何将知识图谱融入推荐系统得到越来越多的关注,通过探索知识图谱中的用户到商品的路径,可以为用户与商品的交互行为提供丰富的补充信息。这些路径不仅揭示了实体和关系的语义,还能帮助理解用户的兴趣。然而现有的模型没能充分利用路径来推断用户偏好,尤其是在建模的顺序依赖关系和路径的整体语义方面。文章构建了知识感知路径递归网络模型(Knowledge aware Path Recurrent Network,KPRN),通过组合实体和关系的语义来生成路径表示。利用路径中的顺序依赖关系,可以基于路径进行有效推理,从而推断出用户-项目交互场景中的基本原理。此外,文章设计了一种新的权重池化操作,以区分用户与项目连接的不同路径的优势,赋予我们的模型一定的可解释性。下图为基于知识图谱的音乐推荐场景实例,虚线为关系,实线为用户-商品交互路径。

研究方法

知识图谱和路径:知识图谱由一组三元组(h,r,t)组成,代表实体h和实体t构成关系r。文章中知识图谱还融合了用户-商品的交互信息,即包含了三元组(用户,交互方式,商品), 其中交互方式为预定义的关系。路径的定义是一个由实体或关系组成的序列,并且以用户作为起始点,以商品作为终点。给定一个用户,商品,以及连接该用户和商品的路径的集合,我们希望模型能够计算该用户和商品之间存在交互的可能性,即是否存在三元组(用户,交互方式,商品)。

模型一共分为三层:在Embedding层对路径的每一个行为做embedding的计算。对于给定三元组,分别计算实体名称,实体类型和关系(或交互方式)的embedding后再拼接得到最终特征表示。LSTM层将路径上的每个单元的特征表示按照时间顺序输入并且将最后时刻的隐藏层状态作为该路径的特征表示。在pooling层,将所有路径的特征表示集合输入两层前馈神经网络,再对输出做带权重池化操作得到最后的预测结果。

研究结果

文章在公开电影数据集MI和音乐数据集KKBox上进行了实验,验证了所提出的模型的有效性,并且相对于仅将实体映射为一个向量表示的方法,KPRN还能够从路径中挖掘用户和商品之间的交互原因,这提高了模型的可解释性。

如上图所示,在MovieLens-1M中随机选择的一个用户u4825,并从她的交互记录中选择电影“恋爱中的莎士比亚”。然后,我们提取连接用户-项对的所有限定路径,得到每个路径的分数s1 = 0.355, s2 = 0.289, s3 = 0.356,即模型更倾向于认为用户u4825是通过路径3和电影“恋爱中的莎士比亚”产生交互关系。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论知识图谱卷积神经网络论文
1
相关数据
池化技术

池化(Pooling)是卷积神经网络中的一个重要的概念,它实际上是一种形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效的原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

交叉熵技术

交叉熵(Cross Entropy)是Loss函数的一种(也称为损失函数或代价函数),用于描述模型预测值与真实值的差距大小

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

前馈神经网络技术

前馈神经网络(FNN)是人工智能领域中最早发明的简单人工神经网络类型。在它内部,参数从输入层经过隐含层向输出层单向传播。与递归神经网络不同,在它内部不会构成有向环。FNN由一个输入层、一个(浅层网络)或多个(深层网络,因此叫作深度学习)隐藏层,和一个输出层构成。每个层(除输出层以外)与下一层连接。这种连接是 FNN 架构的关键,具有两个主要特征:加权平均值和激活函数。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括:在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化,以及尝试对学习集的剩余部分进行猜测,并且输出正确的结果。当与多个泛化器一起使用时,堆叠泛化可以被看作是一个交叉验证的复杂版本,利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时,堆叠泛化是一种用于估计(然后纠正)泛化器的错误的方法,该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

推荐文章
暂无评论
暂无评论~