李成江作者

IJCAI2019 | VR-GCN:一种用于多关系网络对齐的关系向量化图卷积网络

多关系网络(例如知识图谱)对齐对上层的AI应用有很重要的意义。现有的基于图卷积网络(Graph Convolutional Network,GCN)的对齐模型并没有充分地利用多关系的信息,也就是关系的类别信息。因此作者提出一种关系向量化的图卷积网络VR-GCN,来同时学习实体的表示和关系的表示,并基于此网络构建了对齐框架AVR-GCN用于多关系网络对齐任务。

论文题目: A Vectorized Relational Graph Convolutional Network for Multi-Relational Network Alignment

论文作者: Rui Ye, Xin Li, Yujie Fang, Hongyu Zang and Mingzhong Wang

论文地址:https://www.ijcai.org/proceedings/2019/0574.pdf

研究动机

网络对齐,旨在不同的网络中找到具有相同语义的等价节点或等价关系。以知识图谱为例,对齐不同语言的知识图谱,有利于构建更完备的知识网络,对提升知识推理、跨领域推荐等任务的效果有显著意义。
基于表示学习的模型由于其高效性也被用到网络对齐任务中。根据其是否对网络内关系进行表示,可以分为单关系网络(Single-relational networks)表示方法,如:DeepWalk[1],Node2Vec[2];和多关系网络(Multi-relational networks)表示方法,如:TransE[3]及其拓展工作。

随着深度学习的发展,以图卷积网络(Graph Convolutional Network,GCN)[4]为代表的方法对图表示相关任务有很好的效果。然而,传统的基于频谱的GCN只能处理无向单关系网络,因为其要求归一化图拉普拉斯算子为实对称正半定矩阵,以便于进行图的傅立叶变换,这也表明邻接矩阵必须是对称的,并且二维的邻接矩阵也将边限制为相同类型,即单一关系。为了在图卷积中增加对多关系的支持,R-GCN[5]对每一关系学习一个映射矩阵,用于改变实体在累计邻居权重时考虑来自不同关系的影响,但R-GCN也没有显式地对关系进行表示。

因此,本文作者提出同时对实体和关系进行表示的图卷积网络VR-GCN,其具备以下几个特点:

a)显式的关系embedding学习。

b)实体角色区分:实体作为头实体或尾实体时采取不同的卷积操作,同时也体现图的有向性。

c)翻译模型的性质:学习到的表示具备形如TransE的h+r≈t的性质。

基于VR-GCN,作者在实体和关系层面上增加对齐的优化目标,得到网络对齐模型AVR-GCN。

提出方法

下面将分别介绍同时具备GCN和TransE性质的表示模型VR-GCN,及基于它的知识图谱对齐模型AVR-GCN。

1.VR-GCN框架

不同于GCN,在每层卷积时,以邻居节点及自身的表示加和平均后,通过一个非线性变换来得到输出。VR-GCN的关键,在于每层卷积计算中引入关系的表示。具体的更新函数如下:
如此设计,可以使得实体在获得邻居表示时,能区分邻居实体是来自头实体还是尾实体,并会受到关系表示带来的平移偏置影响。所学到的实体、关系表示,天然地满足TransE的假设性质h+r≈t。VR-GCN的示意图如下:
2.基于VR-GCN的知识图谱对齐框架AVR-GCN

在VR-GCN的基础上,使用共享参数的设定分别训练两个输入的网络,同时增加网络对齐的目标,可以得到知识图谱对齐框架AVR-GCN。

AVR-GCN在对齐目标上进行了两个方面的设计。第一点是最小化等价实体对、等价关系对在向量空间中的表示距离,即优化如下的Margin-based目标函数
AVR-GCN的框架图如下:

实验分析

作者主要在知识图谱对齐(Knowledge graph alignment)和链接预测(Link prediction)两个任务上分别评测了AVR-GCN和VR-GCN的性能。

1.知识图谱对齐

数据集方面,本文使用了实体对齐任务较为广泛使用的跨语言数据集DBP15K,由于是图谱级别的对齐,除了实体的对齐,还包括关系的对齐,所以与之前文章使用的数据集稍有不同,本文的数据集包含等价的关系。数据集的统计信息如下:

评价指标使用的是MRR和Hits@k。两个指标越大,表明模型效果越好。

Baseline方面,使用了:将两个向量空间进行线性变换,从而达到对齐目的的MTransE[6];迭代式增加训练数据的ITransE[7];概率模型NTAM[8];使用受限的Margin ranking loss的BootEA[9]的非迭代模型AlignE;基于图卷积网络的实体对齐模型GCN-Align[10];以及AVR-GCN去除关系对齐目标的消融模型AVR-GCN(rl.exl.)。

实体对齐的结果如下:
从结果中可以看到,AVR-GCN(rl.exl.)优于其他baselines,体现出在图卷积网络中显式地进行关系表示能帮助到对图结构信息进行编码;AVR-GCN结果的最优,体现出引入关系对齐目标对提升实体对齐有很大的帮助。
关系对齐的结果如下:

可以看到AVR-GCN同样具有最好的效果。

除此之外,作者改变了训练数据和测试数据中等价实体对、等价关系对的比率,得到如下的结果变化表:

这也符合我们的直观假设:训练数据越充分,模型效果越好。

2.链接预测

数据集方面,使用的是链接预测任务广泛使用的公开数据集WN18和FB15k-237。

评价指标使用的是MRR和Hits@k。两个指标越大,表明模型效果越好。
Baseline方面,使用了TransE,DisMult[11],和R-GCN。
和R-GCN一样,VR-GCN使用如下的得分函数进行交叉熵loss的计算:
实验结果如下:

可以看到VR-GCN在提升网络表示效果上的提升还是很明显的。

------------------

IJCAI 2019涌现出很多实体对齐相关的文章,我们也将近年来基于表示学习的实体对齐方法做了整理,欢迎大家关注:https://github.com/THU-KEG/Entity_Alignment_Papers

参考文献

[1] Bryan Perozzi, Rami Al-Rfou, and Steven Skiena. Deepwalk: online learning of social representations. In The 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, KDD ’14, New York, NY, USA August 24 - 27, 2014, pages 701–710, 2014.

[2] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, San Francisco, CA, USA, pages 855–864, 2016.

[3] Antoine Bordes, Nicolas Usunier, Alberto Garc ́ıa-Dura ́n, Jason Weston, and Oksana Yakhnenko. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems 26: 27th Annual Conference on Neural Information Processing Systems 2013. Proceedings of a meeting held December 5-8, 2013, Lake Tahoe, Nevada, United States., pages 2787–2795, 2013.

[4] Thomas N. Kipf and Max Welling. Semi-supervised classification with graph convolutional networks. CoRR, abs/1609.02907, 2016.

[5] Michael Sejr Schlichtkrull, Thomas N. Kipf, Peter Bloem, Rianne van den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks. CoRR, abs/1703.06103, 2017.

[6] Muhao Chen, Yingtao Tian, Mohan Yang, and Carlo Zaniolo. Multilingual knowledge graph embeddings for cross-lingual knowledge alignment. In Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence, IJCAI 2017, Melbourne, Australia, August 19-25, 2017, pages 1511–1517, 2017.

[7] Hao Zhu, Ruobing Xie, Zhiyuan Liu, and Maosong Sun. Iterative entity alignment via joint knowledge embeddings. In Proceedings of the 26th International Joint Conference on Artificial Intelligence, IJCAI, Melbourne, Australia, pages 4258–4264, 2017.

[8] Shengnan Li, Xin Li, Rui Ye, Mingzhong Wang, Haiping Su, and Yingzi Ou. Non-translational alignment for multi-relational networks. In Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, 2018, Stockholm, Sweden., pages 4180–4186, 2018.

[9] Zequn Sun, Wei Hu, Qingheng Zhang, and Yuzhong Qu. Bootstrapping entity alignment with knowledge graph embedding. In Proceedings of the TwentySeventh International Joint Conference on Artificial Intelligence, IJCAI 2018, July 13-19, 2018, Stockholm, Sweden., pages 4396–4402, 2018.

[10] Zhichun Wang, Qingsong Lv, Xiaohan Lan, and Yu Zhang. Cross-lingual knowledge graph alignment via graph convolutional networks. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, Brussels, Belgium, October 31-November 4, 2018, pages 349–357, 2018.

[11] Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. Embedding entities and relations for learning and inference in knowledge bases. CoRR, abs/1412.6575, 2014.

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论图卷积网络知识图谱IJCAI 2019
5
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

交叉熵技术

交叉熵(Cross Entropy)是Loss函数的一种(也称为损失函数或代价函数),用于描述模型预测值与真实值的差距大小

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

Jianfeng Gao人物

微软研究院人工智能深度学习组合作研究经理、IEEE Fellow,研究兴趣主要为自然语言处理、强化学习等。

Xiaodong He人物

现任京东AI研究院常务副院长,深度学习和语音及语言实验室主任。何晓冬博士本科毕业于清华大学,并先后在中国科学院及美国密苏里大学-哥伦比亚分校获得硕士学位及博士学位。加入京东之前,何晓冬博士曾任职于美国微软雷德蒙德研究院,任主任研究员(PrincipalResearcher)及深度学习技术中心负责人(ResearchManager),其工作包括深度结构化语义模型(DSSM),层次化注意力模型(HAN),看图说话机器人CaptionBot,智能绘画机器人DrawingBot等,研究成果对微软产品如Office、SeeingAI、搜索及广告、智能云服务、微软小冰等有着重要价值。同时,何博士还在华盛顿大学电子与计算机工程系兼任教授、博士生导师。

图卷积网络技术

假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理啊,颜色啊,或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别。而深度学习是输入一张图,经过神经网络,直接输出一个标签。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习。相较于传统的方法,深度学习能够学习到更高效的特征与模式。

暂无评论
暂无评论~