Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

谭佳瑶校对文婧 编辑

假期必读:一文看尽2019-2020各大顶会GNN论文(附链接)

纵观2019年包括深度学习计算机视觉、文本处理以及数据挖掘在内的顶级会议,图学习相关的论文较于之前都有十分明显的增长。而就 2020的情况来看,这个趋势还在不断扩大。总之,Graph Neural Network 在2019- 2020年之间,力压 Deep Learning、GAN等,成为各大顶会的增长热词,且GNN在各个领域越来越受到欢迎,包括社交网络、知识图谱推荐系统,甚至生命科学。大家在假期期间不妨收藏起来慢慢读。
KDD 2019

1、Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

作者:Wei-Lin Chiang; Xuanqing Liu; Si Si; Yang Li; Samy Bengio; Cho-Jui Hsieh;
推荐理由:这篇论文提出了一种新的基于图聚类结构且适合于基于SGD训练的GCN算法——Cluster-GCN,高效解决工业界训练大规模深层图卷积神经网络问题,性能大幅提升基础上依靠可训练更深层网络优势达到SOTA效果,并开源了源代码。

地址:https://arxiv.org/pdf/1905.07953.pdf

2、Conditional Random Field Enhanced Graph Convolutional Neural Networks
作者:Hongchang Gao; Jian Pei; Heng Huang;

推荐理由:为解决神经网络的隐藏层的问题,作者们提出了一种新的CRF层用于图卷积神经网络,以使得相似节点具有相似的隐藏特征。这样,可以显式地保存相似性信息。此外,作者提出的CRF层易于计算和优化。因此,它可以很容易地插入到现有的图卷积神经网络中,提高其性能。同时,他们用大量的实验结果验证了CRF层的有效性。

地址:

https://www.kdd.org/kdd2019/accepted-papers/view/conditional-random-field-enhanced-graph-convolutional-neural-networks

3、DEMO-Net: Degree-specific Graph Neural Networks for Node and Graph Classification

作者:Jun Wu; Jingrui He; Jiejun Xu;

推荐理由:为了解决神经网络的一些局限性问题,作者们提出了一种基于Weisfeiler- Lehman图同构测试的通用degree-specific神经网络DEMO-Net。在多个节点和图分类基准数据集上的实验结果表明,他们提出的DEMO-Net相对于最先进的神经网络模型的有效性和高效性。

地址:
https://arxiv.org/abs/1906.02319?context=cs

4、GCN-MF: Disease-Gene Association Identification By Graph Convolutional Networks and Matrix Factorization

作者:Peng Han; Peng Yang; Peilin Zhao; Shuo Shang; Yong Liu; Jiayu Zhou; Xin Gao; Panos Kalnis;

推荐理由:发现疾病基因关联是一项基础性和关键性的生物医学任务,它有助于生物学家和医生发现症候的致病机制。基于网络的半监督学习(NSSL)是这些研究中常用的一种方法,它利用各种临床生物标志物来测量基因和疾病表型之间的相似性,来解决这个类平衡的大规模数据问题。然而,大多数现有的NSSL方法都是基于线性模型的,存在两个主要限制:1)它们隐式地考虑每个候选对象的局部结构表示; 2)他们无法捕捉疾病和基因之间的非线性联系。这篇文章将图卷积网络(GCN)和矩阵因子分解相结合,提出了一种新的疾病基因关联任务框架GCN-MF。在GCN的帮助下,作者可以捕获非线性相互作用,并利用测量到的相似性。此外,他们定义了一个边际控制损失函数,以减少稀疏性的影响。实验结果表明,所提出的深度学习算法在大多数指标上都优于其他最先进的方法。

地址:

https://www.kdd.org/kdd2019/accepted-papers/view/cluster-gcn-an-efficient-algorithm-for-training-deep-and-large-graph-convol


5、Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks

作者:Namyong Park; Andrey Kan; Xin Luna Dong; Tong Zhao; Christos Faloutsos;

推荐理由:在这篇文章中,作者们提出了GENI,一种解决知识图谱(KG)中节点重要性估计问题的方法,作者通过predicate-aware注意力机制和灵活的中心性调整来执行重要性分数的聚合,而不是聚合节点嵌入。在他们对GENI和现有方法的评估中,GENI在预测具有不同特征的真实KG中节点重要性方面比现有方法高出5-17%。

地址:https://arxiv.org/abs/1905.08865

6、Graph Recurrent Networks with Attributed Random Walks

作者:Xiao Huang; Qingquan Song; Yuening Li; Xia Hu;

推荐理由:作者研究了在attributed网络上进行联合随机游动,并利用它们来提高深度节点表示学习。他们提出的框架GraphRNA由两个主要组件组成:一种协作游走机制—AttriWalk,以及一种为随机游走量身定制的深度嵌入体系结构,称为图递归网络(graph recurrent networks ,GRN)。AttriWalk使我们能够将突出的深度网络嵌入模型-图卷积网络推向一个更有效的架构——GRN。GRN赋予节点表示以与原始attributed网络中的节点交互相同的方式进行交互。在真实数据集上的实验结果表明,与目前最先进的嵌入算法相比,GraphRNA算法很有效。

地址:

https://www.kdd.org/kdd2019/accepted-papers/view/graph-recurrent-networks-with-attributed-random-walks

7、Representation Learning for Attributed Multiplex Heterogeneous Network

作者:Yukuo Cen, Xu Zou, Jianwei Zhang, Hongxia Yang, Jingren Zhou, Jie Tang

推荐理由:这篇论文来自阿里团队。作者们主要处理包含异构节点和异构边的图的表示学习问题。阿里电商的数据由用户和商品构成的图就是异构的,不仅包含异构的节点(用户和商品),而且包含异构的边(用户和商品的多种交互行为,比如点击、购买等)。不仅如此,图中的节点还包含着丰富的属性。

论文:http://t.cn/Ai9I8OPE;
代码:http://t.cn/Ai9I8OPn;

NeurIPS2019

1、GNN Explainer: Generating Explanations for Graph Neural Networks 

作者:Zhitao Ying, Dylan Bourgeois, Jiaxuan You, Marinka Zitnik, Jure Leskovec 

推荐理由:本文由斯坦福Jure组收录在NeurIPS2019上。神经网络包括神经网络在很多领域都得到了应用也取得了很好的效果,但是如何对神经网络的预测结果进行解释是一个问题。很多工作尝试利用注意力机制来对模型预测结果进行解释。该论文提出的GNN Explainer可以从网络结构和节点属性的角度来对任意神经网络和任意图挖掘任务生成解释,可以为 GNN 的判断结果提供重要依据。

地址:https://arxiv.org/abs/1903.03894

2、Graph Transformer Networks 

作者:Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, Hyunwoo Kim 

推荐理由:该论文来自NIPS 2019。大多数现有的GNNs都被设计为在固定和同质的图上学习节点表示。当在不确定的图或由各种类型的节点和边组成的异质图上学习表示时,这些限制尤其成问题。一般的GNN手动定义元路径,但GTNs可以学习有效的元路径。因此GTNs的出现提出了:1、一种新的图变换网络,识别有用的元路径和多跳连接来学习图上的有效节点表示。2、图的生成是可解释的,提供有效路径连接的解释。3、证明了图变换网络学习的节点表示的有效性,从而获得了最佳的性能,而现有的方法在异质图的所有三种基准节点分类中都使用了领域知识。

地址:
http://data.holdenhu.site/papers/graph/graph-transformer-networks.pdf

3、Can Graph Neural Networks Help Logic Reasoning?

作者:Yuyu Zhang, Xinshi Chen, Yuan Yang, Arun Ramamurthy, Bo Li, Yuan Qi, Le Song

推荐理由:这篇论文来自NeurIPS 2019。该论文研究了GNN和马尔科夫逻辑网络在逻辑推理、概率推理方面的表现孰强孰弱。作者们的分析表明,原始的GNN嵌入就有能力编码知识图中的隐含信息,但是无法建模谓词之间的依赖关系,也就是无法处理马尔科夫逻辑网络的后向参数化。为了解决这个问题,作者们设计了ExpressGNN架构,其中有额外的几层可调节的嵌入,作用是对知识图中的实体做层次化的编码。

地址:
https://kr2ml.github.io/2019/papers/KR2ML_2019_paper_22.pdf

ICCV 2019

1、DeepGCNs: Can GCNs Go as Deep as CNNs?

作者:Guohao Li, Matthias Müller, Ali Thabet, Bernard Ghanem

推荐理由:该论文来自ICCV 2019 Oral。这篇文章主要阐述了怎么去构建一个网络使得GCN能够堆叠更深的层且不会发生梯度消失的问题,引入了三个方法:1.Resnet 2.Densenet 3.Dilated convolutions 。最后,使用构建了一个非常深的56层的GCN,并展示它如何在点云语义分割任务中显著地提升了性能(相当于最先进的3.7%mIoU|均交并比)。

地址:https://arxiv.org/abs/1904.03751

2. Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks

作者:Yujun Cai, Liuhao Ge, Jun Liu, Jianfei Cai, Tat-Jen Cham, Junsong Yuan, Nadia Magnenat Thalmann;

推荐理由:这篇论文提出了一种新的基于图的方法来解决短序列二维关节检测的三维人体和三维手部姿态估计问题。特别是将人手(身体)构型的领域知识显式地融入到图卷积运算中,以满足三维姿态估计的特定需求。此外,作者还介绍了一个从局部到全局的网络架构,该架构能够学习基于图表示的多尺度特性。他们评估了所提出的方法在具有挑战性的基准数据集的三维手部姿态估计和三维身体位姿估计。实验结果表明,该方法在两种任务上都达到了最先进的性能。

地址:

https://cse.buffalo.edu/~jsyuan/papers/2019/Exploiting_Spatial-temporal_Relationships_for_3D_Pose_Estimation_via_Graph_Convolutional_Networks.pdf


3、Graph Convolutional Networks for Temporal Action Localization

作者:Runhao Zeng, Wenbing Huang, Mingkui Tan, Yu Rong, Peilin Zhao, Junzhou Huang, Chuang Gan;

推荐理由:这篇论文中,作者提出利用图卷积网络(GCNs)来挖掘proposal - proposal关系。首先,构造一个action proposal图,其中每个proposal表示为一个节点,两个proposal之间的关系表示为一条边。这里使用两种类型的关系,一种用于捕获每个proposal的上下文信息,另一种用于描述不同action之间的关联。作者在图上应用GCN,以对不同proposal之间的关系进行建模,学习了动作分类和定位的强大表示。实验结果表明,这个方法在THUMOS14上显著优于最先进的方法(49.1% versus42.8%)。此外,ActivityNet上的增强实验也验证了action proposal关系建模的有效性。

地址:https://arxiv.org/abs/1909.03252

代码:https://github.com/alvinzeng/pgcn


4、Learning Semantic-Specific Graph Representation for Multi-Label Image Recognition

作者:Tianshui Chen, Muxin Xu, Xiaolu Hui, Hefeng Wu, Liang Lin;

推荐理由:这篇论文提出了一个语义特定的图表示学习(SSGRL)框架,该框架由两个关键模块组成:1)一个语义解耦模块,该模块集成了范畴语义以指导学习语义特定的表示;2)一个语义交互模块。它将这些表示与建立在统计标签共现上的图相关联,并通过图传播机制探索它们的交互作用。在公共基准上的大量实验表明,作者的SSGRL框架在很大程度上优于当前最先进的方法,例如,在PASCAL VOC 2007 & 2012, Microsoft-COCO and Visual Genome benchmarks数据集上,mAP的性能分别提高了2.5%、2.6%、6.7%和3.1%。

地址:https://arxiv.org/abs/1908.07325
代码和模型:https://github. com/HCPLab-SYSU/SSGRL

WWW 2019

1、Is a Single Embedding Enough? Learning Node Representations that Capture Multiple Social Contexts 

作者:Alessandro Epasto, Bryan Perozzi

推荐理由:该论文来自Google at WWW 2019。论文提出的Splitter是一种无监督的嵌入方法,允许图中的节点可以嵌入多个向量,以便更好地表示节点在一些重叠社区的参与。直观地说,这是因为图中的每个节点通常会在单个上下文中与给定的邻居节点产生交互。

地址:http://t.cn/AiukgqNA;

2、NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization

作者:Jiezhong Qiu, Yuxiao Dong, Hao Ma, Jian Li, Chi Wang, Kuansan Wang, Jie Tang

推荐理由:提出适用于大规模网络表示学习方法NetSMF,利用稀疏矩阵分解来学习大规模网络embedding,相对于现有方法DeepWalk/ LINE/ Node2Vec等极大地提高了学习效率。

地址:http://t.cn/AiuF7p97;

3、Graph Neural Networks for Social Recommendation

作者:Wenqi Fan, Yao Ma, Qing Li, Yuan He, Eric Zhao, Jiliang Tang, Dawei Yin

推荐理由:作者提出了一种新的用于社交推荐的神经网络框架GraphRec。更好地联合捕获用户-商品图中的交互和意见。并在两个真实数据集上的大量实验证明了该框架的有效性。

地址:http://t.cn/AiuFAzVr;

4、Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recommender Systems

作者:Qitian Wu, Hengrui Zhang, Xiaofeng Gao, Peng He, Paul Weng, Han Gao, Guihai Chen

推荐理由:这篇文章提出了双图注意网络来协作学习两重社会效应的表示,一个是由用户特定的注意权重建模,另一个是由动态的和上下文感知的注意权重建模。作者还将用户域中的社会效应扩展到项目域,从而可以利用相关项目中的信息进一步缓解数据稀疏问题。此外,考虑到两个领域中不同的社会效应可以相互作用,共同影响用户对物品的偏好,他们提出了一种新的基于策略的融合策略,该策略基于上下文多武装匪徒来衡量不同社会效应之间的相互作用。在一个基准数据集和一个商业数据集上的实验验证了模型中关键组件的有效性。

地址:http://t.cn/EiVtzOj;

ICML 2019

1、 Compositional Fairness Constraints for Graph Embeddings 

作者:Avishek Joey Bose, William L. Hamilton

推荐理由:这篇文章针对现有的Graph Embedding算法无法处理公平约束,例如确保所学习的表示与某些属性(如年龄或性别)不相关,引入一个对抗框架来对Graph Embedding实施公平性约束。

地址:http://t.cn/AiukgnqL

2、Graph Matching Networks for Learning the Similarity of Graph Structured Objects 

作者:Yujia Li, Chenjie Gu, Thomas Dullien, Oriol Vinyals, Pushmeet Kohli

推荐理由:这篇文章针对图结构物体的检索与匹配这一具有挑战性的问题,做了两个关键的贡献。首先,作者演示了如何训练神经网络(GNN)在向量空间中嵌入图,从而实现高效的相似性推理。其次,提出了一种新的图匹配网络模型,该模型以一对图作为输入,通过一种新的基于注意力的交叉图匹配机制,对图对进行联合推理,计算出图对之间的相似度评分。

地址:http://t.cn/ES9dZYU

3、GMNN: Graph Markov Neural Networks  

作者:Meng Qu, Yoshua Bengio, Jian Tang

推荐理由:统计关系学习方法可以通过条件随机场对对象标签的依赖关系进行有效的建模,用于集体分类,而神经网络则通过端到端训练学习有效的对象表示来分类。在本文中,我们提出了一种集两种方法优点于一体的Graph Markov Neural Networks (GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模,利用变分EM算法对其进行有效训练。

地址:http://t.cn/EKOJK3x;

4、MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing

作者:Sami Abu-El-Haija, Bryan Perozzi, Amol Kapoor, Nazanin Alipourfard, Kristina Lerman, Hrayr Harutyunyan, Greg Ver Steeg, Aram Galstyan

推荐理由:作者们针对基于神经网络半监督学习方法(如图卷积网络)不能学习一般的邻域混合关系的缺点,提出了一个新的模型MixHop,它可以通过在不同距离重复混合邻居的特征表示来学习这些关系,包括不同的操作符。

地址:http://t.cn/AiuFAY4V;

ACL 2019

1、Cognitive Graph for Multi-Hop Reading Comprehension at Scale  

作者:Ming Ding, Chang Zhou, Qibin Chen, Hongxia Yang, Jie Tang

推荐理由:这篇论文中提出了一种新的基于CogQA的web级文档multi-hop问答框架。基于BERT和GNN的实现有效地处理了HotpotQA fullwiki数据集中数百万个multi-hop推理问题的文档,在排行榜上获得了34.9的F1 score,而最佳竞争对手的得分为23.6。

地址:http://t.cn/EKSfKkr;

2、Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model 

作者:Wei Li, Jingjing Xu, Yancheng He, Shengli Yan, Yunfang Wu, Xu Sun

推荐理由:这篇文章中,作者们提出使用一个Graph-to-Sequence的模型来生成评论,该模型将输入的新闻建模为一个主题交互图。通过将文章组织成图结构,他们的模型可以更好地理解文章的内部结构和主题之间的联系,这使得它能够更好地理解故事。

地址:http://t.cn/AiuF26Ve;

3、Dynamically Fused Graph Network for Multi-hop Reasoning

作者:Yunxuan Xiao, Yanru Qu, Lin Qiu, Hao Zhou, Lei Li, Weinan Zhang, Yong Yu

推荐理由:作者们提出了动态融合图网络(Dynamically Fused Graph Network ,DFGN),这是一种解决需要多个分散证据和推理的问题的新方法。受人类逐步推理行为的启发,DFGN包含一个动态融合层,从给定查询中提到的实体开始,沿着文本动态构建的实体图进行探索,并逐步从给定文档中找到相关的支持实体。

地址:http://t.cn/EKR7rcy;

4、Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks  

作者:Shikhar Vashishth, Manik Bhandari, Prateek Yadav, Piyush Rai, Chiranjib Bhattacharyya, Partha Talukdar

推荐理由:作者们提出SynGCN来解决现有的词嵌入方法大多利用词的sequential context而没有利用词的syntactic context,SynGCN是一种灵活的基于图卷积的学习词嵌入的方法。他们还提出了SemGCN,这是一个有效的框架,用于整合不同的语义知识,以进一步增强所学习的单词表示。并开源了代码。

论文:http://t.cn/EKR7rcy;
代码:http://t.cn/AiuF2k4G

5、Attention Guided Graph Convolutional Networks for Relation Extraction 

作者:Zhijiang Guo,Yan Zhang and Wei Lu

推荐理由:这篇文章提出了一种直接以全依赖树为输入的Attention Guided图卷积网络(AGGCNs)模型。该模型可以理解为一种soft-pruning方法,它自动学习如何有选择地关注对关系提取任务有用的相关子结构。在包括跨句n元关系提取和大规模句级关系提取在内的各种任务上的大量结果表明,这个模型能够更好地利用全依赖树的结构信息,其结果显著优于之前的方法。

地址:

http://www.statnlp.org/paper/2019/attention-guided-graph-convolutional-networks-relation-extraction.html

6、Encoding Social Information with Graph Convolutional Networks for Political Perspective Detection in News Media

作者:Chang Li, Dan Goldwasser

推荐理由:确定新闻事件在媒体中讨论方式的政治视角是一项重要而富有挑战性的任务。在这篇文章中,作者强调了将社交网络置于情景化的重要性,捕捉这些信息如何在社交网络中传播。作者使用最近提出的一种表示关系信息的神经网络结构——图卷积网络(Graph Convolutional Network)来捕获这些信息,并证明即使在很少的social information分类中也可以得到显著改进。

地址:
https://www.cs.purdue.edu/homes/dgoldwas//downloads/papers/LiG_acl_2019.pdf

ICLR 2020

1、GraphZoom: A Multi-level Spectral Approach for Accurate and Scalable Graph Embedding 

作者:Chenhui Deng, Zhiqiang Zhao, Yongyu Wang, Zhiru Zhang, Zhuo Feng 

推荐理由:该论文来自ICLR 2020。图嵌入技术已经被越来越多地应用于涉及非欧几里德数据学习的众多不同应用中。然而,现有的图形嵌入模型在训练过程中不能合并节点属性信息或者遭受节点属性噪声,这会影响精度。此外,由于计算复杂度高、内存占用大,很少有人对大型图形进行扩展。在这篇论文中,作者们提出的GraphZoom是一个多层次的框架,用于提高无监督图嵌入算法的准确性和可扩展性。GraphZoom首先进行图融合,生成一个新的图,有效地编码原始图的拓扑结构和节点属性信息。然后,通过合并具有高光谱相似性的节点,将该融合图反复粗化为更小的图。GraphZoom允许任何现有的嵌入方法应用于粗化图,然后逐步细化在最粗糙的水平上获得的嵌入到越来越精细的图。

地址:
https://arxiv.org/abs/1910.02370?context=cs

2、Strategies for Pre-training Graph Neural Networks 

作者:Weihua Hu,Bowen Liu,Joseph Gomes, Marinka Zitnik,Percy Liang, Vijay Pande,,Jure Leskovec 

推荐理由:这篇论文同样来自ICLR 2020。机器学习在科学和医学中的许多应用,包括分子性质和蛋白质功能预测,都可以归结为预测图的某些性质的问题,在这些问题中,具有良好的图表示是至关重要的。然而,这些领域中的两个关键挑战是:(1)由于昂贵的实验室实验,标记数据极为稀缺;(2)需要外推,以测试结构上不同于训练期间看到的图表。在这篇文章中,作者们探讨了如何在训练前应对这两个挑战。他们提出了一系列方法在节点级和图形级上对GNNs进行预训练,同时使用未标记的数据和来自相关辅助监督任务的标记数据。作者对两种应用,分子性质和蛋白质功能预测进行了广泛的评价,并观察到,与未经预先训练的模型相比,仅执行图级监督的预先训练通常会导致边际性能增益,甚至会使性能恶化。另一方面,有效地结合节点级和图级预训练技术显著地提高了对分布外图的泛化能力。

地址:
https://arxiv.org/abs/1905.12265?context=cs.LG

3、Geom-GCN:Geometric Graph Convolutional Networks

作者:Hongbin-Pei,Bingzhe-Wei,Kevin Chen-chuan 

推荐理由:ICLR 2020开源论文。该论文提出了一种 geometric aggregation scheme,其可以同时在真实图结构/隐空间来聚合信息来克服 MPNNs 两个基础性缺陷,此外还提出了一种基于 geometric aggregation scheme 的神经网络 Geom-GCN,并且实验验证了模型的效果。

地址:
https://openreview.net/forum?id=S1e2agrFvS

4、Contrastive Learning of Structured World Models 

作者:Thomas Kipf, Elise van der Pol, Max Welling 

推荐理由:改论文从对象、关系和层次结构上对世界的结构化理解是人类认知重要的组成部分。但是,让机器从原始的感官数据中学习结构化的世界模型是非常有挑战性的。所以他们提出了一个叫做 Contrastively-trained Structured World Models(C-SWMs)的模型。该模型利用对比的方法在有组合结构的环境中进行表示学习。文章将每个状态 embedding 为一组对象及其关系的表示,并用神经网络来建模。他们在包含多个交互对象的组合环境中评估了 C-SWMs。

地址:https://arxiv.org/abs/1911.12247

5、The Logical Expressiveness of Graph Neural Networks 

作者:Pablo Barceló, Egor V. Kostylev, Mikael Monet, Jorge Pérez, Juan Reutter, Juan Pablo Silva 

推荐理由:这篇论文同样被ICLR 2020收录,由常年战斗在图领域的大佬 Pablo Barceló 团队贡献。神经网络(GNN)区分图节点的能力最近已经通过用于检查图同构性的 Weisfeiler-Lehman(WL)测试进行了表征。但是,这种表征并不能解决哪些布尔节点分类器可以由 GNN 来表示 (即,将图中的节点分类为真或假的函数)的问题。这篇文章专注于研究布尔分类器来解决上述问题。作者证明,聚合组合神经网络(AC-GNN)的表达方式对应于描述逻辑ALCQ,它是FOC_2的子集。作者还进一步证明,如果我们添加一个独处成分,将GNN转换为聚合组合读出GNN(ACR-GNN),则FOC_2中的每个公式都可以由ACR-GNN分类器捕获。

地址:
https://openreview.net/forum?id=r1lZ7AEKvB
GNN相关的一些开源平台

1、Deep Graph Library(DGL)

DGL由纽约大学、纽约大学上海分校、AWS上海研究所和AWS MXNet科学小组开发和维护GNN平台。
开始时间: 2018.

地址: https://www.dgl.ai/,
github地址:
https://github.com/jermainewang/dgl

2、NGra

NGra是由北京大学和微软亚洲研究院开发和维护一款GNN平台。

开始时间:2018
地址: https://arxiv.org/pdf/1810.08403.pdf
Graph_nets

Graph_nets是由DeepMind, Google Corp开发和维护的.

开始时间:2018
地址: https://github.com/deepmind/graph_nets

3、Euler

Euler是一款由阿里巴巴旗下的阿里妈妈开源的GNN平台.

开始时间:2019
地址: https://github.com/alibaba/euler

4、PyTorch Geometric

PyTorch Geometric由德国杜特蒙德大学开发和维护的GNN平台。

开始时间:2019
地址:
https://github.com/rusty1s/pytorch_geometric
论文:
https://arxiv.org/abs/1903.02428?context=cs.LG

5、PyTorch-BigGraph(PBG)

PBG是由Facebook人工智能研究开发和维护的GNN平台。

开始时间:2019
地址: 
https://github.com/facebookresearch/PyTorch-BigGraph
论文:https://arxiv.org/abs/1903.12287

以上是本期干货,欢迎大家转发收藏~
THU数据派
THU数据派

THU数据派"基于清华,放眼世界",以扎实的理工功底闯荡“数据江湖”。发布全球大数据资讯,定期组织线下活动,分享前沿产业动态。了解清华大数据,敬请关注姐妹号“数据派THU”。

入门GNN论文
4
相关数据
微软亚洲研究院机构

微软亚洲研究院于1998年在北京成立,是微软公司在亚太地区设立的基础及应用研究机构,也是微软在美国本土以外规模最大的一个研究院。微软亚洲研究院从事自然用户界面、智能多媒体、大数据与知识挖掘、人工智能、云和边缘计算、计算机科学基础等领域的研究,致力于推动计算机科学前沿发展,着眼下一代革命性技术的创新,助力微软实现长远发展战略。

http://www.msra.cn
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

半监督学习技术

半监督学习属于无监督学习(没有任何标记的训练数据)和监督学习(完全标记的训练数据)之间。许多机器学习研究人员发现,将未标记数据与少量标记数据结合使用可以显着提高学习准确性。对于学习问题的标记数据的获取通常需要熟练的人类代理(例如转录音频片段)或物理实验(例如,确定蛋白质的3D结构或确定在特定位置处是否存在油)。因此与标签处理相关的成本可能使得完全标注的训练集不可行,而获取未标记的数据相对便宜。在这种情况下,半监督学习可能具有很大的实用价值。半监督学习对机器学习也是理论上的兴趣,也是人类学习的典范。

权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

关系提取技术

关系抽取任务需要检测和分类一组工件中的语义关系提及,通常来自文本或XML文档。该任务与信息提取(IE)的任务非常相似,但是IE另外需要去除重复关系(消歧),并且通常指的是提取许多不同的关系。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

词嵌入技术

词嵌入是自然语言处理(NLP)中语言模型与表征学习技术的统称。概念上而言,它是指把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组被映射为实数域上的向量。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

逻辑推理技术

逻辑推理中有三种方式:演绎推理、归纳推理和溯因推理。它包括给定前提、结论和规则

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

知识图谱技术

知识图谱本质上是语义网络,是一种基于图的数据结构,由节点(Point)和边(Edge)组成。在知识图谱里,每个节点表示现实世界中存在的“实体”,每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲,知识图谱就是把所有不同种类的信息(Heterogeneous Information)连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。 知识图谱这个概念最早由Google提出,主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎,知识图谱可用来更好地查询复杂的关联信息,从语义层面理解用户意图,改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候,搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月,家庭情况等等。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

数据挖掘技术

数据挖掘(英语:data mining)是一个跨学科的计算机科学分支 它是用人工智能、机器学习、统计学和数据库的交叉方法在相對較大型的数据集中发现模式的计算过程。 数据挖掘过程的总体目标是从一个数据集中提取信息,并将其转换成可理解的结构,以进一步使用。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

描述逻辑技术

描述逻辑(description logic)是一種用于知识表示的逻辑语言和以其为对象的推理方法,主要用于描述概念分类及其概念之间的关系。 描述逻辑方法多数被用到涉及知识分类的应用领域,如数字图书馆和面向万维网的信息处理。 描述逻辑是当前语义网发展中本体的理论基础。

条件随机场技术

条件随机场(conditional random field,简称 CRF),是一种鉴别式机率模型,是随机场的一种,常用于标注或分析序列资料,如自然语言文字或是生物序列。 如同马尔可夫随机场,条件随机场为无向性之图模型,图中的顶点代表随机变量,顶点间的连线代表随机变量间的相依关系,在条件随机场当中,随机变量 Y 的分布为条件机率,给定的观察值则为随机变量 X。原则上,条件随机场的图模型布局是可以任意给定的,一般常用的布局是链接式的架构,链接式架构不论在训练(training)、推论(inference)、或是解码(decoding)上,都存在有效率的算法可供演算。 条件随机场跟隐马尔可夫模型常被一起提及,条件随机场对于输入和输出的机率分布,没有如隐马尔可夫模型那般强烈的假设存在。 线性链条件随机场应用于标注问题是由Lafferty等人与2001年提出的。

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

MXNet技术

MXNet是开源的,用来训练部署深层神经网络的深度学习框架。它是可扩展的,允许快速模型训练,并灵活支持多种语言(C ++,Python,Julia,Matlab,JavaScript, Go,R,Scala,Perl,Wolfram语言)

语义分割技术

语义分割,简单来说就是给定一张图片,对图片中的每一个像素点进行分类。图像语义分割是AI领域中一个重要的分支,是机器视觉技术中关于图像理解的重要一环。

堆叠技术

堆叠泛化是一种用于最小化一个或多个泛化器的泛化误差率的方法。它通过推导泛化器相对于所提供的学习集的偏差来发挥其作用。这个推导的过程包括:在第二层中将第一层的原始泛化器对部分学习集的猜测进行泛化,以及尝试对学习集的剩余部分进行猜测,并且输出正确的结果。当与多个泛化器一起使用时,堆叠泛化可以被看作是一个交叉验证的复杂版本,利用比交叉验证更为复杂的策略来组合各个泛化器。当与单个泛化器一起使用时,堆叠泛化是一种用于估计(然后纠正)泛化器的错误的方法,该泛化器已经在特定学习集上进行了训练并被询问了特定问题。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

阿里巴巴机构

阿里巴巴网络技术有限公司(简称:阿里巴巴集团)是以曾担任英语教师的马云为首的18人于1999年在浙江杭州创立的公司。

https://www.alibabagroup.com/
聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合,这些对象与同一个簇中的对象彼此相似,与其他簇中的对象相异。“物以类聚,人以群分”,在自然科学和社会科学中,存在着大量的分类问题。聚类分析又称群分析,它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学,但是聚类不等于分类。聚类与分类的不同在于,聚类所要求划分的类是未知的。聚类分析内容非常丰富,有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

矩阵分解技术

矩阵分解是一种将矩阵简化为其组成部分的方法。这种方法可以简化更复杂的矩阵运算,这些运算可以在分解的矩阵上执行,而不是在原始矩阵本身上执行。它的衍生Non-negative matrix factorization也被用于降维等操作上。

图卷积神经网络技术

图卷积神经网络(Graph Convolutional Network)是一种能对图数据进行深度学习的方法。GCN的三个主要特征:它是卷积神经网络在 graph domain 上的自然推广;它能同时对节点特征信息与结构信息进行端对端学习;适用于任意拓扑结构的节点与图;

图网络技术

2018年6月,由 DeepMind、谷歌大脑、MIT 和爱丁堡大学等公司和机构的 27 位科学家共同提交了论文《Relational inductive biases, deep learning, and graph networks》,该研究提出了一个基于关系归纳偏置的 AI 概念:图网络(Graph Networks)。研究人员称,该方法推广并扩展了各种神经网络方法,并为操作结构化知识和生成结构化行为提供了新的思路。

姿态估计技术

姿势估计是指检测图像和视频中的人物形象的计算机视觉技术,以便确定某人的某个肢体出现在图像中的位置。

图卷积网络技术

假设有一张图,要做分类,传统方法需要手动提取一些特征,比如纹理啊,颜色啊,或者一些更高级的特征。然后再把这些特征放到像随机森林等分类器,给到一个输出标签,告诉它是哪个类别。而深度学习是输入一张图,经过神经网络,直接输出一个标签。特征提取和分类一步到位,避免了手工提取特征或者人工规则,从原始数据中自动化地去提取特征,是一种端到端(end-to-end)的学习。相较于传统的方法,深度学习能够学习到更高效的特征与模式。

图分类技术

图分类是许多不同领域中实际应用的问题。为了解决这个问题,通常会计算某些图形统计数据(即图形特征),它们有助于区分不同类别的图形。在计算这些特征时,大多数现有方法会对全图进行处理。

节点分类技术

节点分类任务是算法必须通过查看其邻居的标签来确定样本的标记(表示为节点)的任务。

动作分类技术

动作分类任务涉及从视频剪辑(一串二维帧序列)中识别不同的动作,并对动作进行归类。

暂无评论
暂无评论~