清华大学孙茂松组:图神经网络必读论文列表

近年来,神经网络研究成为深度学习领域的热点。最近,清华大学朱文武等人综述了图网,清华大学孙茂松组也发布了预印版综述文章 Graph Neural Networks: A Review of Methods and Applications。除此之外,孙茂松组周界、崔淦渠、张正彦同学对 GNN 相关的综述论文、模型与应用进行了综述,并发布在 GitHub 上。

GitHub 链接:https://github.com/thunlp/GNNPapers

综述论文

这部分共介绍了 8 篇论文,包括前面提到的清华大学的两篇综述论文。

机器之心介绍过其中的部分论文,参见:

模型

模型部分包括 35 篇论文,包括:

  • Yoshua Bengio 发表在 ICLR 2018 上的论文《Graph Attention Networks》,该论文提出了基于近邻节点注意机制的网络架构 GAT,可用于处理复杂、不规则结构的计算图,并在三种困难的基准测试中得到了业内最佳水平,研究人员称该模型有望在未来处理任意不规则结构图。

  • 谷歌发表在 ICLR 2018 上的论文《Graph Partition Neural Networks for Semi-Supervised Classification》,该论文提出了一种神经网络的新变体——图分割神经网络(Graph Partition Neural Network,GPNN),该网络适用于处理大型图。

  • 清华朱军等人发表在 ICML 2018 上的论文《Stochastic Training of Graph Convolutional Networks with Variance Reduction》,提出基于控制变量的图卷积网络(GCN),有效减少感受野大小。

  • 腾讯 AI Lab 发表在 AAAI 2018 上的论文《Adaptive Graph Convolutional Neural Networks》,提出自适应图卷积神经网络 AGCN,可接受任意图结构和规模的图作为输入。

  • 李佳等人发表在 TOMM 2015 上的论文《CelebrityNet: A Social Network Constructed from Large-Scale Online Celebrity Images》,提出了一种基于图像的社交网络 CelebrityNet,该网络基于名人照片中编码的隐性关系构建而成。

  • KDD 2018 最佳论文《Adversarial Attacks on Neural Networks for Graph Data》,提出了针对图深度学习模型的对抗攻击方法,是首个在属性图上的对抗攻击研究;研究者还提出了一种利用增量计算的高效算法 Nettack。

  • ……

论文列表如下:

应用

应用部分有 86 篇论文,包括:

  • DeepMind 发表在 ICLR 2017 上的论文《Discovering objects and their relations from entangled scene representations》和《Metacontrol for Adaptive Imagination-Based Optimization》,介绍了交互网络在场景理解和基于想象的决策(imagination-based decision-making)上的应用。

  • Geoffrey Hinton 等人发表在 NIPS 2016 上的论文《Attend, Infer, Repeat: Fast Scene Understanding with Generative Models》,该论文提出了一个用于结构化图像模型(可以对目标进行明确的推理)中的有效推理的框架。这种方法是通过使用一个循环神经网络来执行概率推理——该循环神经网络可以处理场景元素且一次处理一个。关键的是,该模型自身可以学习选择合适数量的推理步骤。相比于监督式的方法,该网络可以产出更精确的推理,而且它们的结构也可以使归纳得到进一步的提升。

  • 港中文发表在 AAAI 2018 上的论文《Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition》,该论文提出了一种时空图卷积网络,并利用它们进行人类行为识别。这种算法基于人类关节位置的时间序列表示而对动态骨骼建模,并将图卷积扩展为时空图卷积网络而捕捉这种时空的变化关系。

  • CMU 和谷歌的 CVPR 2018 Spotlight 论文《Iterative Visual Reasoning Beyond Convolutions》,提出了一种新的迭代视觉推理框架。该框架超越了目前只具备卷积堆栈推理能力的识别系统。该框架由两个核心模块组成:一个是局部模块,使用空间记忆以并行更新的方式存储以前的信念;另一个是全局图形推理模块。

  • 谷歌发表在 NIPS 2017 上的著名论文《Attention Is All You Need》,提出了一种新型的简单网络架构——Transformer,它完全基于注意力机制,彻底放弃了循环和卷积。

  • Christopher D. Manning 发表在 EMNLP 2015 上的论文《Effective Approaches to Attention-based Neural Machine Translation》,探讨了两种简单有效的注意机制类别:一种能顾及到所有源词的全局方法,以及一种只能一次查看源词的一个子集的局部方法。

  • DeepMind 2018 年的研究《Relational Deep Reinforcement Learning》,提出了一种「关系性深度强化学习」方法,并在星际争霸 2 中进行了测试。

  • 来自微软研究院和西门菲莎大学的研究者发表在 ICLR 2018 上的论文《Learning to Represent Programs with Graphs》,提出基于程序图简化程序分析,从源代码中学习。该方法结合基于数理逻辑自然语言理解的程序分析方法,可以更准确地查找已发布软件中的 bug。

  • 清华朱军等人发表在 ICML 2018 上的论文《Adversarial Attack on Graph Structured Data》,关注神经网络的鲁棒性,即通过攻击(对抗)训练的方法来增强神经网络分类的稳定性。

  • Christopher D. Manning 等人发表在 ACL 2015 上的论文《Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks》,提出了改善语义表征的 Tree-LSTM,用于自然语言处理任务,在预测句子相关度和情感分类任务上表现优异。

  • Christopher D. Manning 等人发表在 EMNLP 2018 上的论文《Graph Convolution over Pruned Dependency Trees Improves Relation Extraction》,提出一种用于关系提取的图卷积网络变体。

  • UCLA 朱松纯教授等人发表在 ECCV 2018 上的论文《Learning Human-Object Interactions by Graph Parsing Neural Networks》,提出图解析神经网络(Graph Parsing Neural Network,GPNN),用于检测和识别图像和视频中人-物交互的任务。

  • ……

论文列表如下:

理论综述图神经网络孙茂松清华大学
13
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

微软机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
何恺明人物

Facebook AI Research研究科学家。Residual Net提出者。

李佳人物

李佳,此前曾任谷歌云机器学习/人工智能研发负责人(Head of R&D, AI/ML, Senior Director at Cloud,Google)。本科毕业于中国科大自动化系。新加坡南洋理工大学硕士。在伊利诺伊大学香槟分校、普林斯顿大学与斯坦福大学跟随李飞飞从事计算机视觉研究。2011 年获斯坦福大学计算机科学博士。曾在谷歌实习,2011 年加入雅虎,2014 年成为雅虎资深研究员,开始领导雅虎实验室的视觉计算和机器学习部门。2015 年 2 月,Snapchat 聘请李佳担任公司研发主管。2016 年加入谷歌。2018年11月从谷歌离职,全职参与斯坦福医学院智能医院项目。

相关技术
朱松纯人物

朱松纯是全球著名计算机视觉专家,统计与应用数学家、人工智能专家,现任美国加州大学洛杉矶分校 [UCLA] 统计系与计算机系教授,UCLA计算机视觉、认知、学习与自主机器人中心主任。

朱军人物

朱军,清华大学计算机系长聘副教授、卡内基梅隆大学兼职教授。2001 到 2009 年获清华大学计算机学士和博士学位,之后在卡内基梅隆大学做博士后,2011 年回清华任教。主要从事人工智能基础理论、高效算法及相关应用研究,在国际重要期刊与会议发表学术论文百余篇。担任人工智能顶级杂志 IEEE TPAMI 和 AI 的编委、《自动化学报》编委,担任机器学习国际大会 ICML2014 地区联合主席, ICML (2014-2018)、NIPS (2013, 2015, 2018)、UAI (2014-2018)、IJCAI(2015,2017)、AAAI(2016-2018)等国际会议的领域主席。获 CCF 自然科学一等奖、CCF 青年科学家奖、国家优秀青年基金、中创软件人才奖、北京市优秀青年人才奖等,入选国家「万人计划」青年拔尖人才、MIT TR35 中国区先锋者、IEEE Intelligent Systems 杂志评选的「AI's 10 to Watch」(人工智能青年十杰)、及清华大学 221 基础研究人才计划。

深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

深度强化学习技术

强化学习(Reinforcement Learning)是主体(agent)通过与周围环境的交互来进行学习。强化学习主体(RL agent)每采取一次动作(action)就会得到一个相应的数值奖励(numerical reward),这个奖励表示此次动作的好坏。通过与环境的交互,综合考虑过去的经验(exploitation)和未知的探索(exploration),强化学习主体通过试错的方式(trial and error)学会如何采取下一步的动作,而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励(accumulated reward)。 一般来说,真实世界中的强化学习问题包括巨大的状态空间(state spaces)和动作空间(action spaces),传统的强化学习方法会受限于维数灾难(curse of dimensionality)。借助于深度学习中的神经网络,强化学习主体可以直接从原始输入数据(如游戏图像)中提取和学习特征知识,然后根据提取出的特征信息再利用传统的强化学习算法(如TD Learning,SARSA,Q-Learnin)学习控制策略(如游戏策略),而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

关系提取技术

关系抽取任务需要检测和分类一组工件中的语义关系提及,通常来自文本或XML文档。该任务与信息提取(IE)的任务非常相似,但是IE另外需要去除重复关系(消歧),并且通常指的是提取许多不同的关系。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

图网技术

ImageNet 是一个计算机视觉系统识别项目, 是目前世界上图像识别最大的数据库。

推荐文章
暂无评论
暂无评论~