萝卜兔作者

注意力机制在图卷积中的应用

01

图卷积神经网络(GCN)最近已成为众多分析任务最强大的工具之一,从社交网络和自然语言处理到生物化学领域,这要归功于GCN对复杂关系的处理能力。目前,绝大多数GCN都使用邻域聚合框架来学习连续紧凑的向量,然后执行池化操作得到图嵌入用于图分类任务。这些方法在图分类任务中有两个缺点:(1)当只使用最大的子图结构(k-hop neighbor)用于邻域聚合,在图卷积中会丢失大量信息; (2)使用简单的平均/总和或最大池化,这损失了每个节点的特征和节点之间的关系信息。在本文中,我们提出了一种新的框架,称为双重注意图卷积网络(DAGCN)来解决上述问题。DAGCN通过新的注意力图卷积层自动学习不同hops邻居节点的重要性,然后采用第二注意力组件,自注意力池化层,从矩阵图嵌入的各个方面推广图表示。DAGCN以端到端的方式训练模型完成图分类任务。论文将DAGCN与目前一些方法进行了比较。实验结果表明,DAGCN框架不仅优于其他基准模型,而且实现了更好的收敛速度。


论文链接:https://arxiv.org/abs/1904.02278
02

我们研究了Relational Graph Attention Networks(关系图注意力网络),这是一类扩展non-relational图注意力机制以结合关系信息的模型,然后将这些方法应用于更广泛的问题。论文对这些模型进行了比较全面评估,并与基准模型进行了比较。为了提供有意义的比较,论文重新训练了关系图卷积网络,关系图注意力网络,并在相同条件下做了评估。发现关系图注意力网络的性能比预期的要差。论文提供了有关原因的见解,并建议对评估策略进行修改,以及调查未来工作的方向。


论文链接:https://arxiv.org/pdf/1904.05811.pdf


03

最近,掀起一股对图表示学习的浪潮。然而,当前的动态图学习方法在建模节点之间的时间,多关系和并发交互方面缺乏原则性的方法。这对时态知识图推理的任务尤其有问题,其目标随着时间推移是预测看不见的实体关系(即事件)。论文提出了Recurrent Event Network——一种用于建模复杂事件序列的架构。由一个循环事件编码器和一个邻域聚合器组成。事件编码器使用RNN从历史实体交互中捕获(主体,关系)特定模式; 邻居聚合器总结了每个时间戳内的并发交互。输出层设计用于预测即将发生的多关系事件。


论文链接:https://arxiv.org/pdf/1904.05530.pdf

04

视觉对话虽然取得了一些进展,但是一些细节问题上仍然存在挑战。注意力机制证明了其在视觉对话中提取细节问题的能力,并且由于其可解释性和有效性而为视觉对话提供了可信任的框架。然而,数据多种utility的出现对现有的注意力技术提出了挑战。本文是为了解决了这个问题,提出了一种用于视觉对话的通用注意力机制,为此,我们设计了基于注意力机制的factor graph,它可以用于任意数量的utility表示。论文还证明了该方法在各种基准数据集上的适用性。


论文链接:https://arxiv.org/pdf/1904.05880.pdf

05

在许多应用中都可以找到Spherical data 。通过将离散球体建模为graph,可以适应非均匀分布,部分和变化的采样。此外,图卷积在计算上比spherical 卷积更有效。由于需要利用等效性来利用旋转对称性,我们将讨论如何使用Defferrard等人介绍的图神经网络来逼近旋转等效。实验表明旋转不变学习问题具有良好的性能。

论文链接:https://arxiv.org/pdf/1904.05146.pdf

极验
极验

极验是全球顶尖的交互安全技术服务商,于2012年在武汉成立。全球首创 “行为式验证技术” ,利用生物特征与人工智能技术解决交互安全问题,为企业抵御恶意攻击防止资产损失提供一站式解决方案。

理论注意力机制图卷积神经网络
3
相关数据
池化技术

池化(Pooling)是卷积神经网络中的一个重要的概念,它实际上是一种形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效的原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。

自注意力技术

自注意力(Self-attention),有时也称为内部注意力,它是一种涉及单序列不同位置的注意力机制,并能计算序列的表征。自注意力在多种任务中都有非常成功的应用,例如阅读理解、摘要概括、文字蕴含和语句表征等。自注意力这种在序列内部执行 Attention 的方法可以视为搜索序列内部的隐藏关系,这种内部关系对于翻译以及序列任务的性能非常重要。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

最大池化技术

最大池化(max-pooling)即取局部接受域中值最大的点。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

图卷积神经网络技术

图卷积神经网络(Graph Convolutional Network)是一种能对图数据进行深度学习的方法。GCN的三个主要特征:它是卷积神经网络在 graph domain 上的自然推广;它能同时对节点特征信息与结构信息进行端对端学习;适用于任意拓扑结构的节点与图;

推荐文章
暂无评论
暂无评论~