深度学习时代的图模型,清华发文综述图网络

深度学习在多个领域中实现成功,如声学、图像和自然语言处理。但是,将深度学习应用于普遍存在的图数据仍然存在问题,这是由于图数据的独特特性。近期,该领域出现大量研究,极大地提升了图分析技术。清华大学朱文武等人综述了应用于图的不同深度学习方法。

他们将现有方法分为三个大类:半监督方法,包括神经网络和图卷积网络;无监督方法,包括图自编码器;近期新的研究方法,包括图循环神经网络和图强化学习。然后按照这些方法的发展史对它们进行系统概述。该研究还分析了这些方法的区别,以及如何合成不同的架构。最后,该研究简单列举了这些方法的应用范围,并讨论了潜在方向。

引言

近十年,深度学习成为人工智能机器学习这顶皇冠上的明珠,在声学、图像和自然语言处理领域展示了顶尖的性能。深度学习提取数据底层复杂模式的表达能力广受认可。但是,现实世界中普遍存在的图却是个难点,图表示对象及其关系,如社交网络、电商网络、生物网络和交通网络。图也被认为是包含丰富潜在价值的复杂结构。因此,如何利用深度学习方法进行图数据分析近年来吸引了大量的研究者关注。该问题并不寻常,因为将传统深度学习架构应用到图中存在多项挑战:

不规则领域:与图像不同,音频和文本具备清晰的网格结构,而图则属于不规则领域,这使得一些基础数学运算无法泛化至图。例如,为图数据定义的卷积和池化操作并不是直接的,而这些是卷积神经网络(CNN)中的基础操作。这通常被称为几何深度学习问题 [7]。

多变的结构和任务:图具备多样化的结构,因此比较复杂。例如,图可以是同质的也可以是异质的,可以是加权的也可以不加权,可以是有符号的也可以是无符号的。此外,图任务也有很多种,从节点问题(如节点分类和连接预测)到图问题(如图分类和图生成)不一而足。多变的结构和任务需要不同的模型架构来解决特定的问题。

可扩展性和并行化:在大数据时代,实际的图数据很容易扩展成数百万节点和边,如社交网络或电商网络。因此,如何设计可扩展模型(最好具备线性时间复杂度)成为关键的问题。此外,由于图中的节点和边是互连的,通常需要作为一个整体来建模,因此如何实施并行化计算是另一个关键问题。

跨学科:图通常与其他学科有关,如生物学、化学或社会科学。这种跨学科性质提供了机会,当然也有挑战:领域知识可用于解决特定问题,但集成领域知识可能使模型设计更难。例如,在生成分子图时,目标函数和化学约束通常是不可微的,因此无法轻松使用基于梯度的训练方法。

为了解决这些挑战,研究人员付出了大量努力,因此该领域有大量相关论文和方法的文献。之前研究采用的架构也是变化万千,从监督式方法到无监督方法,从卷积网络到递归网络都有。但是,几乎没有什么研究系统性概述这些方法之间的区别和联系。

本研究尝试通过对图深度学习方法的综述填补这一空白。如图 1 所示,该研究将现有方法分为三个大类:半监督方法、无监督方法和近期进展。具体来说,半监督方法包括神经网络(GNN)和图卷积网络(GCN),无监督方法主要包括图自编码器(GAE),近期进展包括图循环神经网络和图强化学习。这些方法的主要区别如表 1 所示。大体上,GNN 和 GCN 是半监督方法,因为它们利用节点属性和节点标签端到端地训练模型参数,而 GAE 主要使用无监督方法学习表征。近期的先进方法使用其它独特的算法(不归属前两个类别)。除了这些高层次的区别外,在模型架构上也存在很大不同。本论文主要按照这些方法的发展史和如何解决图问题进行详细综述。本研究还分析了这些模型的区别,以及如何合成不同的架构。文章最后,简单概述了这些方法的应用和潜在方向。

图 1:图深度学习方法分类。

表 1:图深度学习方法的主要区别。

表 2:常用符号表。

神经网络(GNN)

这部分介绍适用于图数据的最初半监督方法——神经网络(GNN)。

GNN 的来源可以追溯到「前深度学习」时代。GNN 的思路很简单:为了编码图的结构信息,可以用低维状态向量 s_i(1 ≤ i ≤ N)表示每个节点 v_i。受递归神经网络的启发,这里采用状态的递归定义:

其中 F(·) 是待学习的参数函数。得到 s_i 以后,使用另一个参数函数 O(·) 获取最终输出:

对于图任务,这些研究建议添加一个对应整个图独特属性的特殊节点。为学习模型参数,可采用以下半监督方法:在使用雅各比方法迭代地求解 Eq. (1),使之达到稳定点之后,使用 Almeida-Pineda 算法执行一个梯度下降步,以最小化任务特定的目标函数(例如回归任务的预测值和真值之间的平方误差);然后,重复该过程直到收敛

在 Eqs. (1)(2) 这两个简单公式的帮助下,GNN 扮演了两个重要角色。GNN 结合了处理图数据的一些早期方法,如递归神经网络马尔可夫链。GNN 的理念也为未来研究提供了一些启发:未来我们会发现,一些当前最优的 GCN 实际上具备与 Eq. (1) 类似的公式,同时也遵循与近邻交换信息的框架。事实上,GNN 和 GCN 可以被统一成一个框架,GNN 等同于使用相同层到达稳定状态的 GCN。

尽管 GNN 理论上很重要,它也有一些缺陷。首先,要确保 Eq. (1) 有唯一解,F(·) 必须是「压缩映射」(contraction map),这严重限制了建模能力。其次,由于梯度下降步之间需要很多次迭代,GNN 的计算成本高昂。由于这些缺陷、算力的缺乏(那时候 GPU 并未广泛用于深度学习)以及缺乏研究兴趣,当时 GNN 并不为社区所熟知。

GNN 的一个重大改进是门控图-序列神经网络(Gated Graph Sequence Neural Network,GGS-NN)[26]。其作者将 Eq. (1) 的递归定义换成了门控循环单元(GRU)[27],从而移除了对「压缩映射」的需求,并且该网络支持使用现代优化技术。Eq. (1) 被替换成:

GNN 及其扩展有很多应用。如 CommNet [29] 使用 GNN 学习 AI 系统中的多智能体沟通,它将每个智能体作为一个节点,并在执行动作前先与其他智能体进行多个时间步的沟通来更新智能体状态。Interaction Network (IN) [30] 使用 GNN 进行物理推理,它将对象表示为节点、将关系表示为边、使用伪时间作为模拟系统。VAIN [31] 引入了注意力机制来衡量不同的交互,从而改进了 CommNet 和 IN。关系网络 (RN) [32] 使用 GNN 作为关系推理模块,来增强其他神经网络,在视觉问答任务上取得了不错的结果。

图卷积网络(GCN)

表 3:不同图卷积网络(GCN)的对比。

图自编码器(GAE)

自编码器(AE)及其变体在无监督学习中得到广泛使用,它适合在没有监督信息的情况下学习图的节点表征。这部分首先介绍图自编码器,然后介绍图变分自编码器和其他改进版变体。

GAE 的主要特征见下表:

表 4:不同图自编码器(GAE)的对比。

自编码器

用于图的 AE 来源于稀疏自编码器(Sparse Autoencoder,SAE)。其基本思路是,将邻接矩阵或其变体作为节点的原始特征,从而将 AE 作为降维方法来学习低维节点表征。具体来说,SAE 使用以下 L2 重建损失:

实验证明 SAE 优于非深度学习基线模型。但是,由于其理论分析不正确,支持其有效性的底层机制尚未得到解释。

结构深度网络嵌入(Structure Deep Network Embedding,SDNE)[76] 解决了这个难题,它表明 Eq. (35) 中的 L2 重建损失对应二阶估计,即如果两个节点具备类似的近邻,则它们共享类似的隐藏表征。受表明一阶估计重要性的网络嵌入方法的启发,SDNE 修改了目标函数,添加了一个类似于拉普拉斯特征映射的项:

图 7:SDNE 框架图。节点的一阶估计和二阶估计都使用深度自编码器来保存。

受到其他研究的启发,DNGR [77] 将 Eq. (35) 中的转换矩阵 P 替换成随机 surfing 概率的正逐点互信息(PPMI)矩阵。这样,原始特征可以与图的随机游走概率关联起来。但是,构建这样的输入矩阵需要 O(N^2 ) 的时间复杂度,无法扩展到大规模图。

GC-MC [78] 进一步采取了不同的自编码器方法,它使用 [36] 中的 GCN 作为编码器:

解码器是简单的双线性函数:

DRNE [79] 没有重建邻接矩阵或其变体,而是提出另一种修改:使用 LSTM 聚合近邻信息,从而直接重建节点的低维向量。具体来说,DRNE 最小化以下目标函数

与之前研究将节点映射到低维向量的做法不同,Graph2Gauss (G2G) [80] 提出将每个节点编码为高斯分布 h_i = N (M(i, :), diag (Σ(i, :))),以捕获节点的不确定性。具体来说,作者将从节点属性到高斯分布均值和方差的深度映射作为编码器:

变分自编码器

与之前的自编码器不同,变分自编码器(VAE)是另一种将降维生成模型结合的深度学习方法。VAE 首次在 [81] 中提出用于建模图数据,其解码器是一个简单的线性乘积:

至于均值和方差矩阵的编码器,作者采用 [36] 中的 GCN:

由于完整图需要重建,其时间复杂度为 O(N^2)。

受 SDNE 和 G2G 的启发,DVNE [82] 提出另一个用于图数据的 VAE,它也将每个节点表示为高斯分布。但与之前使用 KL 散度作为度量的研究不同,DVNE 使用 Wasserstein 距离来保留节点相似度的传递性。与 SDNE 和 G2G 类似,DVNE 也在目标函数中保留一阶估计和二阶估计:

重建损失为:

图 8:DVNE 框架图。DVNE 使用 VAE 将节点表示为高斯分布,并采用 Wasserstein 距离来保留节点相似度的传递性。

其他改进

图 9:ARGA/ARVGA 框架图。该方法向 GAE 添加了对抗训练机制。(图中的符号与本文主题略有不同,图中的 X 和 Z 分别对应 F^V and H。


近期进展

下表展示了近期进展中多种方法的特征。

图循环神经网络(Graph RNN)

You et al. [94] 将 Graph RNN 应用到图生成问题中。他们使用两个 RNN,一个用于生成新节点,另一个自回归地为新添加的节点生成边。他们展示了这种分层 RNN 架构可以从输入图中高效学习,且时间复杂度也是可接受的。

动态神经网络(Dynamic Graph Neural Network,DGNN)[95] 使用时间感知 LSTM [100] 来学习动态图中的节点表征。在建立新的边之后,DGNN 使用 LSTM 更新两个交互节点(interacting node)及其直接近邻的表征,即考虑一步传播效应(one-step propagation effect)。作者展示了时间感知 LSTM 可以很好地建模边结构的已建立顺序以及时间间隔,这反过来惠及大量图应用。

也可以将 Graph RNN 结合其他架构,如 GCN 或 GAE。例如,RMGCNN [96] 将 LSTM 应用于 GCN 的结果,以渐进地重建图(如图 10 所示)。该方法旨在解决图稀疏性问题。动态 GCN [97] 使用 LSTM 收集动态网络中不同时间片的 GCN 结果,旨在捕获时空图信息。

图 10:RMGCNN 架构图。RMGCNN 将 LSTM 添加到 GCN 中,以渐进地重建图。

强化学习

GCPN [98] 使用强化学习执行目标导向的模块化图生成任务,以处理不可微目标和约束。具体来说,作者将图生成建模为马尔可夫决策过程,将生成模型作为在图生成环境中运行的强化学习智能体。GCPN 将类似智能体动作作为连接预测问题,使用领域特定奖励和对抗奖励,使用 GCN 来学习节点表征,从而通过策略梯度方法实现端到端地训练。实验结果证明 GCPN 在多种图生成问题上的有效性。

MolGAN [99] 采取了类似的思路,它使用强化学习来生成模块化图。不过它不是通过一系列动作来生成图,而是直接生成整个图,该方法比较适用于小分子。

结论与讨论

应用。除了标准的图推断任务(如节点分类或图分类)基于图的深度学习方法还被应用于大量学科,如建模社会影响力 [103]、推荐 [51], [78], [96]、化学 [37], [41], [50], [98], [99]、物理 [104], [105]、疾病预测或药物预测 [106]–[108]、自然语言处理 [109], [110]、计算机视觉 [111]–[114]、交通预测 [115], [116]、程序归纳 [117],以及解决基于图的 NP 问题 [118], [119]。

还有一些值得讨论的方向:

不同类型的图。图数据的结构变化万千,现有方法无法处理所有结构。例如,大部分方法聚焦于同质图,很少有研究涉及异质图,尤其是包含不同模态的图。有符号网络(其负边表示节点之间的冲突)也有独特结构,对现有方法提出了挑战。表示两个以上对象之间复杂关系的超图(Hypergraph)也未得到完备研究。接下来重要的一步是涉特定的深度学习模型来处理这些不同类型的图。

动态图。大部分现有方法聚焦于静态图。然而,很多现实中的图是动态的,其节点、边和特征都会随着时间而改变。例如,在社交网络中,人们可能建立新的社交关系、删除旧的关系,其爱好和职位等特征都会随着时间改变。新用户可能会加入社交网络,老用户也可能离开。如何建模动态图不断变化的特征,支持逐渐更新的模型参数?这个问题仍然是个开放性问题。一些初步研究尝试使用 Graph RNN 架构解决该问题,结果令人鼓舞 [95], [97]。

可解释性。由于图通常与其他学科相关,解释图深度学习模型对于决策问题来说是关键。例如,在医疗问题中,可解释性在将计算机经验转换为临床使用中必不可少。但是,基于图的深度学习模型比其他黑箱模型更难解释,因为图中的节点和边高度关联。

复合性。如前所述,很多现有架构可以结合起来使用,例如将 GCN 作为 GAE 或 Graph RNN 中的一个层。除了涉及新的构造块以外,如何符合这些已有架构是一个有趣的未来研究方向。近期研究 Graph Networks [9] 跨出了第一步,它使用 GNN 和 GCN 的通用框架来解决关系推理问题。

总之,上述调查展示了基于图的深度学习是一个很有前景并发展迅速的领域,机会与挑战并存。研究基于图的深度学习为建模关系数据提供了关键的构造块,也是走向更好的机器学习人工智能时代的重要一步。

理论综述论文清华大学图网络
11
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

数据分析技术

数据分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 数据分析可以处理大量数据,并确定这些数据最有用的部分。

池化技术

池化(Pooling)是卷积神经网络中的一个重要的概念,它实际上是一种形式的降采样。有多种不同形式的非线性池化函数,而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域,对每个子区域输出最大值。直觉上,这种机制能够有效的原因在于,在发现一个特征之后,它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小,因此参数的数量和计算量也会下降,这在一定程度上也控制了过拟合。通常来说,CNN的卷积层之间都会周期性地插入池化层。

视觉问答技术

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用,正态分布在统计学上非常重要。中心极限定理表明,由一组独立同分布,并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成,因而往往也具有正态分布。

变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出,它包括两部分:编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征,低级表征叫作本征向量(latent vector)。解码器吸收数据的低级表征,然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本,其结构跟自动编码器是类似的,也由编码器和解码器构成。在自动编码器中,需要输入一张图片,然后将一张图片编码之后得到一个隐含向量,这比原始方法的随机取一个随机噪声更好,因为这包含着原图片的信息,然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片,因为没有办法自己去构造隐藏向量,所以它需要通过一张图片输入编码才知道得到的隐含向量是什么,这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制,迫使其生成的隐含向量能够粗略的遵循一个标准正态分布,这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易,只需要给它一个标准正态分布的随机隐含向量,这样通过解码器就能够生成想要的图片,而不需要给它一张原始图片先编码。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

时间复杂度技术

在计算机科学中,算法的时间复杂度是一个函数,它定量描述了该算法的运行时间。这是一个代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述,不包括这个函数的低阶项和首项系数。使用这种方式时,时间复杂度可被称为是渐近的,亦即考察输入值大小趋近无穷时的情况。例如,如果一个算法对于任何大小为 n (必须比 n0 大)的输入,它至多需要 5n3 + 3n 的时间运行完毕,那么它的渐近时间复杂度是 O(n3)。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集(或特征)的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的,这让「神经网络在执行预测任务时可以更多关注输入中的相关部分,更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时,源句子中仅有少部分是相关的;因此,可以应用一个基于内容的注意力机制来根据源句子动态地生成一个(加权的)语境向量(context vector), 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

门控循环单元技术

门控循环单元(GRU)是循环神经网络(RNN)中的一种门控机制,与其他门控机制相似,其旨在解决标准RNN中的梯度消失/爆炸问题并同时保留序列的长期信息。GRU在许多诸如语音识别的序列任务上与LSTM同样出色,不过它的参数比LSTM少,仅包含一个重置门(reset gate)和一个更新门(update gate)。

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。 要使用梯度下降找到函数的局部最小值,可以采用与当前点的函数梯度(或近似梯度)的负值成比例的步骤。 如果采取的步骤与梯度的正值成比例,则接近该函数的局部最大值,被称为梯度上升。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

大数据技术技术

大数据,又称为巨量资料,指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

对抗训练技术

对抗训练涉及两个模型的联合训练:一个模型是生成器,学习生成假样本,目标是骗过另一个模型;这另一个模型是判别器,通过对比真实数据学习判别生成器生成样本的真伪,目标是不要被骗。一般而言,两者的目标函数是相反的。

降维技术

降维算法是将 p+1 个系数的问题简化为 M+1 个系数的问题,其中 M<p。算法执行包括计算变量的 M 个不同线性组合或投射(projection)。然后这 M 个投射作为预测器通过最小二乘法拟合一个线性回归模型。两个主要的方法是主成分回归(principal component regression)和偏最小二乘法(partial least squares)。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

马尔可夫决策过程技术

马尔可夫决策过程为决策者在随机环境下做出决策提供了数学架构模型,为动态规划与强化学习的最优化问题提供了有效的数学工具,广泛用于机器人学、自动化控制、经济学、以及工业界等领域。当我们提及马尔可夫决策过程时,我们一般特指其在离散时间中的随机控制过程:即对于每个时间节点,当该过程处于某状态(s)时,决策者可采取在该状态下被允许的任意决策(a),此后下一步系统状态将随机产生,同时回馈给决策者相应的期望值,该状态转移具有马尔可夫性质。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

稀疏自编码器技术

引入了稀疏性限制的自编码器

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

马尔可夫链技术

马尔可夫链,又称离散时间马尔可夫链,因俄国数学家安德烈·马尔可夫得名,为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质:下一状态的概率分布只能由当前状态决定,在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

推荐文章
暂无评论
暂无评论~