陈萍机器之心编译

步入2021,大热的GNN会在哪些应用领域大展拳脚呢?

由于 GNN 在图节点之间强大的建模功能,使得与图分析相关的研究领域取得了突破。本文我们将介绍关于 GNN 热门应用研究。

近年来,由于图结构的强大表现力,用机器学习方法分析图的研究越来越受到重视。图神经网络(GNN)是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性,现已被广泛应用到各个领域。

在本文中,机器学习研究科学家 Sergei Ivanov 盘点一下 2021 年需要了解的 GNN 应用热点,涵盖了推荐系统、组合优化、计算机视觉、物理 / 化学以及药物发现等领域。

推荐系统

图结构数据是来自用户与电子商务平台上产品交互的上下文中,因此,许多公司采用 GNN 进行产品推荐。一个标准的案例是对用户于商品的交互关系进行建模,然后以某种形式的负采样损失学习节点嵌入,并使用 KNN 索引实时检索给定用户的相似商品。首批使用这种 pipeline 的公司是 Uber Eats,该公司通过 GraphSage 网络推荐食品和餐馆。

此外,对于食品推荐,由于推荐的地理限制,生成的图相对较小,但一些公司在数十亿个边缘的规模上成功使用了 GNN。中国零售业巨头阿里巴巴在拥有数十亿用户和产品的网络上使用图嵌入技术和 GNN。构建这样的图可能是工程上的噩梦,但是对于最近的 Aligraph pipeline 而言,仅需五分钟即可构建具有 4 亿节点的图。Aligraph 支持高效的分布式图形存储、优化采样操作符以及大量内部 GNN。它目前部署在阿里巴巴的多个产品中,用于推荐和个性化搜索。

阿里巴巴、 亚马逊和许多其他电商公司使用 GNN 来增强推荐系统的能力。

类似地,Pinterest 提出了 PinSage 模型,该模型使用个性化 PageRank 有效地对邻域进行采样,并通过在每个邻域中聚合来有效地更新节点嵌入。他们的后续 PinnerSage 进一步扩展了该架构,用以处理多种嵌入问题,以满足不同的用户需求。这些只是该领域的几个值得注意的例子(你也可以查看 Amazon 关于知识图谱和 GNN 的研究或 Fabula AI 使用 GNN 进行虚假新闻检测的研究,但很明显,如果来自用户互动的信息足够强大的话,GNN 会在推荐系统问题上得到不错的结果)。

组合优化

组合优化(combinatorial optimization, CO)问题的求解是金融、物流、能源、生命科学和硬件设计中的关键。这些问题大多是用图表示的。因此,上个世纪的大量研究都集中在更有效地解决 CO 问题的算法上;然而,机器学习驱动的现代计算革命为解决此类问题的方法提供了一种引人瞩目的新方式。

谷歌大脑团队使用 GNN 优化了新硬件(如 Google 的 TPU)芯片块的功耗、面积和性能。计算机芯片可以理解为由内存和逻辑部件组成的图,每个图均由其部件的坐标和类型表示。确定每个组件的位置,同时遵守密度和布线拥塞的限制,这是一个费力的过程,但仍然是电气工程师的工作重点。谷歌大脑团队利用 GNN 模型与策略和收益强化学习(RL)功能相结合,生成优化的电路芯片布局,甚至优于手工设计的硬件布局。

与国际象棋和围棋相比,芯片布局的复杂性。

另一种方法采用不同的途径,将 ML 模型集成到现有求解器中。例如,Gasse 等人在论文《Exact Combinatorial Optimization with Graph Convolutional Neural Networks》中提出了一种用于学习分支定界变量选择策略的图网:混合整数线性规划(MILP)求解器中的关键步骤。通过这种方式,学习到的表示试图最小化求解器的运行时间,并显示出在推理时间和决策质量之间的良好平衡。

在 DeepMind 和谷歌的最新研究《Solving Mixed Integer Programs Using Neural Networks》中,图网被用于 MILP 求解器中的两个关键子任务:联合变量分配和限制目标值。他们提出的神经网络方法是包括 Google 生产包装和计划系统在内的庞大数据集上现有求解器速度的 2 至 10 倍。有关此主题的更多内容,请参考《Reinforcement Learning for Combinatorial Optimization: A Survey》等综述论文。

计算机视觉

由于世界上的一切对象是密切联系的,包含这些对象的图像也可以从 GNN 中受益。感知图像的其中一种方法是通过场景图(论文《Scene Graph Generation by Iterative Message Passing》),即出现在图像中的对象以及它们之间关系的集合。场景图已在图像检索、理解和推理、字幕生成、视觉问答以及图像生成中得到了应用,该方法可以极大地提高模型的性能。

在 Facebook 的论文《Specifying Object Attributes and Relations in Interactive Scene Generation》中,研究者可以将 CV 数据集 COCO 中的对象放置在画布中,并指定对象的位置和大小以创建场景图。然后他们使用 GNN 对图像进行编码以确定每个对象的嵌入,进而将其与 CNN 一起使用以生成对象的 mask、边框和外观。最终,用户可以方便地在图形中添加新节点(指定该节点的相对位置和大小)以使 GNN/CNN 使用这些对象生成图像。

使用场景图生成图像。

CV 中图像的另一个来源是两个相关图像的匹配,这是一个经典问题,过去采用手工描述符实现。3D 图形公司 Magic Leap 发布了一种名为 SuperGlue 的 GNN 体系架构,该架构可在实时视频中执行图形匹配,用于 3D 重建、位置识别、本地化和映射(SLAM)等任务。SuperGlue 包含一个基于注意力的 GNN,它学习图像关键点的表征,进而馈入匹配的最优传输层。该模型在现代 GPU 上实时执行匹配,并且可以轻松集成到现代 SLAM 系统中。有关图形与计算机视觉相交的更多内容,请查看综述文章《Computing Graph Neural Networks: A Survey from Algorithms to Accelerators 》。

物理 / 化学

生命科学得益于将粒子或分子之间的交互表示为一个图,然后用 GNN 预测这类系统的性质。在 Facebook 和 CMU 的开放催化器项目(Open Catalyst Project)项目中,最终目的是找到储存太阳能或风能等可再生能源的新方法。其中一个可能的解决办法是通过化学反应将这种能量转化为其他燃料,例如氢。然而,这需要发现能够以高速率驱动化学反应的新催化剂,并且诸如 DFT 的已知方法成本高昂。开放催化剂项目开源了一个最大的催化剂数据集以及 DFT 弛豫和 GNN 基准方法。目的是希望找到新的高效且低成本的催化剂分子。

吸附物(小连接分子)和催化剂表面的初始和松弛状态示例。

DeepMind 的研究者还应用 GNN 来模拟水或沙等复杂粒子系统的动力学过程。通过在每一步预测每个粒子的相对运动,就有可能合理地重建整个系统的动力学,并进一步了解控制运动的基本规律。例如,这种方法被用来理解玻璃化转化,这是固态理论中最有趣的尚未解决的问题之一。使用 GNN 不仅可以模拟过渡过程中的动力学,还可以更好地理解粒子如何根据距离和时间相互影响。

此外,位于美国的物理实验室费米国立加速器实验室(Fermilab)致力于将 GNN 迁移到 CERN 的大型强子对撞机(LHC)的结果分析上。其目标是处理数百万张图像,并选择那些可能与发现新粒子有关的图像。他们的任务是在 FPGA 上实现 GNN,并将其与数据采集处理器集成,这样就可以在世界各地远程运行 GNN。要了解 GNN 在粒子物理中的更多应用,请查看 Jonathan Shlomi 等人论文《Graph Neural Networks in Particle Physics》。

药物发现

制药公司每年都会投入数十亿美元的研发资金用来寻找药物开发的新模式。在生物学中,图可以表示为不同规模的交互。在分子水平上,图的边缘可以是分子中原子之间的键或蛋白质中氨基酸残基之间的相互作用。而在更大的范围内,图可以表示更复杂的结构(如蛋白质、mRNA 或代谢物)之间的相互作用。根据特定的抽象层次,这些图可用于目标识别、分子性质预测、高通量筛选、新型药物设计、蛋白质工程和药物再利用等领域。

基于 GNN 的药物发现时间表。Gaudelet et al., 2020

或许,使用 GNN 进行药物发现最有希望的是 2020 年 MIT 研究者以及合作者发表在《细胞》(Cell)上的文章《A Deep Learning Approach to Antibiotic Discovery》。在这项研究中,他们提出了一种被称为 Chemprop 的深度 GNN 模型,用来预测分子是否具有抗生素特性:对大肠杆菌的生长抑制作用。在仅使用 FDA 批准的药物库中的大约 2500 个分子对其进行训练后,Chemprop 被应用于更大的数据集,包括包含 Halicin 分子的 Drug Repurposed Hub。

值得注意的是,以前仅对 Halicin 分子进行过研究,因为其结构与已知抗生素相差很大。然而,实验室进行的体内体外临床试验都证明了 Halicin 是广谱抗生素。针对强大 NN 模型的广泛基准测试表明了在 Halicin 发现中使用 GNN 学习特征的重要性。除了这项研究的实用性之外,Chemprop 架构也值得更多的关注。与其它 GNN 模型不同,Chemprop 有 5 层和 1600 个隐藏维,在此类任务上参数远远多于典型的 GNN。当然,这只是少数即将在 AI 中发现的新医学之一。有关此主题的更多结果,请查看最近的一篇综述文章《Utilising Graph Machine Learning within Drug Discovery and Development》和博客文章《What 2021 holds for Graph ML?》。

原文链接:https://medium.com/criteo-engineering/top-applications-of-graph-neural-networks-2021-c06ec82bfc18
理论GNN应用热点
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

推荐系统技术

推荐系统(RS)主要是指应用协同智能(collaborative intelligence)做推荐的技术。推荐系统的两大主流类型是基于内容的推荐系统和协同过滤(Collaborative Filtering)。另外还有基于知识的推荐系统(包括基于本体和基于案例的推荐系统)是一类特殊的推荐系统,这类系统更加注重知识表征和推理。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

药物发现技术

在医学,生物技术和药理学领域,药物发现是发现新候选药物的过程。

推荐文章
暂无评论
暂无评论~