2021/12/29 14:45

Michael Galkin作者

2021图机器学习有哪些新突破？麦吉尔大学博士后一文梳理展望领域趋势

图机器学习领域的热门趋势和重大进展。

又一年又接近尾声，还有三天我们就要告别 2021 年了。

各个 AI 领域也迎来了年度总结和未来展望，今天来讲一讲 AI 圈始终大热的图机器学习（Graph ML）。

2021 年，图机器学习领域涌现出了成千上万篇论文，还举办了大量的学术会议和研讨会，出现了一些重大的进展。2022 年，图机器学习领域又会在哪些方面发力呢

Mila 和麦吉尔大学博士后研究员、专注于知识图谱和图神经网络（GNN）研究的学者 Michael Galkin 在一篇博客中阐述了他的观点。在文中，作者对图机器学习展开了结构化分析，并重点介绍了该领域的主要进展和热门趋势。作者希望本文可以成为图机器学习领域研究者的很好的参考。

本图由 ruDALL-E 生成。

作者主要从以下 12 个部分进行了详细的梳理：

图 Transformers + 位置特征
等变 GNNs
分子的生成模型
GNNs + 组合优化 & 算法
子图 GNN：超越 1-WL
可扩展和深度 GNN：层数 100 及以上
知识图谱
利用 GNN 做很酷的研究
新的数据集、挑战和任务
课程和书籍
库和开源
如何保持更新

图 Transformers + 位置特征

GNN 在（通常是稀疏的）图上运行，而 Graph Transformers (GT) 在全连接图上运行，其中每个节点都连接到图的其他节点。一方面，在节点数为 N 的图中，图的复杂度为 O(N^2) 。另一方面，GT 不会过度平滑，这是长程消息传递的常见问题。全连接图意味着你有来自原始图的真边和从全连接变换添加的假边，你需要进行区分。更重要的是，你需要一种方法来为节点注入一些位置特征，否则 GT 不会超过 GNN。

今年最流行的两个图 transformer 模型为 SAN 和 Graphormer。Kreuzer、Beaini 等人提出的 SAN 采用拉普拉斯算子的 top-k 特征值和特征向量。SAN 将光谱特征与输入节点特征连接起来，在许多分子任务上优于稀疏 GNN。

Ying 等人提出的 Graphormer 采用空间特征。首先，节点特征丰富了中心编码；然后，注意力机制有两个偏置项：节点 i 和节点 j 之间的最短路径距离；依赖于一条可用最短路径的边缘特征编码。

Graphormer 实现了 2021 年 Graph ML 大满贯：OGB large Challenge 和 Open Catalyst Challenge 夺得冠军

等变 GNN

等方差有何独特之处，让 Geoffrey Hinton 如此赞美？

一般来说，等方差被定义在某些转换组上，例如，3D 旋转形成 SO(3) 组，特殊正交以 3D 的形式组合。等变模型在 2021 年掀起了 ML 的风暴，在图机器学习中的许多分子任务中尤其具有突破性。应用于分子时，等变 GNN 需要一个额外的节点特征输入，即分子物理坐标的一些表征，这些表征将在 n 维空间中旋转 / 反射 / 平移。

在等变模型中，尽管变换的顺序不同，但我们都能到达相同的最终状态。图源：Satorras, Hoogeboom, and Welling

Satorras、Hoogeboom 和 Welling 提出了 EGNN、E(n) 等变 GNN，其与普通 GNN 的重要区别在于向消息传递和更新步骤添加物理坐标。等式 3 将相对平方距离与消息 m 相加，等式 4 更新位置特征。EGNN 在建模 n 体（n-body 系统、作为自动编码器和量子化学任务（QM9 数据集）方面显示出令人印象深刻的结果。

与 vanilla GNN 的主要区别：等式 3 和 4 将物理坐标添加到消息传递和更新步骤中。图源：Satorras, Hoogeboom, and Welling

另一种选择是合并原子之间的角度，就像 Klicpera、Becker 和 Günnemann 在 GemNet 中所做的那样。这可能需要将输入图转换为折线图，例如边图，其中来自原始图的边变成折线图中的节点。这样，我们就可以将角度作为新图中的边缘特征。

GemNet 在包括 COLL、MD17 和 Open Catalyst20 分子动力学任务上取得了不错的成绩，显然，等变 GNN 才刚刚起步，我们将在 2022 年看到更多进步！

分子的生成模型

由于几何深度学习，整个药物发现领域在 2021 年实现了大幅的跃进。药物发现的众多关键挑战之一是生成具有所需属性的分子（图）。这个领域很广阔，这里只提到模型的三个分支。

归一化流

Satorras、Hoogeboom 等人应用上述等变框架创建了 E(n) 等变归一化流，能够生成具有位置和特征的 3D 分子。

Shi、Luo 等人研究了在给定 2D 图形的情况下生成 3D 构象异构体（即 3D 结构）的问题。模型 ConfGF 估计了原子坐标对数密度的梯度场。这些字段是旋转平移等变的，作者想出了一种方法将这种等变属性合并到估计器中。Conformer 采样本身是通过退火朗之万动力学采样完成的。

RL 方法

该方法是以一种非常非科学的方式描述的，这些方法通过逐步附加「构建模块」来生成分子。可以根据这些方法对构建过程的调节方式对其进行广义分类。

例如，Gao、Mercado 、 Coley 以可合成性为构建过程的条件，即是否可以在实验室中实际创建这种分子。为此，他们首先学习了如何创建构建块的合成树（一种模板）。

Yoshua Bengio 领导的 Mila 和斯坦福团队提出了一个更通用的框架，他们引入了生成流网络（GFlowNets）。这很难用几句话来概括：首先，当我们想要对不同的候选者进行采样时，GFlowNets 可以用于主动学习案例，并且采样概率与奖励函数成正比。此外，团队最近的 NeurIPS'21 论文展示了 GFlowNets 应用于分子生成任务的用处。Emmanuel Bengio 的博客文章更详细地描述了该框架并提供了更多的实验证据：http://folinoid.com/w/gflownet/

GNNs + 组合优化 & 算法

2021 年，对于这个新兴的子领域来说是重要的一年。

Xu et al 在 ICLR’21 的论文中研究了神经网络的外推，并得出了一些亮眼的结论。基于算法对齐的概念，作者表示，GNN 与动态规划（DP）可以很好地对齐（如下图所示）。事实上，将经典 Bellman-Ford 算法寻找最短路径的迭代和通过 GNN 的信息的聚合组合步骤做比较，会发现很多共同点。

此外，作者表明，在建模特定 DP 算法时，为 GNN 选择合适的聚合函数至关重要，例如，对于 Bellman-Ford，需要一个最小聚合器（min-aggregator）。作者 Stefanie Jegelka 在 2021 年深度学习和组合优化研讨会上细致讲述了这项工作的主要成果：https://www.youtube.com/watch?v=N67CAjI3Axw

为了更全面的介绍这个领域，还需要重点介绍 Cappart et al 在 IJCAI’21 上的一项研究，该调查涵盖了 GNN 中的组合优化。这篇文章首次出现了神经算法推理蓝图，后来 Veličković 和 Blundell 的 Patterns 中的立场文件也对此进行了描述。

这个蓝图解释了神经网络如何在嵌入空间中模仿和授权一般离散算法的执行过程。在编码 - 处理 - 解码方式中，抽象输入（从自然输入获得）由神经网络（处理器）进行处理，其输出被解码为抽象输出，然后可以映射到更自然的任务特定输出。

例如，如果抽象输入和输出可以表示为图形，那么 GNN 可以即可成为处理器网络。离散算法的一个常见的预处理步骤是将我们对这个问题的任何所知内容转化为像「距离」或「边缘容量」这样的标量，并在这些标量上运行算法。相反，向量表征和神经执行可以轻松启用高维输入而不是简单的标量，并附加反向传播以优化处理器。

目前，该蓝图已经得到越来越多的采用，NeurIPS'21 上出现了一些很酷的作品。Xhonneux et al 研究了迁移学习是否可用于将学习到的神经执行器泛化到新任务；Deac et al 发现了强化学习中算法推理和隐式规划之间的联系。相信在 2022 年还会出现更多有关研究。

子图 GNN：超越 1-WL

如果 2020 年是首次尝试离开 GNN 表现力的 1-WL-landia 的一年，那么 2021 年则是超越 1WL-landia 的一年。这些联系已被证明很有用，我们现在拥有一些强大且更具表现力的 GNN 架构，这些架构将消息传递扩展到更高阶的结构，如单纯复形（例如 Bodnar、Frasca、Wang 等人的 MPSN 网络、胞腔复形（Bodnar、Frasca 等人的 CW Networks ））或子图。

可扩展性和深度 GNN

如果你在使用 2-4 层 GNN 时羡慕深度 ResNet 或 100 多层的大型 Transformer，那么 2021 年有两篇论文为我们带来了福音，一篇是关于随意训练 100-1000 层 GNN 的论文，另一篇是关于几乎恒定大小的邻域采样。

Li 等人提出了两种新机制，可以在训练极深的超参数化网络时减少 GPU 内存消耗：将 L 层网络的 O(L) 降低到 O(1)。作者展示了如何在 CV 或高效 Transformer 架构（例如 Reformer）中使用可逆层，并在层之间共享权重（权重绑定），以训练多达 1000 层的 GNN。下图展示了根据 GPU 需求进行的层数扩展。

图源：Li 等人的论文《 Training Graph Neural Networks with 1000 Layers 》

Godwin 等人提出了一种利用循环学习深度 GNN 的方法——在块（Block）中组织消息传递步骤，每个块可有 M 个消息传递层。然后循环应用 N 个块，这意味着有多个块共享权重。如果有 10 个消息传递层和 10 个块，你将得到一个 100 层的 GNN。其中一个重要的组成部分是 Noisy Nodes 正则化技术，它会干扰节点和边的特征并计算额外的去噪损失。该架构能更好地适用于分子任务，研究团队还在 QM9 和 OpenCatalyst20 数据集上进行了评估。

最后，如果想将任意 GNN 扩展成非常大的图，那么只有一个选择——采样子图。通常，对 k-hop 子图进行采样会导致指数级内存成本和计算图大小。

PyG 的作者 Matthias Fey 等人创建了一个在恒定时间内利用历史嵌入和图聚类扩展 GNN 的框架 GNNAutoScale。该方法在预处理期间将图划分为 B 个集群（小批量），以便最小化集群之间的连通性；然后在这些集群上运行消息传递与全批量设置一样好，并显著降低了内存要求（小了约 50 倍），这使得在商品级 GPU 上安装深度 GNN 和大型图成为可能。

知识图谱（KG）

在 2021 年之前，模型根据归纳偏置、架构和训练机制被明确分为转导和归纳两类。换句话说，转导模型没有机会适应未见过的实体，而归纳模型在中大型图上训练成本太高。2021 年有两种新架构在转导和归纳环境中均可使用。这两种架构不需要节点特征，可以在归纳模式中以与转导模式相同的方式进行训练，并可扩展到现实世界的 KG 大小。

一种是 Zhu 等人的神经 Bellman-Ford 网络，其中将经典的 Bellman-Ford 推广到了更高级别的框架，并展示了如何通过使用特定运算符实例化框架来获得其他经典方法（如 Katz 指标、PPR 、最宽路径等）。更重要的是，该研究表明泛化的 Bellman-Ford 本质上是一种关系 GNN 架构。NBFNet 不学习实体嵌入，这使得模型通过泛化到未见过的图而获得了归纳性。该模型在关系图和非关系图上的链接预测任务上都表现出色。在 KG 的应用上，NBFNet 给 FB15k-237 和 WN18RR 两个数据集带来了自 2019 年以来最大的性能提升，同时参数减少了 100 倍。

另一种是 Galkin 等人受 NLP 中标记化算法启发的新方法。在 KG 上应用时，NodePiece 将每个节点表征为一组 top-k 个最近的锚节点和节点周围的 m 个唯一关系类型。锚点和关系类型被编码为可用于任何下游任务（分类、链接预测、关系预测等）和任何归纳 / 转导设置的节点表征。NodePiece 特征可以直接被 RotatE 等非参数解码器使用，也可以发送到 GNN 进行消息传递。该模型在归纳链接预测数据集上的性能可与 NBFNet 媲美，并在大型图上表现出较高的参数效率——OGB WikiKG 2 上的 NodePiece 模型所需参数仅为浅的仅转导模型的一百分之一。

利用 GNN 做很酷的研究

Huang, He 等人在 ICLR’21 上展示了 Correct & Smooth — 一个通过标签传播改进模型预测的简单程序。仅与 MLP 配对，该方法在不使用任何 GNN 且参数少得多的情况下以最高分冲击 OGB 排行榜！今天，几乎所有 OGB 节点分类赛道中的顶级模型都使用 Correct & Smooth 来压缩更多的点。

图源：Huang, He 等人

Knyazev 等人在前向传递中预测各种神经网络架构参数的工作震惊了 ML 社区。他们没有采用随机初始化模型，而是采用预测好的参数，这样会优于随机模型。

参数预测实际上是一个图学习任务——任何神经网络架构（ResNet、ViT、Transformers）都可以表示为一个计算图，其中节点是具有可学习参数的模块，节点特征是那些参数，网络有一堆节点类型（比如，线性层、卷积层等，作者使用了大约 15 种节点类型）。参数预测则是一个节点回归任务。计算图使用 GatedGNN 进行编码，并将其新表示发送到解码器模块。为了训练，作者收集了一个包含 1M 个架构（图）的新数据集。该方法适用于任何神经网络架构，甚至适用于其他 GNN。

预测未知模型的参数的 pipeline。图源：Knyazev 等人

DeepMind 和谷歌通过将道路网络建模为超分段图并在其上应用 GNN，极大地提高了谷歌地图中 ETA 的质量。在 Pinion 等人的论文中，该任务被定义为节点级和图级回归。除此之外，作者还描述了许多需要解决的工程挑战，以便在谷歌地图规模上部署系统。应用 GNN 解决数百万用户面临的实际问题。

论文地址：https://arxiv.org/pdf/2108.11482.pdf

图源: Pinion 等人

一些资料总结

文章最后，作者介绍了一些相关资料，包括数据集、课程和书籍、一些实用的库等内容。

如果你不习惯使用 Cora、Citeseer、Pubmed 数据集，可以考虑以下：

OGB 数据集包含 3 个非常大的图，可分别用于节点分类（240M 节点）、链接预测（整个 Wikidata，90M 节点）和图回归（4M 分子）任务。在 KDD Cup 中，大多数获胜团队使用了 10-20 个模型组合；
由 Meta AI 发起的公开催化剂挑战赛（ Open Catalyst NeurIPS’21 Challenge ），提供了一项大型分子任务——给出具有原子位置的初始结构，预测其松弛状态能。这个数据集非常庞大，需要大量的计算，但组织者暗示将发布一个更小的版本，这将对 GPU 预算有限的小型实验室更友好。事实上，Graphormer 在 OGB LSC 和 OpenCatalyst ' 21 中都获得了第一名，并在 2021 年获得了 Graph ML 的大满贯；
GLB 2021 带来了一组新的数据集，包括 Lim 等人提出的 non-homophilous graphs ，Tsitsulin 等人提出的 graph simulations，以及 Rozemberczki 等人提出的 spatiotemporal graphs 等；
NeurIPS’21 数据和基准赛道带来了新数据集，MalNet 可用于图分类，该数据集的平均图大小是 15k 节点以及 35k 边；ATOM3D 可用于 3D 分子任务；RadGraph 可用于从放射学报告中提取信息。

由 Michael Bronstein、Joan Bruna、Taco Cohen 和 Petar Veličković 编写的几何深度学习原型书和课程，包含 12 个讲座和实践教程和研讨会。

书籍地址：https://arxiv.org/pdf/2104.13478.pdf
课程地址：https://geometricdeeplearning.com/lectures/

此外，比较有价值的书籍和课程还包括

由 18 位学者参与撰写的知识图谱新书：https://kgbook.org/
William Hamilton 的图表示学习手册：https://www.cs.mcgill.ca/~wlh/grl_book/

2021 年发布的库包含 TensorFlow GNN 、TorchDrug。

TensorFlow GNN 地址：https://github.com/tensorflow/gnn
TorchDrug 地址：https://torchdrug.ai/

在 2021 年持续更新的库包括：

PyG 2.0 — 现在支持异构图、GraphGym 以及一系列改进和新模型；
DGL 0.7 — 在 GPU 上进行图采样，更快的内核，更多的模型；
PyKEEN 1.6 — 更多的模型、数据集、指标和 NodePiece 支持；

英文原文：https://mgalkin.medium.com/graph-ml-in-2022-where-are-we-now-f7f8242599e0#6d56

理论图机器学习

相关数据

DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年，最初名称是DeepMind科技（DeepMind Technologies Limited），在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯，谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后，Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏，例如即时战略游戏《星际争霸II》（StarCraft II）。深度AI如果能直接使用在其他各种不同领域，除了未来能玩不同的游戏外，例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作，基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

自动编码器技术

自动编码器是用于无监督学习高效编码的人工神经网络。自动编码器的目的是学习一组数据的表示（编码），通常用于降维。最近，自动编码器已经越来越广泛地用于生成模型的训练。

来源：Wikipedia

动态规划技术

动态规划（也称为动态优化），是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划将复杂的问题分解成一系列相对简单的子问题，只解决一次子问题并存储它的解决方案（solution），下一次遇到同样的子问题时无需重新计算它的解决方案，而是简单地查找先前计算的解决方案，从而节省计算时间。动态规划适用于有最优子结构（Optimal Substructure）和重叠子问题（Overlapping Subproblems）性质的问题。

来源：Wikipedia

权重技术

线性模型中特征的系数，或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0，则相应的特征对模型来说没有任何贡献。

来源：Google AI Glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

注意力机制技术

我们可以粗略地把神经注意机制类比成一个可以专注于输入内容的某一子集（或特征）的神经网络. 注意力机制最早是由 DeepMind 为图像分类提出的，这让「神经网络在执行预测任务时可以更多关注输入中的相关部分，更少关注不相关的部分」。当解码器生成一个用于构成目标句子的词时，源句子中仅有少部分是相关的；因此，可以应用一个基于内容的注意力机制来根据源句子动态地生成一个（加权的）语境向量（context vector）, 然后网络会根据这个语境向量而不是某个固定长度的向量来预测词。

来源：机器之心

知识图谱技术

知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息（Heterogeneous Information）连接在一起而得到的一个关系网络。知识图谱提供了从“关系”的角度去分析问题的能力。知识图谱这个概念最早由Google提出，主要是用来优化现有的搜索引擎。不同于基于关键词搜索的传统搜索引擎，知识图谱可用来更好地查询复杂的关联信息，从语义层面理解用户意图，改进搜索质量。比如在Google的搜索框里输入Bill Gates的时候，搜索结果页面的右侧还会出现Bill Gates相关的信息比如出生年月，家庭情况等等。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

迁移学习技术

迁移学习是一种机器学习方法，就是把为任务 A 开发的模型作为初始点，重新使用在为任务 B 开发模型的过程中。迁移学习是通过从已学习的相关任务中转移知识来改进学习的新任务，虽然大多数机器学习算法都是为了解决单个任务而设计的，但是促进迁移学习的算法的开发是机器学习社区持续关注的话题。迁移学习对人类来说很常见，例如，我们可能会发现学习识别苹果可能有助于识别梨，或者学习弹奏电子琴可能有助于学习钢琴。

来源：机器之心 Pan, S. J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构，它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图，并通过在整张图上传递、转换和聚合节点特征信息，从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入，并用于节点分类或预测节点之间的连接，完整的模型可以通过端到端的方式训练。

来源：机器之心

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

主动学习技术

主动学习是半监督机器学习的一个特例，其中学习算法能够交互式地查询用户（或其他信息源）以在新的数据点处获得期望的输出。在统计学文献中，有时也称为最佳实验设计。

来源：Wikipedia

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

图分类技术

图分类是许多不同领域中实际应用的问题。为了解决这个问题，通常会计算某些图形统计数据（即图形特征），它们有助于区分不同类别的图形。在计算这些特征时，大多数现有方法会对全图进行处理。

来源：kdd

节点分类技术

节点分类任务是算法必须通过查看其邻居的标签来确定样本的标记（表示为节点）的任务。

来源：paperswithcode

药物发现技术

在医学，生物技术和药理学领域，药物发现是发现新候选药物的过程。

来源：wiki