2022 年 1 月，上海交通大学自然科学研究院、数学科学学院副教授王宇光做客机器之心「2021-2022 年度 AI 技术趋势洞察」的「理论专场」直播间时，为我们带来了主题为「几何深度学习的算法设计和数学理论」的相关报告。
本文整理了会议中的一些精选内容，完整回放视频可点击「阅读原文」查看。
过去一年几何深度学习与 Science 融合应用取得巨大的突破
王宇光教授在「几何深度学习的算法设计和数学理论」的相关报告谈到，2021 年几何深度跟 Science 融合取得巨大突破。这两项相关的研究都来自于 DeepMind 。第一项是 Science 2021 十大科学研究之最 AlphaFold，AlphaFold 结合几何深度学习模块成功实现了对蛋白质结构进行快速有效的预测。第二项是 DeepMind 与顶级数学家合作，将 AI 应用于纯数学的两个领域：拓扑和表示论。其中 DeepMind 与牛津大学的 Marc Lackenby 教授和 András Juhász 教授一起，通过研究纽结 (Knot)的结构发现了不同数学领域之间的意外联系；与悉尼大学的 Geordie Williamson 教授一起，DeepMind 发现了一个关于排列猜想的新公式，该猜想几十年来一直未解决。
图神经网络表达能力的提升与稳健性的增强
在本场技术报告中，王宇光教授跟我们介绍了两个方面的研究成果：一个是关于图神经网络表达能力提升方法。另一个是关于图神经网络稳健性增强的方法。
首先，王宇光教授为我们分享了图神经网络的相关概念。图神经网络（Graph Network）是一种基于图结构数据的深度网络结构，图结构数据节点间有相互连接，因此在节点上以及边上都有相应的特征。每个特征提取层是图卷积和消息传递。
紧接着，王宇光教授向我们介绍了谱图卷积框架。
王宇光教授指出，要想增强图卷积网络的稳健性和抗噪能力可以通过图框架小波变换来实现。只不过在这里要使用稀疏的 L1 正则，这种正则才能够使得得到的系数表示在尽量少的情况下，更有效地提取近似特征和细节特征。
消息传递单纯复形网络
要超越图神经网络的表达，需要提取更多的信息，王宇光教授表示可以通过提取图或者提取更高阶的拓扑结构放到网络的学习中来提升图神经网络的学习能力。
但同时 GNNs 有如下三个缺陷：
图神经网络在群组相互作用中表现效果比较差
不能提取高阶的结构信息
更高阶信号中，不能有效提取很长的路径
而可以改善这三个缺陷的一个新型的网络叫单纯复形网络。单纯复形事实上是一个拓扑集合，它在做子集运算时是闭的，并且它包含所有的单点集。
在这部分中，王宇光教授向我们介绍了一个计算复杂度理论相关的算法：WL （Weisfeiler-Lehman）算法。该算法用于判断两个图是否同构。该算法有一种特定的程序，即 WL 测试。
而在单纯复形网络中，要考虑将 WL 算法推广到单纯形 WL 测试（SWL）。
SWL 对应一种单纯形状的神经网络的一个消息传递模式，把它借鉴过来，称为消息传递单纯复兴网络。王宇光教授指出通过 SWL 构造 MPSN ，从而可以在几何深度学习中利用数据的高阶结构信息。
同时，王宇光教授表示从计算复杂性和网络复杂性两个维度来看 MPSNs 是优于 GNNs 的表达能力。
最后，王宇光教授指出如何设计有效处理对抗攻击、局部噪音、如何提高 MPSN 的泛化能力以及有效学习环等更适合分子结构的拓扑特征是我们后续需要关注的问题。
