2022 年 1 月，华为诺亚方舟决策推理实验室郝建业主任，上海交通大学自然科学研究院和数学科学学院副教授王宇光和清华大学智能产业研究院（AIR）助理教授黄文炳做客机器之心「2021-2022 年度 AI 技术趋势洞察」直播间，共同探讨了「通往第三代人工智能的理论之路如何走？」这一主题，洞察 AI 技术在「AI 算法理论」方面的发展趋势与潮水所向。
AI算法理论当前发展情况
在2021年AI理论方面的工作中，最让您印象深刻的是哪个？为什么？
首先，郝建业主任谈到，21 年整个 AI 发展得非常快，如果从大的 AI 方向来讲，可能印象最深的就是大模型，尤其从最开始的 NLP 领域的大模型，从 BERT 到 GPT 2 到 GPT 3，包括到现在受 GPT 的一个启发，在 CV 领域也开始涌现出一些所谓 CV 领域的一些视觉大模型，那么这块可能是目前对整个 AI 领域的冲击最大的一个技术的发展。尤其在工业界也非常重视大模型的这个技术突破，也很多人会认为它可能会打造一个新一代的服务模式，由这个 Software-as-a-Service 到 Big Model as A Service 来达到通用的云服务能力。那么这个就可能是今年 在 AI 方面无论是对学术界还产业界冲击最大的一方面。再来一个方面是有关学习优化的研究，其中，郝建业主任谈到 DeepMind 联合谷歌用神经网络与机器学习方法来解决混合整数规划（MP）问题用于基础 MIP 求解器这一工作来指出交叉融合的趋势也可能是未来一个主流的研究方向，尤其是交叉融合可以用在在解决一些传统大规模的优化问题上。
接着，王宇光教授谈到自己第一个吸引他的点是图神经网络在优化问题上的应用。王宇光教授认为通过深度学习加快优化问题的求解是一个比较好的趋势。例如使用图神经网络来将数学猜想证明转换成对图神经网络的搜索问题，借助深度学习的快速训练能力来提高对搜索问题解决的效率。此外，王宇光老师提到谷歌今年一项热门的研究：Graph Kernel Attention Transformers（GKATs）来指出利用 Transformer 结合图神经网络来达到更好的效果也是值得关注的一个趋势。
最后，黄文炳老师补充说到除了大模型、Transformer 的应用趋势外，自己印象深刻的是图灵奖获得者 Geoffrey Hinton 在 21 年年初发布最新论文讲解 GLOM，表达神经网络中部分-整体层次结构这个工作。以此来指出在模型设计中加入几何属性的设计可能是未来一个发展的潜力方向。
1月初您在上海和几位学者共同发起了“学习与优化”研讨会，邀请了白盒优化、强化学习、演化学习等黑盒优化领域的知名学者进行分享，可否请您分享一下研讨会上您印象比较深刻较为有启发的思路与工作？
郝建业主任回答道，做“学习与优化”研讨会是希望把做学习与优化，包括白盒优化、强化学习、演化学习等的一些知名学者汇聚在一起去深入交流探讨未来学习优化方向的演进思路。探讨后大家都一致认为未来应该重点去突破或者关注的一个方向就是如何将这个机器学习和传统的优化算法去做融合，来帮助更好地解决大规模，比如说上百万甚至上千万变量或者是优化的约束问题。例如，郝建业主任所在团队做的一个尝试：对求解空间做一个自适应的学习和优化可以极大地提升整个求解问题的效率。
张钹院士在《迈向第三代人工智能》一文中将符号主义称为第一代 AI, 称连接主义为第二代 AI, 将要发展的 AI 称为第三代 AI，您如何理解第三代人工智能？经过几十年的发展，人工智能演化出了多个分支流派，这些分支一直都在彼此争夺主导权，第二代人工智能的爆发，主要源于连接主义的神经网络有了突破性发展；您认为，下一代人工智能将由哪个流派主导？
黄文炳老师回答道张院士提到的第三代人工智能是恰逢其时的。在《迈向第三代人工智能》一文中，对于下一代人工智能的模式，张院士提到知识和数据的结合，即符号主义和连接主义的联姻。黄文炳老师赞成这一观点。黄文炳老师认为 AI 发展到今天很大的成功，还是归根于这个深度学习跟大数据的结合。但除此之外，我们还看到很多其他的领域，特别是科学领域，不只要求让机器模拟普通人的智能，更应该是去学会专家的智能。这种情况下我们怎么获取这种数据是非常困难的。例如 AI 医疗中的药物研发这一领域的数据获取以及标注。而张院士提到跟知识结合是一个非常好的解决方案，即我们能不能把专家领域的一些知识凝练成一些规律，也甚至可以凝练成王老师谈到的几何的信息，比如几何物理、化学的这种性质加到模型的设计当中，从而来减少我们对数据的依赖，这是下一代人工智能一个特别重要的方向。
在这个问题上，王宇光教授跟黄文炳教授的观点一样，认为如何把 AI 和各个 Science 结合起来是未来的一个很重要的方向，比如和量子化学相结合用来预测分子对应的一些特性。
郝建业主任也回答到关于 AI 与多个科学领域的知识融合已经成为一个共识。但目前的融合方式还有很大的发展空间，新的学习范式未来需要重点去研究和突破。包括现在的大模型，是纯数据驱动的一个方式，它对计算资源的依赖非常大，这就导致只有头部的公司才有足够的资源来投入相关研究。怎么去做更轻量的数据，更高效的计算资源，更高效的模型是第三代 AI 的发展中能够得到一个好的答案。
观众提问：强化学习的稳定性的问题是否比深度学习更有机会被证明？
针对该问题郝建业主任谈到，强化学习的稳定性问题目前还没得到有效的解释和证明，这也和深度学习的可解释性相关。在深度学习可解释性得到解决前，我们可以通过强化学习深度模型和传统的方式做有机融合，达到控制策略的泛化性从而保证在各种 Corner Case 的情况下的应用仍然是安全可控的。
AI理论研究背后的科学研究
据您所知近期是否有哪些目前相对比较小众但有前景（有意思）的跨领域研究？可否请您为观众简要介绍一下？
首先由王教授回答，他认为比较小众且有趣的跨领域研究之一是 21 年末 DeepMind 登上 Nature 的一篇文章 《Advancing mathematics by guiding human intuition with AI》，该文章提出的框架使得数学家可以通过使用机器学习工具来启发他们对复杂数学对象的直觉，将统计学和机器学习很好地融入了数学研究。另外一个是王教授自己最近的研究，通过胃癌的染色切片数据训练模型来预测癌症病人生存期的问题。如果仅通过图片的划分来形成样本后通过 CNN 训练的话，效果仅 60%，但后来通过将肿瘤研究中的肿瘤微环境通过图来表达，利用图神经网络，最终使效果得到惊人的提升，达到 96%。
之后黄教授补充到，图神经网络应用到物理领域也是一大趋势。比如物质是由粒子组成的，原子组成分子，分子组成蛋白质，蛋白质组成细胞等等，这本身其实就是一个个的图，非常适合用图神经网络来建模和表示。最后黄教授还分享了他们清华大学智能产业研究院与腾讯 AI Lab 的合作，共同提出了一种新型的图力学神经网络，首次对理论力学中如连杆、铰链等基本单元及其交互进行了动力学建模，并且这个图神经网络满足物理中的一个重要性质--对称性，即关于旋转和平移等变，初步在分子动力学模拟、人体骨架轨迹预测等进行了效果验证。
人工智能技术的发展离不开其他基础科学的支撑，您认为哪些基础科学难题的攻克或具体技术的进一步发展有可能使人工智能技术取得下一个跨越式发展？
针对该问题，郝建业主任认为需要三个方面的突破，即如何学的好、学的快、学的稳。
第一个学的好，它背后对应的挑战其实就是最优先的问题，包括如何设计好系统分配的机制去实现最优先的问题。
第二个学的快，其实就是收敛性的问题，如何能确保它的快速收敛。比如可以用表征学习、迁移学习的一些范式去解决收敛性的问题。
第三个学的稳，其实就是解决稳健性的问题，如何提升 policy，在训练的过程中自动的生成一种比较多样化的 policy，以及如何在部署之后能够表现出一个非常自适应的泛化性和稳健性。
他还提到，一方面，这些背后都对应了一些基础性的一些科学难题，需要我们进一步去攻克。另一方面，除了用比如基础学科来助力 AI 之外，我们可能更需要关注如何使 AI 去助力其他学科或者是其他实际的应用的一个进步。
王教授后补充到，人工智能并不仅仅是其算法本身或者是数学本身能够去提升它，例如传统深度学习的发力点是由于 GPU 的引入，是因为算力的提升。因此如果量子科学、量子计算等领域的难题的被攻克或具体技术的进步，对人工智能来说也将是一个非常大的助力。还有就是脑科学的研究，下一代人工智能的设计比如通用人工智能的一些技术和模块，可以从脑科学的研究中得到启发。
AI 理论发展趋势未来展望
您认为在您所从事的领域，下面进一步发展，存在的主要瓶颈是什么？以及下一年在AI理论整体方面，可能会有较大进展与突破的方向是什么？有没有您认为比较值得关注和跟踪的团队或者项目？
首先回答的是郝建业主任，他认为目前国外尤其是美国和加拿大对于这个领域的研究或者是布局是更领先的，它们的研究团队也是相对实力非常雄厚的，比如较为熟悉的 DeepMind、UC Berkeley 和 加拿大的阿尔伯塔大学等等。同样强化学习的这一波浪潮也是由 DeepMind 发起的。在国内，可以发现越来越多的团队投入或是转向强化学习，成为一大趋势。他还说，从近两年的几大顶会的文章中可以发现，强化学习的文章已经开始超过深度学习，成为头号关键词，这也反映出强化学习是一个比较火热的一个发展趋势。
之后，王教授也发表了见解，提到其所在领域面临的主要瓶颈是图神经网络很难形成大规模，容易出现一个称谓 overscorching 的信息瓶颈问题。针对此问题的解决，项目比如 DeepMind 解释信息瓶颈的研究和 Twitter research 用黎曼几何的黎曼曲率研究信息流的问题是王教授目前比较关注的。他还提到如果把 transformer 看成图神经网络的话，transformer 目前缺乏数学理论的支撑，比如表达能力的研究、逼近阶的研究等等，这将是未来的一大挑战。此外，王教授推荐关注最早编写了的 Geometric Deep Learning 的综述的牛津大学的 Michael Brown 教授的团队，还有阿姆斯特丹大学的 Max Welling 等研究。
最后，黄教授补充到，人工智能与多种技术学科的交叉是未来的一个大方向，其从大的角度的来看的瓶颈有如下两点：
数据难获取。与各个交叉学科的学校、企业或是科研机构合作从而获取数据的这一过程非常困难。
交叉学科人才少。人工智能目前发展到 AI + X 的模式，要求研究人员对多学科的基础领域有充分的认识。
当然这既是一种挑战又是一个机遇，给我们提出了人才培养的一种新的方向。
黄教授还提到，如果深度学习之前的图神经网络研究为 1.0 版本，那么现在基于深度学习的图神经网络还处在 2.0 的版本，未来图神经网络将有可能发展为 3.0 版本，即更多是几何等变图神经网络的研究，让图神经网络能处理多种具有物理、几何空间等属性的数据结构，例如分子、蛋白质、物理刚体系统等，使得它满足物理对称性，并指出这是未来的发展方向。同样其发展的瓶颈是上述提到的两个方面，数据和人才。另外黄教授推荐关注的有早在2016年 ICML 上提出群等变卷积神经网络（Group equivariant Convolutional Neural Networks）的 Cohen 和 以色列大学的获得 ICML best paper 的 Haggai Maron。
