Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

杜伟、张倩编辑

刚获ICML大奖的机器学习大牛Max Welling加入微软,主攻分子模拟

量子计算 + 机器学习可以在分子模拟领域碰撞出什么火花?师从诺奖得主的量子物理博士、机器学习大牛 Max Welling 将给出我们答案。



昨天,机器学习顶会 ICML 公布了杰出论文奖、时间检验奖等奖项,Max Welling 等人 2011 年的一篇论文获得时间检验奖,主题是「基于随机梯度 Langevin 动力学的贝叶斯学习」。这一奖项表明,Max Welling 等人的工作对机器学习社区产生了深远的影响。

拿奖的喜悦还未冲散,Max Welling 又公布了一项重要消息:他将于今年 9 月 1 日以杰出科学家的身份加入微软研究院,致力于分子模拟相关研究。

Max Welling 现为阿姆斯特丹大学机器学习研究主席和高通技术副总裁,兼任加拿大高等研究院(CIFAR)高级研究员。此外,他还是阿姆斯特丹大学附属公司 Scyfer B.V.(致力于深度学习研究,2017 年夏被高通收购)的联合创始人。


Max Welling 透露,他此番变动是要去领导微软在阿姆斯特丹新建的一个实验室。在那里,他将组建一支多样化的研究和工程团队,主攻分子模拟问题。

为什么是分子模拟?Max Welling 解释说:

因为世界上除了电磁力、重力和其他一些更奇异的力之外,几乎所有物理的东西都是由分子组成的。然而,由于自然界是符合量子力学的,我们无法在经典计算机上准确地模拟它们。随着机器学习(如等变神经网络)技术不断取得突破,以及量子计算和经典计算能力的不断提升,我期望我们在下一个十年能够取得非常显著的进展。

随着我们对分子和化学反应理解的加深,这一方向潜在的应用领域也越来越多,如改进对抗疾病的药物,寻找服务于绿色技术的高效催化剂以及开发具有惊人性能的新材料。


可以看出,分子模拟已经成为 Max Welling 的主要研究兴趣所在。

关于新实验室的进展,Max Welling 透露说,目前他们已经招募到了一号员工——来自谷歌 AI 的研究科学家 Rianne van den Berg。

在入职微软的同时,Max Welling 还将继续担任阿姆斯特丹大学的教授,指导学生和博士后。

Max Welling:一个师从诺奖得主的量子物理学博士

和一般机器学习研究者不同,Max Welling 并不是计算机专业科班出身,而是在世界顶尖公立研究型大学——荷兰乌得勒支大学学了 11 年的物理,而且导师是荷兰理论物理学家、1999 年诺贝尔物理学奖得主 Gerard 't Hooft。 

1999 年,Hooft 和他的老师韦尔特曼因 70 年代作出的「阐明物理学中电弱相互作用的量子结构」方面的理论研究成就而获得诺贝尔物理学奖。他们的计算理论使粒子物理有了更牢固的数学基础,尤其是可以用他们的理论来更精确计算物理量。

在 Hooft 的指导下,Max Welling 于 1998 年拿到了量子物理学博士学位。


之后,Max Welling 曾先后在加州理工学院(1998-2000)、伦敦大学学院(2000-2001)和多伦多大学(2001-2003)担任博士后研究员。2003-2013 年,他历任加州大学欧文分校的助理教授、副教授和教授。2012 年,他开始担任阿姆斯特丹大学的教授和机器学习研究主席。在学术成就方面,Max Welling 的论文被引量达到了 5 万多次,h 指数高达 79。


2016 年,Max Welling 与其在阿姆斯特丹大学指导的博士生 Thomas Kipf(2020 年毕业,现为谷歌大脑研究科学家)共同提出了神经网络领域的重要成果——图自编码器(GAE),相关论文发表在了 ICLR 2017 会议上。

图自编码器(GAE)可用于图结构数据中的无监督学习和链接预测,它的主要组件是基于神经网络的编码器和基于成对评分函数重建图链接的解码器。之后,二人又进一步提出了 GAE 的模型变体——变分 GAE(variational GAE)。GAE 和变分 GAE 非常适合没有节点标签情况下的图表示学习。


论文链接:https://arxiv.org/pdf/1609.02907.pdf

2017 年,Max Welling 加入了高通,担任技术副总裁。任职期间,他参与了量化、无监督学习和量子 AI 等方面的研究。在去年的一篇文章中,Max Welling 介绍了他们在量子 AI 研究领域的一些成果,比如他们开发了量子形变二值神经网络,支持在量子计算机上运行大型经典神经网络,或在经典计算机上进行高效模拟。基于此,高通研究人员将这一经典神经网络变形并集成量子效应,而且该网络仍能高效训练和运行。这也是首个用于真实数据的量子二值神经网络。由此可见,Max Welling 在物理学,尤其是量子物理领域的积累已经帮助他在机器学习领域取得了一些成就。


机器学习、量子物理、化学、分子生物学将如何碰撞

对于 Max Welling 加入微软研究院并担任新建阿姆斯特丹实验室的负责人,微软研究院剑桥实验室主任 Chris Bishop 表示了热烈欢迎。和 Max Welling 类似,Chris Bishop 也是一位有着深厚物理学背景的计算机科学家,他在英国爱丁堡大学拿到了理论物理学博士学位,研究方向是量子场论。

在两人的一次访谈中,他们结合共同的物理学背景以及对分子模拟的愿景,探讨了机器学习量子计算在模拟分子领域的应用前景、机器学习在模拟分子领域提供所需数据的能力、以及阿姆斯特丹实验室第一年和之后的发展愿景。


在访谈中,Chris Bishop 认为 Max Welling 所有令人瞩目的研究都与分子模拟直接相关,这是微软研究院剑桥实验室一直以来非常感兴趣的领域,也成为了微软研究院邀请 Max Welling 出任阿姆斯特丹实验室 leader 的初衷。

Max Welling 也表示自己已经努力将研究方向转向分子模拟领域。他更想将之后的职业生涯致力于气候变化,其中计算化学是解决诸多挑战的关键所在。微软这个大平台可以为自己提供大量可用的计算基础设施。

Chris Bishop 对此表示赞同,并认为分子模拟将在解决气候灾难中发挥重要作用。

至于什么是分子模拟,当前分子模拟研究为何如此激动人心、与机器学习又存在哪些关联,两人进行了深入探讨。Chris Bishop 认为机器学习将像影响计算机视觉语音识别自然语言理解那样对分子模拟领域产生重大影响。机器学习、量子物理、化学和分子生物学的结合将在包括但不限于气候变化的众多领域具有巨大的应用前景。

Max Welling 也描述了分子研究的美妙之处,他表示除了光和其他一些无法真正看到的力(force),我们周边的一切都是由分子组成的,但却没能真正地理解它们,也无法真正地预测它们的特性。因此,如果我们开始更好地理解分子,则很多相关应用就变得触手可及。比如,我们可以通过设计更好的催化器来助力氢经济、设计新药等。微软研究院在这个方向的研究上已经做了很多。

Chris Bishop 也列举了微软研究院在药物挖掘领域所做的努力,比如与药物公司展开积极合作、研究机器学习如何影响药物发现过程等等。微软研究院一直在做的很多工作都用到了由实验数据驱动的机器学习,并且致力于从蛋白质分子折叠以及与其他蛋白质相互作用的量子物理学第一原理模拟中创建数据。此外,微软研究院还对药物发现和更广泛的生命科学领域感兴趣,如对 COVID-19 的研究。

Chris Bishop 还提到,Max Welling 最出名的工作是在机器学习中研究不变性(invariances)和等变性(equivariances)。这些又与分子模拟遇到的挑战存在哪些关系呢?

Max Welling 解释说,在物理学中要考虑对称性,几乎所有的物理学理论都是围绕对称性建立的。事实上,整个标准模型都是由粒子组成的,粒子是根据对称变换来组织的。他和同事也想在神经网络中实现这一原则,事实上卷积神经网络在某种程度上已经实现了。

神经网络大体上有这么个想法,如果你把一只猫从一个地方移到另一个地方(translation),神经网络的输出要么是不变的( invariant),即猫还是猫;如果你在图像左边或右边看到猫或者对它做图像分割,则分割 mask 应随着猫移动(equivariance)。我们在思考如何扩大这些原理的应用范围,比如将物体旋转,预测结果应该还是不变的(invariant)。颠倒的猫终究还是猫,对吧?这对于分子模拟来说尤其重要,因为如果你旋转一个分子,你仍然会认为它的性质和你在其他方向看到它时的性质是一样的,并且把这个归纳偏置,即先验知识,构建到你的模型中,这就是我们最近一直在做的。我们把它构建成所谓的神经网络,你可以把原子看作是图中的节点,而原子之间的相互作用是边,这些原子互相发送信息,这和做卷积很相似。所以,在那个神经网络中,我们让它们在经历旋转后保持某种对称,然后用它描述分子,这是非常成功的。有趣的是,你可以通过数据集来预测这些分子的性质,而这些预测是惊人的准确。现在,整个社区开始意识到这一领域在未来可能产生重大影响。」

两人在对称性将在机器学习领域扮演重要角色这一点上达成了一致。那么,量子计算又会对分子模拟产生哪些影响呢?

Max Welling 认为,分子本质上属于量子系统,特别是电子通过量子力学得到了很好的描述。量子计算机在某种意义上也是一种自然的量子模拟。我们可以将量子计算机看作某种量子实验或者量子模拟。人们认为第一个实际的量子计算应用将出现在模拟量子力学领域。现在,量子计算仍处于初步阶段,真正可用的量子计算有希望在 10 多年后出现。现阶段,我们可以首先使用一些噪声更多的量子设备,利用量子计算来建模分子,其中量子计算机器学习的协同合作最令人兴奋。

除了探讨机器学习量子计算与分子建模的技术融合以及发展前景之外,两人还就阿姆斯特丹实验室的一些情况做了分享。

Max Welling 表示阿姆斯特丹是一座适宜居住和工作的城市,人才交流频繁。实验室将招聘优秀的研究人员,组建一支多样化的团队,并与剑桥实验室团队展开合作等。未来几年,他希望可以构建一个预测分子特性的系统,可以生成具有某些特性的分子,以及在巨大的空间中搜索这些分子。

未来 10 年,Max Welling 希望可以解决「理解分子」的问题,并能够即时设计新材料,比如设计新的催化剂来赋能绿色经济。他还希望能够为现在无法治疗的各种疾病设计新药。

参考链接:
https://staff.fnwi.uva.nl/m.welling/
https://scholar.google.com/citations?user=8200InoAAAAJ&hl=zh-CN
https://www.microsoft.com/en-us/research/podcast/machine-learning-molecular-simulation-and-the-opportunity-for-societal-good-with-chris-bishop-and-max-welling/?ocid=msr_podcast_cbishopmwelling_tw

产业微软研究院Max Welling
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

图像分割技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像索赋予相同的编号。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

自然语言理解技术

自然语言理解是人工智能的核心课题之一,也被广泛认为是最困难和最具标志性的任务。最经典的两个人工智能思想实验——图灵测试和中文房间,都是围绕自然语言理解来构建的。自然语言理解在人工智能技术体系中的重要性不言而喻,它一方面承载着机器和人的交流,另一方面直达知识和逻辑。自然语言理解也是人工智能学者孜孜以求的圣杯,机器学习的巨擘 Michael I. Jordan 就曾经在 Reddit 上的 AMA(Ask Me Anything)栏目中畅想用十亿美元建立一个专门用于自然语言理解的实验室。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

先验知识技术

先验(apriori ;也译作 先天)在拉丁文中指“来自先前的东西”,或稍稍引申指“在经验之前”。近代西方传统中,认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验,比如,数学式子2+2=4;恒真命题“所有的单身汉一定没有结婚”;以及来自纯粹理性的推断“本体论证明”

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域,它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性,目前的语音识别系统只能在一定的限制条件下获得满意的性能,或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

图神经网络技术

图网络即可以在社交网络或其它基于图形数据上运行的一般深度学习架构,它是一种基于图结构的广义神经网络。图网络一般是将底层图形作为计算图,并通过在整张图上传递、转换和聚合节点特征信息,从而学习神经网络基元以生成单节点嵌入向量。生成的节点嵌入向量可作为任何可微预测层的输入,并用于节点分类或预测节点之间的连接,完整的模型可以通过端到端的方式训练。

贝叶斯学习技术

基于贝叶斯概率定理的学习方法

量子计算技术

量子计算结合了过去半个世纪以来两个最大的技术变革:信息技术和量子力学。如果我们使用量子力学的规则替换二进制逻辑来计算,某些难以攻克的计算任务将得到解决。追求通用量子计算机的一个重要目标是确定当前经典计算机无法承载的最小复杂度的计算任务。该交叉点被称为「量子霸权」边界,是在通向更强大和有用的计算技术的关键一步。

药物发现技术

在医学,生物技术和药理学领域,药物发现是发现新候选药物的过程。

量子力学技术

量子力学(Quantum Mechanics),为物理学理论,是研究物质世界微观粒子运动规律的物理学分支,主要研究原子、分子、凝聚态物质,以及原子核和基本粒子的结构、性质的基础理论。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~