Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

字节跳动&北大团队通过神经网络上的DMC,阐明对分子的化学理解


编辑 | 萝卜皮

基于固定节点近似的扩散蒙特卡罗(DMC)在过去几十年中取得了重大发展,并成为需要精确的分子和材料基态能量时的首选方法之一。然而,不准确的节点结构阻碍了DMC在更具挑战性的电子关联问题中的应用。

在这项工作中,字节跳动以及北京大学团队在固定节点 DMC 中应用了基于神经网络的试验波函数,它可以准确计算具有不同电子特性的各种原子和分子系统。与使用变分蒙特卡罗(VMC)的最先进的神经网络方法相比,该方法在准确性和效率方面都更胜一筹。

该团队还引入了一种基于 VMC 和 DMC 能量之间经验线性的外推方案,并显著改进了结合能计算。总的来说,这个计算框架为相关电子波函数的准确解决方案提供了一个基准,也阐明了对分子的化学理解。

该研究以「Towards the ground state of molecules via diffusion Monte Carlo on neural networks」为题,于 2023 年 4 月 3 日发布在《Nature Communications》。


自从埃尔温·薛定谔建立量子波函数理论以来,从头计算电子结构就成为化学的圣杯之一。分子通常由一组原子核组成,这些原子核通过静电相互作用通过电子结合在一起。因此,基态电子结构,即多体电子波函数,是最基本的属性,研究人员基于它形成了对分子的基本理解。

在基态波函数解的基础上,可以进一步研究电子激发、计算核力和振动、优化分子结构、模型动力学和反应等。密度泛函理论和后 Hartree-Fock 方法等近似方法已被广泛用于这些目的,但在需要高精度时仍然存在挑战。例如,通常需要亚化学精度来预测分子在表面上的吸附、有机化学物质的堆积顺序以及水和生物分子的氢键结合。因此,将极限推向分子的精确基态波函数具有根本的重要性和实际意义。

随机方法,即量子蒙特卡罗(QMC)方法,在追逐分子多体电子波函数的基本事实方面一直是确定性方法的有力竞争者。特别是扩散蒙特卡洛(DMC),一种基于基态投影的方法,能够处理动态相关性并达到分子的亚化学精度。然而,有效的 DMC 算法通常与所谓的固定节点近似一起工作,并且只有在事先提供包含正确节点结构的良好试验波函数时才能保证精度。尽管在改进试验波函数方面取得了许多进展,例如,使用物理上更有意义的模拟或结合多行列式后 Hartree-Fock 波函数,固定节点近似仍然是 DMC 的致命弱点。

最近,研究表明,神经网络机器学习技术可以为描述分子系统的电子结构提供强有力的支持,并为重建多体波函数提供强有力的方法。FermiNet 是著名的例子之一,它已经对通常由少于 30 个电子组成的小分子显示出有希望的结果。在这些神经网络波函数方法中,经常采用变分蒙特卡罗 (VMC) 来动态训练网络。尽管它对小分子有效,但由于需要大量的计算资源和较长的收敛时间,将基于神经网络的 VMC 应用于更大的系统仍然具有挑战性。


图示:计算框架。(来源:论文)

在最新的工作中,字节跳动北京大学的研究人员将 FermiNet 神经网络波函数集成到 DMC 中。这种方法利用了 FermiNet 的精确试验波函数和 DMC 的高效基态投影,这使得一系列系统的计算达到前所未有的精度。研究人员将普通 FermiNet 方法称为 FermiNet-VMC,并将基于 FermiNet 的 DMC 方法称为 FermiNet-DMC。与 FermiNet-VMC 相比,FermiNet-DMC 能够以更低的计算成本实现更低的变基态能量。


图示:FermiNet-DMC 在单个原子上的准确性和效率。(来源:论文)

FermiNet-DMC 能够对各种体系进行准确的从头算计算,得到16个原子的基态、键合曲线上的N2、2种环丁二烯构型、10 种氢键水二聚体、苯单体和二聚体。这些系统包括存在强静态相关性的键断裂结构和动态相关性占主导地位的弱键合二聚体,并且 FermiNet-DMC 始终表现良好。


图示:N2、环丁二烯和水二聚体的计算。(来源:论文)

FermiNet-DMC 利用神经网络的表达能力来提供表现良好的试验波函数。当网络可以得到充分训练时,基于神经网络的 VMC 在小型系统中取得了成功。然而,当神经网络的表达能力有限时,它无法提供令人满意的基态波函数和能量。与 VMC 相比,神经网络与 DMC 的结合提供了一个强大的解决方案,因为它可以用更简单的网络和更高的效率获得更准确的结果。为了达到与 FermiNet-VMC 相同的精度水平,在测试的大型系统中,FermiNet-DMC 的效率提高可达 1 或 2 个数量级,这在处理更大的分子时变得越来越重要。

在训练过程中以及在不同系统中观察到 VMC 和 DMC 能量之间存在有趣的线性关系。研究人员相应地开发了一种外推方案,极大地提高了苯二聚体情况下相对能量计算的准确性,并克服了相对能量计算在很大程度上取决于 QMC 过程中不同训练步骤的问题。该团队还设计了一个散度来测量两个波函数的节点表面之间的差异,这与数值实验中相应的 DMC 能量具有很好的相关性。也就是说,所提出的分歧成功地抓住了节点表面差异的本质。

值得指出的是,Wilson 等人在预印本中提出了与这项工作类似的想法,他们对第二行元素进行了初步测试。然而,随着 DMC 成本的增加,仅观察到精度的微小改进,因为那里使用的 FermiNet 足够强大,可以为测试的小型系统实现高精度,并且几乎没有进一步改进的空间。相比之下,字节团队的方法更加复杂和高效,在处理更具挑战性的分子系统时实现了显著的准确性提升,而 FermiNet 无法单独处理。

即使对于小型系统,FermiNet-DMC 仍然应该是首选,因为与 FermiNet-VMC 相比,它可以使用更小的网络和更少的计算资源实现相当甚至更好的精度。因此,该工作消除了使用神经网络波函数 ansatz 从 VMC 到 DMC 的负面担忧。此外,DMC方法可以进一步与其他强大的分子神经网络、固体周期神经网络、具有有效核势的神经网络相结合,有可能催化随机电子结构方法应用的范式转变。

论文链接:https://www.nature.com/articles/s41467-023-37609-3

理论
相关数据
字节跳动机构

北京字节跳动科技有限公司成立于2012年,是最早将人工智能应用于移动互联网场景的科技企业之一,是中国北京的一家信息科技公司,地址位于北京市海淀区知春路甲48号。其独立研发的“今日头条”客户端,通过海量信息采集、深度数据挖掘和用户行为分析,为用户智能推荐个性化信息,从而开创了一种全新的新闻阅读模式

https://bytedance.com
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

北京大学机构

北京大学创办于1898年,初名京师大学堂,是中国第一所国立综合性大学,也是当时中国最高教育行政机关。辛亥革命后,于1912年改为现名。2000年4月3日,北京大学与原北京医科大学合并,组建了新的北京大学。原北京医科大学的前身是国立北京医学专门学校,创建于1912年10月26日。20世纪三、四十年代,学校一度名为北平大学医学院,并于1946年7月并入北京大学。1952年在全国高校院系调整中,北京大学医学院脱离北京大学,独立为北京医学院。1985年更名为北京医科大学,1996年成为国家首批“211工程”重点支持的医科大学。两校合并进一步拓宽了北京大学的学科结构,为促进医学与人文社会科学及理科的结合,改革医学教育奠定了基础。

官网,http://www.pku.edu.cn/
推荐文章
暂无评论
暂无评论~