解决物理难题，机器学习嵌入物理知识成为「时尚」

伴随着人工智能的飞速发展，以神经网络为代表的深度学习宛如饥饿的猛兽，无论你喂多少的数据给它，它都不嫌多。但在现实中，有很多数据存在着丢失、不完整。再者，虽然神经网络可以实现很高的精度，但是它们不能为我们总结底层的原理。难道我们真的要丢掉无数学者总结出的知识，完全依靠数据来推动发展吗？

近日，发表在 Nature Review Physics 杂志上的一篇综述论文「Physics-informed machine learning」提出了「教机器学习物理知识以解决物理问题」的观点。该论文回顾了将物理知识嵌入机器学习的流行趋势，介绍了当前的能力和局限性，并讨论了这类机器学习在发现和解决物理中各种正向、逆向问题中的应用。

这篇论文虽然只阐述了如何往机器学习中引入物理知识，但与此同时，所提出的方法论适用于所有的基础科学学科。这是一篇很好的示范，多个领域都可以通过相似的方式将先验知识引入机器学习，来更好地解决自己领域的问题，让机器学习成为一种实用的工具。

为什么要引入物理知识

数据驱动的对物理系统预测进行建模的方法主要取决于可用数据量和系统本身的复杂性。尽管已经有了不少的公共数据库，但关于复杂物理系统的有用的实验数据数量是有限的。能够建模的物理系统可以根据数据量的大小和所需物理知识的多少分为以下三类。

不同量的数据和物理知识的物理系统问题。（来源：论文）

在小数据范围内，需要了解所有的物理原理，并提供初始和边界条件以及偏微分方程系数的数据；如果知道一些数据和一些物理学，可能允许丢失一些参数值甚至是偏微分方程中的整个项；在大数据领域，可以不了解任何物理学，甚至仅靠数据驱动的方法可能最有效。

在这三类问题中，中间的状态是我们感兴趣以及想要解决的问题。基于物理信息的机器学习可以以一种统一的方式无缝地整合数据和物理原理，也因此提升了机器学习的泛化性，使机器学习不再是只针对特定的某种问题有着很好的效果。

如何将物理知识嵌入机器学习

没有假设就无法构建预测模型，因此，如果没有适当的偏差，机器学习模型就无法预期泛化性能。目前有三种可以通过嵌入物理信息来加速训练和增强 ML 模型泛化的途径：引入适当的观察偏差、归纳偏差、学习偏差。

物理知识嵌入机器学习的原则。（来源：论文）

观察偏差可以通过直接引入体现基础物理原理的数据，在此类数据上训练 ML 系统能够学习到数据的物理结构的函数、向量场和运算符。这类方法较为简单，但也十分昂贵。

归纳偏差对应于通过对 ML 模型架构的干预，保证所寻求的预测隐含地满足一组给定的物理原理，通常以数学约束的形式表示。有人认为，这是让机器学习拥有物理信息的最有依据的方法，因为它严格满足潜在的物理约束。但是，这样的方法可能仅限于解决先验已知相对简单的，并且可能会经常导致实现过于复杂而难以扩展。

学习偏差可以基于先验物理知识，通过损失函数对预测进行软约束，产生近似满足给定物理约束集的预测。通过使用和调整这种软约束，虽然只能近似满足潜在的物理定律，但却提供了一个非常灵活的平台，可以引入以积分、微分方程为表现形式的基于物理的偏差。

这些让机器学习算法掌握物理知识的不同方案并不是相互排斥的，而是可以有效地结合起来，以混合方法来构建基于物理信息的学习机器。

以PINN为例，有着广泛的应用

PINN （Physics-Informed Neural Network）是由布朗大学应用数学的研究团队于2019年提出的一种用物理方程作为运算限制的神经网络，用于求解偏微分方程。偏微分方程是物理中常用的用于分析状态随时间改变的物理系统的公式，该神经网络也因此成为 AI 物理领域中最常见到的框架之一。

PINN 实际上是通过把物理方程的迭代前后的差值加到神经网络的损失函数里面去，让物理方程也「参与」到训练过程。这样，神经网络在训练迭代时候优化的不仅仅的网络自己的损失函数，还有物理方程每次迭代的差，使得最后训练出来的结果满足物理规律。

PINN 架构图。（来源：论文）

目前，PINN 已经被广泛应用于流体力学、空气动力学、热力学、材料科学等多个领域当中，取得了出色的成果。除此之外，相关的开源软件也得到了广泛的应用，它们包括 DeepXDE 、SimNet 、PyDEns 、NeuroDiffEq 、NeuralPDE 、SciANN 和 ADCME 。

总结与展望

总结

基于物理信息的机器学习无缝集成数据和物理模型。
基于神经网络的回归方法提供有效、简单和无网格的实现。
物理信息神经网络对于逆问题有效且高效，并且结合域分解可扩展到大型问题。

展望

寻找新的内在变量和表示以及具有内置物理约束的等变神经网络架构是未来研究的有前景的领域。
需要为可扩展、稳健和严格的下一代基于物理信息的机器学习开发新框架和新的数学理论以及标准化基准。

论文链接：https://doi.org/10.1038/s42254-021-00314-5

参考内容：

https://maziarraissi.github.io/PINNs/

https://mp.weixin.qq.com/s/Rbw2QFavSn8N7pPGS05o6w

理论机器学习深度学习物理

相关数据

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

Infor机构

Infor是一家跨国企业软件公司，总部设在美国纽约市。Infor专注于通过云计算作为服务交付给组织的业务应用。最初专注于从财务系统和企业资源规划(ERP)到供应链和客户关系管理的软件， Infor在2010年开始专注于工业利基市场的软件，以及用户友好的软件设计。Infor通过Amazon Web Services和各种开源软件平台部署云应用。

www.infor.com