2021/09/16 14:12

杜伟、陈萍编辑

Jupyter笔记本实现，慕尼黑工大220页免费书籍介绍基于物理的深度学习

物理知识和深度学习已经成为了解决现实问题的绝佳组合，但如何更有效地将物理模型引入深度学习领域缺少一个全面的综述。慕尼黑工业大学计算机科学副教授 Nils Thuerey 团队编写的这本书籍对基于物理的深度学习展开了详尽的介绍。

书籍地址：https://arxiv.org/pdf/2109.05237.pdf
项目地址：https://github.com/thunil/Physics-Based-Deep-Learning
网站地址：https://www.physicsbaseddeeplearning.org/diffphys-examples.html

文如书名，《基于物理的深度学习》（Physics-based Deep Learning）介绍了物理建模、数值模拟与基于人工神经网络方法的结合。基于物理的深度学习代表了一个非常活跃、快速发展和令人兴奋的研究领域。

就内容而言，本书对物理模拟背景下与深度学习相关的所有内容展开了非常全面的介绍。并且，所有主题都以 Jupyter 笔记本的形式提供 hands-on 代码示例，从而可以快速上手学习。

除了基于数据的标准监督学习之外，书籍作者还研究了物理损失约束、具有可微模拟的更紧密耦合的学习算法以及强化学习和不确定性建模。他们在书中表示，「我们生活在激动人心的时代，基于物理的 DL 方法具有从根本上改变计算机模拟可以实现的目标的巨大潜力。」

以「数值模拟的时间序列」的视觉示例为例，本书将解读如何实现使用神经网络和数值求解器的算法。

更具体地，本书主要解决了以下几个核心问题：

如何使用深度学习技术解决偏微分方程（PDE）；
如何更有效地结合深度学习技术与现有物理学知识；
数值方法知识的重要性。

书籍作者之一 Nils Thuerey 为慕尼黑工业大学副教授，他的主要研究兴趣是「用于物理模拟的深度学习方法」。

背景知识

从天气和气候预测，到量子物理学，再到等离子体聚变的控制，使用数值分析获得物理模型的解决方案已经成为科研中必不可缺的一部分。

近年来，机器学习（ML）技术，尤其深度神经网络（DNN），在各个领域取得了令人瞩目的成就：从图像分类到自然语言处理以及最近的蛋白质折叠。

深度学习（DL）方法的这些成功案例引起了广泛关注，并认为相关技术有可能取代传统的、模拟驱动的科学方法。举例而言，最近的工作表明，基于神经网络（NN）的智能体模型实现了现实世界工业应用（如翼型流）所需的准确度，同时在运行时间方面比传统求解器高出几个数量级。

不依赖根据第一性原理精心制作的模型，是否可以通过处理足够大规模的数据集来提供正确答案呢？在这一过程中，将经典数值算法与深度学习技术相结合至关重要。其中一个核心原因是深度学习方法非常强大，但同时又可以从物理模型领域知识中获益匪浅。深度学习技术和神经网络有时难以应用，而且将我们对物理过程的理解正确地整合到学习算法中通常也非易事。

过去几十年，研究社区已经开发出高度专业化和精确的离散化方案来求解基础模型方程，如纳维 - 斯托克斯方程（Navier-Stokes）、麦克斯韦方程组（Maxwell's equations）或薛定谔方程（Schroedinger ）。与其舍弃在数值数学领域已经开发的强大方法，本书将展示在应用深度学习技术时尽可能多地使用这些方法反而获益颇多。

书籍概览

本书共分 8 大部分、25 个章节。机器之心简单摘取了部分章节的主要内容，更多信息还请参阅原书籍。

可微物理

本章主要分五个小节：介绍可微物理、具有可微物理梯度的 Burgers 优化、讨论、可微流体模拟、可微分物理与 Physics-informed 训练。

为了将深度学习和物理模拟更紧密的结合在一起，可以在学习过程中加入可微模拟，简而言之，可称之为可微物理（differentiable physics，DP）。这些方法旨在使用现有的数值求解器，并使其具备根据输入计算梯度的功能。

可微物理训练。

为了说明在 DP 设置中计算梯度的过程，该小节目标是针对相同的逆问题，使用 Physics-Informed NN 进行 Burgers 优化的 PINN 例子。

此外，当我们为 DP 方法选择初始离散化时，未知初始状态由相关物理场的采样点组成，我们可以简单地将这些未知表示为浮点变量。因此，即使对于初始状态，也不需要设置 NN。因此，Burgers 重建问题在用 DP 求解时简化为一个基于梯度的优化问题，没有任何神经网络。

接下来，本章还介绍了一个更复杂的示例，将 Navier-Stokes 方程作为物理模型。与「Navier-Stokes Forward Simulation」一致，用来针对 2D 案例。

DP 复杂示例

本章主要分四个小节：复杂示例整体概览；利用深度学习减少数值误差、用神经网络求解逆问题以及概述和评论。

本章给出了更复杂案例的代码示例，以向读者展示通过可微物理训练能够实现哪种任务。首先，本章展示了一个使用深度学习来表示数值模拟误差的场景，遵循 Um 等人的建议。这是一项基本任务，需要学习模型与数值求解器密切交互。因此，这是将数值求解器引入深度学习循环至关重要情况的一个主要例子。

接下来，本章展示了如何让神经网络解决棘手的逆问题，即 Navier-Stokes 模拟的长期控制问题，遵循 Holl 等人研究。这项任务需要长期规划，因此需要两个网络，一个用于预测演变过程，另一个用于实现预期目标。

粗糙和参考流形的视觉概述

强化学习

本章主要分两个小节：强化学习概述、用强化学习控制伯格斯方程（Burgers equation）。

深度强化学习（DRL）是深度学习领域中的一类方法，它可以让人工智能体与周围环境进行交互。在执行此操作过程中，智能体接收其行为奖励信号，并尝试辨别哪些行为有助于获得更高的奖励，从而相应地调整自身行为。强化学习在围棋等游戏方面非常成功，并且在机器人技术等工程应用方面也非常重要。

RL 的设置通常由两部分组成：环境和智能体。环境从智能体接收动作 a，同时以状态 s 的形式向 a 提供观察，并奖励 r。观察结果代表了智能体能够感知来自各个环境状态的信息的一部分。奖励是由预定义的函数提供的，通常是根据环境量身定制的，可能包括游戏分数、错误行为的惩罚或成功完成任务的奖励。

强化学习、环境与智能体相互影响

本小节将 Burgers 方程的逆问题作为强化学习 (RL) 的实验平台。该设置类似于针对可微物理 (DP) 训练的逆问题。与之前类似，Burgers 方程简单但非线性，具有有趣的动力学，因此是 RL 实验的良好起点。本小节目标是训练一个控制力估计器网络，该网络应该预测在两个给定状态之间产生平滑过渡所需的力。

可微物理方法似乎比 RL 智能体产生更少的噪声轨迹，而两者都设法近似真值

PBDL 和不确定性

本章主要分两个小节：后验推理介绍、RANS Airfoil Flows 与贝叶斯神经网络。

所有的测量、模型和离散化，都有其不确定性。对于测量，通常以测量误差的形式出现。另一方面，模型方程通常只包含我们感兴趣的一部分（剩余部分是不确定性的），而对于数值模拟，则引入了离散化误差。所以这里要问的一个非常重要的问题是，我们如何才能确保我们得到的答案是正确的。从统计学家的角度来看，后验概率分布捕获了我们对模型或数据可能存在不确定性的一些信息。

书籍完整目录如下：

入门深度学习物理

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

深度强化学习技术

强化学习（Reinforcement Learning）是主体（agent）通过与周围环境的交互来进行学习。强化学习主体（RL agent）每采取一次动作（action）就会得到一个相应的数值奖励（numerical reward），这个奖励表示此次动作的好坏。通过与环境的交互，综合考虑过去的经验（exploitation）和未知的探索（exploration），强化学习主体通过试错的方式（trial and error）学会如何采取下一步的动作，而无需人类显性地告诉它该采取哪个动作。强化学习主体的目标是学习通过执行一系列的动作来最大化累积的奖励（accumulated reward）。一般来说，真实世界中的强化学习问题包括巨大的状态空间（state spaces）和动作空间（action spaces），传统的强化学习方法会受限于维数灾难（curse of dimensionality）。借助于深度学习中的神经网络，强化学习主体可以直接从原始输入数据（如游戏图像）中提取和学习特征知识，然后根据提取出的特征信息再利用传统的强化学习算法（如TD Learning，SARSA，Q-Learnin）学习控制策略（如游戏策略），而无需人工提取或启发式学习特征。这种结合了深度学习的强化学习方法称为深度强化学习。

来源：Scholarpedia

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

后验概率技术

在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。同样，后验概率分布是一个未知量（视为随机变量）基于试验和调查后得到的概率分布。“后验”在本文中代表考虑了被测试事件的相关证据。

来源：维基百科

机器人技术技术

机器人学（Robotics）研究的是「机器人的设计、制造、运作和应用，以及控制它们的计算机系统、传感反馈和信息处理」 [25] 。机器人可以分成两大类：固定机器人和移动机器人。固定机器人通常被用于工业生产（比如用于装配线）。常见的移动机器人应用有货运机器人、空中机器人和自动载具。机器人需要不同部件和系统的协作才能实现最优的作业。其中在硬件上包含传感器、反应器和控制器；另外还有能够实现感知能力的软件，比如定位、地图测绘和目标识别。之前章节中提及的技术都可以在机器人上得到应用和集成，这也是人工智能领域最早的终极目标之一。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia

Jupyter技术

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。

来源：百度百科

机器之心机构

机器之心，成立于2014年，是国内最具影响力、最专业、唯一用于国际品牌的人工智能信息服务与产业服务平台。目前机器之心已经建立起涵盖媒体、数据、活动、研究及咨询、线下物理空间于一体的业务体系，为各类人工智能从业者提供综合信息服务和产业服务。

https://www.jiqizhixin.com/