2022/07/06 15:06

小舟编辑

历时7年完成，大获称赞的概率数值计算新书在线可看

蒂宾根大学的 Philipp Hennig 教授及其合著者编写了一本名为《Probabilistic Numerics: Computation as Machine Learning》的新书，适合初级研究者学习使用。

概率数值计算（probabilistic numerical computation）形式化了机器学习和应用数学之间的联系。数值算法以计算出的数值近似难以处理的数值，例如通过对被积函数的评估来估计积分、根据矢量场的评估来估计由微分方程描述的动力系统的路径，从数据中推断出一个潜在的数值。

用概率度量量化数据不确定性有什么好处？首先，完整的概率分布是比单一近似（点估计）更丰富的输出。其次，概率分布允许将数值问题的预期结构更精确地编码到求解器中。

蒂宾根大学教授、马克斯 · 普朗克智能系统研究所的研究员的 Philipp Hennig 教授及其合著者最近发表了一本名为《Probabilistic Numerics: Computation as Machine Learning》的新书，免费电子版在线可看。这本书表明我们可以将计算例程（routine）视为学习机器，并使用贝叶斯推理的概念来构建更灵活、高效，可定制的计算算法。

pdf 地址：https://www.probabilistic-numerics.org/textbooks/

该书的作者之一、牛津大学机器学习教授 Michael A. Osborne 在推特上表示三位作者自 2015 年起历时 7 年才完成这本书。这本书提供了广泛的背景材料和丰富的样例，适合硕士生和博士生，以及人工智能、计算机科学、统计学和应用数学领域的初级研究人员。

人工智能和数据科学领域的研究者与从业者纷纷转发称赞这本新书，包括谷歌大脑科学家、爱丁堡大学讲师、斯坦福大学博士生等。

下面我们来看一下这本书的大致内容，全书主要分为 8 个部分。

第一部分介绍概率数论的背景知识，包括高斯分布、回归分析、随机微分方程等。第二部分主要介绍了几种正交方法，包括贝叶斯正交等。

第三部分重点介绍了线性代数的背景知识和概率线性求解器，并归纳总结了多种经典求解器方法。第四和第五部分主要介绍了优化的方法及其应用案例。第六部分讲解了求解常微分方程（ODE）的方法。

第七部分以问答的形式回答了概率数论的应用方向和意义。最后第八部分提供了书中案例习题的具体解决方法，供读者参考练习。

入门概率数值计算

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用，正态分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有正态分布。

来源：Wikipedia

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

概率分布技术

概率分布（probability distribution）或简称分布，是概率论的一个概念。广义地，它指称随机变量的概率性质－－当我们说概率空间中的两个随机变量具有同样的分布（或同分布）时，我们是无法用概率来区别它们的。

来源：维基百科

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

点估计技术

点估计也称定值估计，它是以抽样得到的样本指标作为总体指标的估计量，并以样本指标的实际值直接作为总体未知参数的估计值的一种推断方法

来源：MBA智库

动力系统技术

动态系统（dynamical system）是数学上的一个概念。动态系统是一种固定的规则，它描述一个给定空间（如某个物理系统的状态空间）中所有点随时间的变化情况。例如描述钟摆晃动、管道中水的流动，或者湖中每年春季鱼类的数量，凡此等等的数学模型都是动态系统。在动态系统中有所谓状态的概念，状态是一组可以被确定下来的实数。状态的微小变动对应这组实数的微小变动。这组实数也是一种流形的几何空间坐标。动态系统的演化规则是一组函数的固定规则，它描述未来状态如何依赖于当前状态的。这种规则是确定性的，即对于给定的时间间隔内，从现在的状态只能演化出一个未来的状态。若只是在一系列不连续的时间点考察系统的状态，则这个动态系统为离散动态系统；若时间连续，就得到一个连续动态系统。如果系统以一种连续可微的方式依赖于时间，我们就称它为一个光滑动态系统。

来源：维基百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

回归分析技术

回归分析是一种用于估计变量之间的关系（当一个自变量变化而其它变量固定时，因变量会如何变化）的统计过程，在预测任务中有广泛的应用。回归分析模型有不同的种类，其中最流行的是线性回归和逻辑回归（Logistic Regression）。另外还有多变量回归、泊松回归、逐步回归、脊回归（Ridge Regression）、套索回归（Lasso Regression）和多项式回归等等。随机梯度下降（SGD）就是一种起源于回归分析的常用方法，可用于控制复杂度。

来源：机器之心

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium