2021/05/18 20:50

陈萍报道

Judea Pearl推荐，UC伯克利研究者合著机器学习新书，可当研究生教材

前段时间，加州大学伯克利分校 Moritz Hardt 和 Benjamin Recht 合著的新书受到了广泛关注。这本书主要阐述了机器学习的模式、预测以及实现，并面向研究生使用。

最近，图灵奖得主、贝叶斯网络之父 Judea Pearl 发推表示，收到了 Moritz Hardt 和 Benjamin Recht 合著新书《PATTERNS, PREDICTIONS, AND ACTIONS: A story about machine learning》的书稿，并赞扬这本书组织结构很好，清晰地介绍了多种思想的起源，甚至有两个章节与因果关系有关。

书籍介绍

这是一本关于机器学习的研究生教材，介绍了数据模式如何支持预测及其后续行为。

该书从决策基础开始，涵盖了表示、优化和泛化这些监督学习的组成部分。此外，本书还用专门的章节介绍了数据集、因果关系、因果推理实践、序列决策、强化学习等。这本书适合不同背景的读者，不过读者需要掌握一些数学知识，如微积分、线性代数、概率等。

书籍地址：https://arxiv.org/pdf/2102.05242.pdf
版本更新地址：https://mlstory.org/

作者表示，这本书既包括用经典框架看待新事物，也包含对旧事物的新视角。

作为一本教科书，这本书在很多方面与机器学习常用的教学方式不同，主要表现在以下几点：

首先，该书强调数据集在机器学习领域的重要性；

第二，该书包含了对因果关系和因果推理实践的现代介绍，解决了该领域过时的争议；

第三，该书全面介绍了序列模型和动态模型；

最后，书籍作者多次强调机器学习的潜在危害、局限性和社会后果。

书籍结构

这本书共有 14 个章节，章节目录如下：

该书首先从决策知识讲起，主要包括贝叶斯二元假设检验、似然比检验典型案例、错误和成功的类型、奈曼 - 皮尔逊引理、ROC 曲线的性质等。
第 3 章：监督学习，主要包括样本与总体、监督学习、感知机等。
第 4 章：表示和特征，主要包括度量、量化、模板匹配、非线性预测器等。
第 5 章：优化，主要包括优化基础、梯度下降、经验风险最小化的应用、对二次函数梯度法收敛性的见解、随机梯度下降、随机梯度法分析、正则化等。
第 6 章：泛化，主要包括泛化差距（Generalization gap）、过参数化、泛化理论、算法稳定性、模型复杂性与一致收敛等。
第 7 章：深度学习，主要包括深度模型与特征表示、深度网络的优化、梯度消失、深度学习中的泛化等。
第 8 章：数据集，主要介绍了机器学习基准的科学依据、不同领域的数据集介绍、与数据相关的危害、数据和预测的局限性等。
第 9 章：因果关系，主要介绍了因果模型、因果图、反事实等。
第 10 章：实践中的因果推理，主要包括设计与推理、观测基础：调整与控制、因果推理在实践中的局限性等。
第 11 章：序列决策与动态规划，主要包括从预测到行为、动态系统、最优序列决策、动态规划、计算等。
第 12 章：强化学习，主要包括 PAC 学习、近似动态规划等。

作者介绍

个人主页：https://www2.eecs.berkeley.edu/Faculty/Homepages/mhardt.html

本书的作者是来自加州大学伯克利分校的学者 Moritz Hardt 和 Benjamin Recht。

Moritz Hardt 是加州大学伯克利分校电气工程与计算机科学系的助理教授。他的研究目标是使机器学习的实践更具鲁棒性、可靠性，并与社会价值观保持一致。

他于 2011 年获得普林斯顿大学计算机科学博士学位，后在 IBM 爱曼登研究中心做博士后学者和研究员，并在 Google Research 和 Google Brain 做了两年研究科学家。

另一位作者 Benjamin Recht 是加州大学伯克利分校电气工程与计算机科学系副教授。其主要研究领域是人工智能、CIR（控制、智能系统与机器人）、信号处理、机器学习、优化。

个人主页：https://www2.eecs.berkeley.edu/Faculty/Homepages/brecht.html

入门机器学习新书

相关技术

感知

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

动态规划技术

动态规划（也称为动态优化），是一种在数学、管理科学、计算机科学、经济学和生物信息学中使用的，通过把原问题分解为相对简单的子问题的方式求解复杂问题的方法。动态规划将复杂的问题分解成一系列相对简单的子问题，只解决一次子问题并存储它的解决方案（solution），下一次遇到同样的子问题时无需重新计算它的解决方案，而是简单地查找先前计算的解决方案，从而节省计算时间。动态规划适用于有最优子结构（Optimal Substructure）和重叠子问题（Overlapping Subproblems）性质的问题。

来源：Wikipedia

因果推理技术

基于因果关系的一类推理方法，是一种常见推理模式，涉及观察到的共同效应的原因的概率依赖性。

来源：Intercausal reasoning with uninstantiated ancestor nodes

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

收敛技术

在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。

来源：Wikipedia Google ML glossary

假设检验技术

假设检验是推论统计中用于检验统计假设的一种方法。而“统计假设”是可通过观察一组随机变量的模型进行检验的科学假说。一旦能估计未知参数，就会希望根据结果对未知的真正参数值做出适当的推论。

来源：维基

梯度下降技术

梯度下降是用于查找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，可以采用与当前点的函数梯度（或近似梯度）的负值成比例的步骤。如果采取的步骤与梯度的正值成比例，则接近该函数的局部最大值，被称为梯度上升。

来源：Vapnik V. N. (2000). The Nature of Statistical Learning Theory. Information Science and Statistics. Springer-Verlag.Wikipedia

随机梯度下降技术

梯度下降（Gradient Descent）是遵循成本函数的梯度来最小化一个函数的过程。这个过程涉及到对成本形式以及其衍生形式的认知，使得我们可以从已知的给定点朝既定方向移动。比如向下朝最小值移动。在机器学习中，我们可以利用随机梯度下降的方法来最小化训练模型中的误差，即每次迭代时完成一次评估和更新。这种优化算法的工作原理是模型每看到一个训练实例，就对其作出预测，并重复迭代该过程到一定的次数。这个流程可以用于找出能导致训练数据最小误差的模型的系数。

来源：机器之心

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

正则化技术

当模型的复杂度增大时，训练误差会逐渐减小并趋向于0；而测试误差会先减小，达到最小值后又增大。当选择的模型复杂度过大时，过拟合现象就会发生。这样，在学习时就要防止过拟合。进行最优模型的选择，即选择复杂度适当的模型，以达到使测试误差最小的学习目的。

来源：李航著统计学习方法清华大学出版社

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息（如声音、图像和生物测量）”的函数。例如，信号处理技术用于提高信号传输的保真度、存储效率和主观质量，并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此，对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

来源：Roland Priemer (1991). Introductory Signal Processing. World Scientific. p. 1. ISBN 9971509199.

微积分技术

微积分（Calculus）是高等数学中研究函数的微分(Differentiation)、积分(Integration)以及有关概念和应用的数学分支。它是数学的一个基础学科。内容主要包括极限、微分学、积分学及其应用。微分学包括求导数的运算，是一套关于变化率的理论。它使得函数、速度、加速度和曲线的斜率等均可用一套通用的符号进行讨论。积分学，包括求积分的运算，为定义和计算面积、体积等提供一套通用的方法。

来源：百度百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

贝叶斯网络技术

贝叶斯网络（Bayesian network），又称信念网络或是有向无环图模型，是一种概率图型模型。例如，贝叶斯网络可以代表疾病和症状之间的概率关系。鉴于症状，网络可用于计算各种疾病存在的概率。

来源：维基百科

强化学习技术

强化学习是一种试错方法，其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划（Dynamic Programming）。流行的强化学习方法包括自适应动态规划（ADP）、时间差分（TD）学习、状态-动作-回报-状态-动作（SARSA）算法、Q 学习、深度强化学习（DQN）；其应用包括下棋类游戏、机器人控制和工作调度等。

来源：机器之心

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium