贝叶斯新书，364页pdf阐述高斯过程、算法实践……可免费下载

一本从零开始全面了解贝叶斯优化过程的书籍。

贝叶斯优化可以说是一种黑盒优化算法，该算法用于求解表达式未知函数的极值问题。尽管贝叶斯优化的历史可以追溯到很久以前，但在过去的十年里，贝叶斯优化经历了一段复兴和快速发展的时期。复兴的主要驱动力是计算方面的进步，这使得贝叶斯建模和推理的工具越来越复杂。

然而，具有讽刺意味的是，技术发展的关键动力根本不是贝叶斯，而是深度神经网络的兴起。但训练深度神经网络模型需要进行超参数优化，有研究者证明可以利用贝叶斯优化来解决这个问题。超参数优化被证明是贝叶斯优化的杀手级应用，随之而来出现了大量的关于开发新算法和改进旧算法的出版物。

由于计算机科学出版模式的性质，关于贝叶斯的最新研究进展分散在几十篇简短的出版物中，这种模式有助于微小的细节，但从整理来看，不利于算法的发展。

来自华盛顿大学的 Roman Garnett 撰写了一本名为《 BAYESIAN OPTIMIZATION 》的书籍。这本书旨在为读者提供一个从零开始全面了解贝叶斯优化的过程，并细致的阐述了所有关键的想法。这种自下而上的方法允许我们在贝叶斯优化算法中确定统一的主题，这些主题可能在以往的调研文献时丢失。

Garnett 主要研究兴趣是为不确定性下的序列决策开发新的贝叶斯机器学习方法。Garnett 还对科学发现的算法特别感兴趣，并获得了 NSF CAREER 奖以支持这项研究。此外，他还是「CSE 515T：机器学习中的贝叶斯方法」主讲老师。

不过该书还不是最终版本，终稿将于 2022 年初由剑桥大学出版社出版。

该书目标受众是机器学习、统计学等相关领域的研究人员或研究生。在阅读本书之前，你需要熟悉微分、积分、概率、线性代数、高斯分布。有时，书中的讨论会转向深奥的数学领域，对于这些内容读者可以忽略。

书籍地址：https://bayesoptbook.com/book/bayesoptbook.pdf

书籍内容介绍

总得来说，书籍主要分为三大部分：

理论和实践部分的高斯过程建模；
序列决策方面的贝叶斯方法；
优化策略的实现。

此外，该书还包括一些其他主题：理论收敛结果的概述；可扩展调查；贝叶斯优化发展史；在应用中带注释的参考书籍。

具体而言，书籍主要分 12 个章节：包括引言；高斯过程；高斯过程建模；模型评估、选择和平均；优化决策理论；优化 Utility 函数；通用贝叶斯优化策略；高斯过程的计算策略；实现方式；理论分析；扩展和相关设置；贝叶斯优化发展史。

第 2-4 章介绍了高斯过程相关理论和高斯过程建模的实际应用。这类模型是贝叶斯优化文献中最受欢迎的，其中包含的材料对接下来的几章至关重要。
第 5-7 章介绍了序列决策及其在优化中的应用。尽管该理论需要一个目标函数模型和研究者对它的观察，但该介绍与模型的选择无关，可以独立于前面关于高斯过程的章节阅读。
第 8-9 章讨论了计算和实现的细节。
第 10 章讨论了贝叶斯优化算法的理论性能界限，其中大多数结果密切依赖于目标函数的高斯过程模型或相关的重新生成核希尔伯特空间。
第 11 章介绍了对这一基本设置的几个值得注意的扩展。每一个都是通过贝叶斯决策理论的统一视角系统地呈现出来的，以说明研究者在面对新情况时应该如何处理。
第 12 章介绍了关于贝叶斯优化思想方面的历史研究，包括一些重要的数学示例。此外，本章还记录了从 1962 年到现在关于贝叶斯优化方面的主要思想进展。

书籍目录：

理论高斯分布贝叶斯优化

相关数据

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用，正态分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有正态分布。

来源：Wikipedia

超参数技术

在机器学习中，超参数是在学习过程开始之前设置其值的参数。相反，其他参数的值是通过训练得出的。不同的模型训练算法需要不同的超参数，一些简单的算法（如普通最小二乘回归）不需要。给定这些超参数，训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式，并且必须对其进行调整以便模型能够最优地解决机器学习问题。在实际应用中一般需要对超参数进行优化，以找到一个超参数元组（tuple），由这些超参数元组形成一个最优化模型，该模型可以将在给定的独立数据上预定义的损失函数最小化。

来源：Wikipedia

高斯过程技术

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia