Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

小舟编辑

时隔五年,普林斯顿大学经典书《在线凸优化导论》第二版发表

2016 年发表的《在线凸优化导论》第一版已成为领域内经典书籍。

凸优化是指在最小化(最大化)的优化要求下,目标函数是凸函数,且约束条件所形成的可行域集合是一个凸集的优化方法。由于能够顺序查询外部数据源,在线凸优化成为获得凸函数最佳解决方案的方法,并因其在大规模优化和机器学习中的可扩展性而得到了广泛的普及。

近日,由计算机科学家 Elad Hazan 撰写的经典书籍《在线凸优化导论(Introduction to Online Convex Optimization)》出版了第二版,第一版曾于 2016 年发表。


第二版书籍链接:https://arxiv.org/pdf/1909.05207.pdf

与第一版类似,这本书将优化视为一个过程。在许多应用中,实际环境非常复杂,要建立一个全面的理论模型,使用经典的算法理论和数学优化是不可行的。因此应用优化方法,在观察问题更多方面的情况下进行学习,采用稳健的方法是非常必要的。这种将优化视为一个过程的观点已为各个领域广泛接受,在建模和多种系统上取得了巨大的成功。

随着机器学习、统计学、决策科学和数学优化方面的研究越来越多,确定性建模、随机建模和优化方法之间的界限逐渐模糊。该书沿着这一现实趋势,以在线凸优化 (OCO) 框架为例,讲解了 OCO 建模和解决的实际问题,涵盖严格的定义、背景和算法。

全书共包含 13 章的内容:

  • 第 1、2 章介绍了在线凸优化的基础知识和基本概念;

  • 第 3、4 章系统地介绍了两类在线凸优化的方法;

  • 第 5 章介绍了正则化的内容;

  • 第 6 章具体介绍了经典框架 Bandit 凸优化(BCO)的内容;

  • 第 7 章讲解了无投影算法的内容;

  • 第 8 章从博弈论的角度讲解在线凸优化理论;

  • 第 9 章讲解了与在线凸优化有关的统计学习理论

  • 第 10 章介绍了在现实多变的环境中在线凸优化的实际应用问题;

  • 第 11 章主要介绍了机器学习算法 boosting 和在线凸优化算法的衡量指标 regret;

  • 第 12 章讲解了在线 boosting 方法及其用途;

  • 第 13 章介绍了 Blackwell 可接近性定理。


以下是这本书的部分目录。



作者介绍

《在线凸优化导论》这本书的作者是美国计算机科学家、普林斯顿大学计算机科学系教授 Elad Hazan。


Hazan 教授也是自适应梯度算法 AdaGrad 的作者之一。他主要从事机器学习和数学优化方面的研究工作,特别是学习机制的自动化及其有效算法的实现,并拥有多项专利。
入门凸优化
1
相关数据
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

凸优化技术

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用,如次导数等。 凸优化应用于很多学科领域,诸如自动控制系统,信号处理,通讯和网络,电子电路设计,数据分析和建模,统计学(最优化设计),以及金融。在近来运算能力提高和最优化理论发展的背景下,一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化(凸最小化)问题,例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

博弈论技术

博弈论,又译为对策论,或者赛局理论,应用数学的一个分支,1944年冯·诺伊曼与奥斯卡·摩根斯特恩合著《博弈论与经济行为》,标志着现代系统博弈理论的的初步形成,因此他被称为“博弈论之父”。博弈论被认为是20世纪经济学最伟大的成果之一

查询技术

一般来说,查询是询问的一种形式。它在不同的学科里涵义有所不同。在信息检索领域,查询指的是数据库和信息系统对信息检索的精确要求

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

统计学习理论技术

统计学习理论是统计学和功能分析领域的机器学习框架。统计学习理论处理基于数据建立预测函数的问题,且已经在算机视觉,语音识别,生物信息学等领域得到了成功应用。

推荐文章
暂无评论
暂无评论~