优化算法领军人物带你概览机器学习算法,蓝光辉教授新书面世

蓝光辉教授的最新专著系统地介绍了机器学习算法基础概念和近期进展,尤其是基于优化方法的算法。

机器学习算法领域近期出现了大量研发进展,但目前社区尚缺乏对机器学习算法基础概念和近期进展的系统性介绍,尤其是基于随机优化方法、随机算法、非凸优化、分布式与在线学习,以及无投影方法的机器学习算法。

最近,佐治亚理工终身教授蓝光辉发表了一本关于机器学习算法的专著《First-order and Stochastic Optimization Methods for Machine Learning》。

这本专著具备以下特点:

  • 覆盖从基础构造块到精心设计的复杂算法等详实内容;

  • 用教程的形式介绍了机器学习算法领域的近期进展;

  • 面向机器学习、人工智能和数学规划社区的广大研究人员;

  • 每一章节后都附有练习。


写作初衷:系统梳理优化算法的进展

在该书序言部分,蓝光辉教授介绍了写作此书的初衷:

优化在数据科学中一直发挥重要作用。很多统计和机器学习模型的分析与解决方法都依赖于优化。但是,近期社区对计算数据分析优化的兴趣往往伴随着一些难题。高维度、大型数据规模、内在不确定性、无法避免的非凸问题,以及实时和分布式设置的要求,给现有的优化方法带来了大量困难。
在过去十年中,为解决以上挑战,优化算法在设计和分析方面出现了巨大进步。然而,这些进步分散在多个不同学科的大量文献中,缺乏系统性的梳理。而这使得年轻研究人员更难进入优化算法领域,更难构建必要的基础知识、了解目前的前沿成果,以及推动该领域的发展。
这本书尝试用更有条理的方式介绍领域进展,主要聚焦于已得到广泛应用或具备大规模机器学习和数据分析应用潜力的优化算法,包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法,以及算子滑动和分散式方法。
本书的写作目标是介绍基础算法机制,它们能在不同环境设置下提供最优性能保障。不过在探讨算法之前,本书首先简要介绍了多个常见的机器学习模型和一些重要的优化理论,希望借此为初学者提供良好的理论基础。


此外,蓝教授表示这本书的目标读者是对优化算法及其在机器学习和人工智能中的应用感兴趣的研究生和高年级本科生,也可以作为更高阶研究人员的参考书目。这本书的最初版本已经作为佐治亚理工学院高年级本科生和博士课程的教材。

核心内容

这本书共包括八个章节,涵盖机器学习模型、凸优化、非凸优化、无投影方法等内容,是对优化算法近期进展的一次系统性梳理。

核心内容如下所示:

 目前,该书已在 SpringerLink 上线,读者可点击以下网址阅读此书。


书籍链接:https://www.springer.com/gp/book/9783030395674

作者简介

本书作者蓝光辉教授,博士毕业于佐治亚理工学院,目前任教于佐治亚理工 H. Milton Stewart 工业和系统工程学院。此外,他还担任《Computational Optimization and Applications》、优化算法顶级期刊《Mathematical Programming》和《SIAM Journal on Optimization》等杂志的副主编,是国际机器学习和深度学习算法方向的顶级专家。

蓝光辉教授专注于计算机科学领域的基础研究,他的研究方向包括:随机优化和非线性规划的理论、算法和应用,包括随机梯度下降和加速随机梯度下降,以及用于解决随机凸和非凸优化问题。
工程机器学习优化算法
2
相关数据
凸优化技术

凸优化,或叫做凸最优化,凸最小化,是数学最优化的一个子领域,研究定义于凸集中的凸函数最小化的问题。凸优化在某种意义上说较一般情形的数学最优化问题要简单,譬如在凸优化中局部最优值必定是全局最优值。凸函数的凸性使得凸分析中的有力工具在最优化问题中得以应用,如次导数等。 凸优化应用于很多学科领域,诸如自动控制系统,信号处理,通讯和网络,电子电路设计,数据分析和建模,统计学(最优化设计),以及金融。在近来运算能力提高和最优化理论发展的背景下,一般的凸优化已经接近简单的线性规划一样直捷易行。许多最优化问题都可以转化成凸优化(凸最小化)问题,例如求凹函数f最大值的问题就等同于求凸函数 -f最小值的问题。

在线学习技术

在计算机科学中,在线学习是一种机器学习方法。和立即对整个训练数据集进行学习的批处理学习技术相反,在线学习的数据按顺序可用,并在每个步骤使用未来数据更新最佳预测器。

推荐文章
暂无评论
暂无评论~